最近開(kāi)發(fā)的一種方法試圖用一種新的方法來(lái)檢測(cè)--通過(guò)機(jī)器視覺(jué)系統(tǒng)--非結(jié)構(gòu)化空間中不完全可見(jiàn)的東西，成功地分割出可以被感知的物體和因其被隱藏而不能被看見(jiàn)的東西。

經(jīng)驗(yàn)之談

韓國(guó)光州科技學(xué)院的研究借鑒了人類視覺(jué)感知的一個(gè)特定現(xiàn)象，設(shè)計(jì)出一個(gè)神經(jīng)網(wǎng)絡(luò)，使機(jī)器能夠管理其空間內(nèi)的遮擋物體。

對(duì)隱藏的非可見(jiàn)結(jié)構(gòu)的推斷是通過(guò)閉塞的 "分層建模方案 "來(lái)實(shí)現(xiàn)的，然后它是整個(gè)系統(tǒng)的 "心臟"：它在感知對(duì)象的突出特征的基礎(chǔ)上工作，給它們分配一個(gè)層次和一個(gè)精確的順序。

這項(xiàng)研究定義的方法--仍在測(cè)試中--將促進(jìn)那些涉及挑選、檢索和處理隱藏物體的機(jī)器人任務(wù)，特別是在生產(chǎn)現(xiàn)場(chǎng)和倉(cāng)庫(kù)等背景下。

最近，人工智能技術(shù)在機(jī)器人設(shè)計(jì)中的應(yīng)用所面臨的挑戰(zhàn)之一是發(fā)展與機(jī)器被要求操作的環(huán)境的感知和分割以及該環(huán)境中物體的分類有關(guān)的越來(lái)越精細(xì)的技能。機(jī)器人的計(jì)算機(jī)視覺(jué)引領(lǐng)著這些技能，并看到在越來(lái)越復(fù)雜的任務(wù)中的應(yīng)用，包括，例如，自主駕駛和物體操縱。

然而，在被認(rèn)為是無(wú)序、無(wú)結(jié)構(gòu)的場(chǎng)景中識(shí)別單個(gè)物體的過(guò)程仍然是至關(guān)重要的，在這些場(chǎng)景中，它們被部分或完全隱藏（遮擋）在其他物體后面。

通常情況下，"韓國(guó)光州科技學(xué)院（GIST）的一項(xiàng)研究，將在2022年5月23日至27日在費(fèi)城舉行的IEEE國(guó)際機(jī)器人和自動(dòng)化會(huì)議上正式發(fā)表，"當(dāng)涉及到這種情況時(shí)，機(jī)器視覺(jué)系統(tǒng)被訓(xùn)練為僅根據(jù)其一些可見(jiàn)部分來(lái)識(shí)別被遮擋的物體。但這種類型的訓(xùn)練需要大量的各類對(duì)象的數(shù)據(jù)，使得它非常耗時(shí)費(fèi)力'。

因此，GIST團(tuán)隊(duì)繞過(guò)這種方法，提出了一種替代方法，該方法基于人工神經(jīng)網(wǎng)絡(luò)模型的開(kāi)發(fā)（稱為不可見(jiàn)物體模態(tài)實(shí)例分割--UOAIS），專門(mén)用于檢測(cè)非結(jié)構(gòu)化環(huán)境中不完全可見(jiàn)的物體，成功地分割出可以看到的物體（可見(jiàn)區(qū)域）和因被其他物體隱藏而看不到的物體（不可見(jiàn)區(qū)域）。讓我們來(lái)看看這到底是怎么回事。

機(jī)器人的人工視覺(jué)：走向人類感知的機(jī)制

對(duì)機(jī)器人的計(jì)算機(jī)視覺(jué)的研究是基于一個(gè)精確的考慮：在人類視覺(jué)中，焦點(diǎn)落在所謂的 "被遮擋的物體 "的可見(jiàn)結(jié)構(gòu)上，從中推斷出其整個(gè)結(jié)構(gòu)。一種現(xiàn)象--這--被稱為'阿莫德知覺(jué)'，在此基礎(chǔ)上，圖像中的兩個(gè)不同區(qū)域，其連續(xù)性，其完整性，被推斷出在某個(gè)被稱為'遮擋者'的物體后面。而我們?cè)噲D模仿的正是人類的這種感知能力，這將使機(jī)器人能夠直接處理非結(jié)構(gòu)化、無(wú)序化場(chǎng)景中的遮擋問(wèn)題。

部分可見(jiàn)物體的示例，因?yàn)樗鼈儾糠蛛[藏（遮擋）在其他物體后面。

為了實(shí)現(xiàn)這一目標(biāo)，開(kāi)發(fā)的人工神經(jīng)網(wǎng)絡(luò)模型經(jīng)過(guò)訓(xùn)練，通過(guò)50,000張合成圖像學(xué)習(xí)不同的物體幾何形狀和不同的遮擋場(chǎng)景。

該模型所遵循的機(jī)制允許它在檢查了一個(gè)雜亂的場(chǎng)景后，即在物體排列中沒(méi)有任何線性的場(chǎng)景，作為第一步，識(shí)別被遮擋的物體（隱藏在另一個(gè)物體后面），并在一個(gè) "可見(jiàn) "掩碼和一個(gè) "正交 "掩碼中對(duì)其進(jìn)行分割、界定。其中，前者（如下圖所示）劃定了關(guān)于物體的視覺(jué)感知的結(jié)構(gòu)，而后者則在一個(gè)單一的結(jié)構(gòu)中劃定了感知和推斷的部分。

被遮擋物體的示例（隱藏在其他實(shí)體后面的圓柱體）、其可見(jiàn)結(jié)構(gòu)的分割（可見(jiàn)遮罩）以及最后對(duì)其可見(jiàn)部分及其遮擋部分（無(wú)模態(tài)遮罩）的分割。

與以往研究的不同之處恰恰在于超越了人工智能系統(tǒng)對(duì)被遮擋物體及其直接可見(jiàn)區(qū)域的檢測(cè)，而專注于重建因被遮擋而未被視覺(jué)感知的事物的機(jī)制（適合人類視覺(jué)）。

模仿 "推理 "的層次化閉塞建模方法

在機(jī)器人的計(jì)算機(jī)視覺(jué)領(lǐng)域，光州科技學(xué)院的研究人員通過(guò)一種被稱為分層遮擋建模（HOM）的方案，實(shí)現(xiàn)了對(duì)場(chǎng)景中因被隱藏而無(wú)法被視覺(jué)感知的東西的重建機(jī)制。

"......通過(guò)對(duì)一些物體特征的組合--包括形狀、大小、在空間的存在--以及它們的預(yù)測(cè)順序分配一個(gè)精確的等級(jí)制度來(lái)工作。"

整個(gè) "看不見(jiàn)的物體 "阿莫德實(shí)例分割方法就建立在這種分層建模的基礎(chǔ)上。而研究小組進(jìn)行的實(shí)驗(yàn)表明，在一個(gè)單一的結(jié)構(gòu)中，它能夠進(jìn)行可見(jiàn)和不可見(jiàn)（因?yàn)楸徽趽酰┑臋z測(cè)，無(wú)論有關(guān)物體的類別如何。

在機(jī)器人技術(shù)中，模擬正交感知（適合人眼）--研究人員回顧--對(duì)于管理機(jī)器運(yùn)行空間內(nèi)的遮擋是很有用的，首先是在拾取和回收遮擋物體的操作中，"在這些操作中，決定正確的行動(dòng)順序是很重要的"。

在其他機(jī)器人任務(wù)中也需要調(diào)和感知，包括在無(wú)序空間中尋找某些物體，抓取和主動(dòng)感知。

然而，GIST在這一階段的目標(biāo)是與機(jī)器人操縱有關(guān)，與機(jī)器對(duì)最初被認(rèn)為幾乎不可見(jiàn)（或根本不可見(jiàn)）的物體的直接工作有關(guān)。試想一下生產(chǎn)現(xiàn)場(chǎng)和物流，這些環(huán)境顧名思義是不雜亂的，由異質(zhì)的、經(jīng)常重疊的和遮擋的物體組成，機(jī)器人的任務(wù)涉及到與這些物體直接接觸。

使用 Unseen Object Amodal Instance Segmentation (UOAIS) 方法恢復(fù)被遮擋的對(duì)象：在解構(gòu)場(chǎng)景 (b) 中收集目標(biāo)對(duì)象（框 a 的杯子），按順序抓取未被遮擋的對(duì)象（框 c）和碗 (d)，可以成為機(jī)器人 (e) 輕松執(zhí)行的動(dòng)作。

機(jī)器人的人工視覺(jué)：GIST研究開(kāi)辟的場(chǎng)景

這項(xiàng)關(guān)于機(jī)器人人工視覺(jué)的研究繼續(xù)朝著旨在開(kāi)發(fā)能夠創(chuàng)造出在認(rèn)知過(guò)程和行為上越來(lái)越像人類的機(jī)器的人工智能系統(tǒng)的方向進(jìn)行。

在人工視覺(jué)的具體案例中，麻省理工學(xué)院（MIT）在一項(xiàng)關(guān)于模仿 "人類周邊視覺(jué) "的研究中，已經(jīng)走得更遠(yuǎn)，假設(shè)未來(lái)將設(shè)計(jì)一個(gè)人工智能系統(tǒng)，以抵抗其視野中感知的矛盾元素。

具體而言，韓國(guó)大學(xué)的研究試圖在實(shí)驗(yàn)室中重現(xiàn) "視覺(jué)演繹"，這種能力在未來(lái)將允許自動(dòng)駕駛汽車在城市街道上自動(dòng)識(shí)別被一排汽車部分隱藏的停車區(qū)域或被卡車遮擋的行人身影。

在包括生產(chǎn)現(xiàn)場(chǎng)和倉(cāng)庫(kù)等工作場(chǎng)所的場(chǎng)景中，配備模態(tài)感知的機(jī)器人不僅能滿足更準(zhǔn)時(shí)和更快的性能需求，還能滿足安全要求，其中對(duì)環(huán)境中物體越來(lái)越正確的識(shí)別和越來(lái)越準(zhǔn)確的分類是首要的因素。

因此，研究的道路是有跡可循的，等待進(jìn)一步的元素來(lái)豐富它的路徑。