截屏 ALI TOHIDI 視頻 - 演示視頻展示了合成視覺數(shù)據(jù)生成器如何從合成建筑工地捕捉無限圖像。

加拿大多倫多大學(xué)的一位研究人員稱，機(jī)器人技術(shù)在建筑工地上的應(yīng)用未能發(fā)揮其潛力，該校應(yīng)用科學(xué)與工程學(xué)院的助理教授Kim說，隨著更多的研究，高階全自主移動(dòng)機(jī)器人可能離實(shí)現(xiàn)更近一步。目前大多數(shù)在建筑工地上巡邏的所謂機(jī)器人應(yīng)該更準(zhǔn)確地稱為重復(fù)一些預(yù)先編程的任務(wù)的工具。

撇開一些成功的案例不談，現(xiàn)在缺少的是完全的機(jī)器人自動(dòng)化和數(shù)字化，使用人類水平的視覺人工智能（AI）來充分了解它們被部署的建筑工地。

為了達(dá)到高水平的視覺人工智能，為工地上的機(jī)器人提供動(dòng)力，需要數(shù)以百萬計(jì)的圖像，但由于各種原因，獲得這個(gè)數(shù)字是不現(xiàn)實(shí)的。金和他的團(tuán)隊(duì)所提出的是兩項(xiàng)新技術(shù)：合成虛擬建筑圖像，以及生成微型規(guī)模的建筑圖像。

Kim說："在我們開發(fā)新形式的建筑機(jī)器人時(shí)，硬件部分已經(jīng)取得了很大的進(jìn)步，例如波士頓動(dòng)力公司的Spot，但軟件開發(fā)，即人工智能部分，仍有很長(zhǎng)的路要走。問題是，我們?nèi)狈ㄖ?chǎng)景的訓(xùn)練數(shù)據(jù)。DNN，深度神經(jīng)網(wǎng)絡(luò)，視覺人工智能的核心引擎，是一個(gè)有監(jiān)督的模型，它自然會(huì)變得對(duì)數(shù)據(jù)貪婪。為了開發(fā)一個(gè)訓(xùn)練有素的人工智能......我們需要數(shù)量巨大的、多樣化的建筑場(chǎng)景的訓(xùn)練圖像。"

Kim的研究項(xiàng)目是251項(xiàng)大學(xué)倡議之一，這些倡議在9月被宣布為加拿大創(chuàng)新基金會(huì)的約翰-R-埃文斯領(lǐng)導(dǎo)人基金提供的總計(jì)6400萬美元資金的接受者。

他提交給創(chuàng)新中心的項(xiàng)目摘要指出："具有增強(qiáng)型人工智能的機(jī)器人解決方案將與現(xiàn)場(chǎng)工人安全協(xié)作，提高生產(chǎn)力和盈利能力，同時(shí)抵消日益嚴(yán)重的勞動(dòng)力短缺問題。擬議的研究項(xiàng)目對(duì)實(shí)現(xiàn)這一愿景至關(guān)重要，提供優(yōu)化的現(xiàn)場(chǎng)適用的DNN模型--這是自主建筑機(jī)器人發(fā)展的下一個(gè)關(guān)鍵步驟。"

機(jī)器人將收集、分析和記錄現(xiàn)場(chǎng)信息，允許創(chuàng)建正在進(jìn)行的施工現(xiàn)場(chǎng)的實(shí)時(shí)數(shù)字孿生模型。Kim解釋說，合成將被開發(fā)成視覺AI的圖像是需要的，首先是因?yàn)楹茈y親自收集數(shù)據(jù)。

監(jiān)控?cái)z像機(jī)和無人機(jī)有遮擋物，成本很高--Kim提到每張圖像2到10美元--而且還存在其他問題。收集一百萬張圖像會(huì)很耗時(shí)，而且還有各種有問題的法規(guī)和保密問題。在競(jìng)爭(zhēng)激烈的建筑環(huán)境中，數(shù)據(jù)的商業(yè)化和共享是其他問題。Kim的多大實(shí)驗(yàn)室的工作正在迅速進(jìn)行，該團(tuán)隊(duì)使用五個(gè)張量處理單元和谷歌云軟件。更多的計(jì)算資源是需要的。

ALI TOHIDI 視頻——多倫多大學(xué)助理教授 Daeho Kim 說，為了開發(fā)訓(xùn)練有素的人工智能，研究人員需要大量多樣化的建筑場(chǎng)景訓(xùn)練圖像。

他說：“我們完全專注于開發(fā)一款可以自動(dòng)合成非真實(shí)但看起來真實(shí)的建筑圖像的模擬軟件，幾周前，我們開始積極生成一百萬張建筑訓(xùn)練圖像。這對(duì)我來說是個(gè)激動(dòng)人心的消息，因?yàn)閾?jù)我所知，我們以前從未有機(jī)會(huì)在構(gòu)造 DNN 訓(xùn)練中使用一百萬張訓(xùn)練圖像?！?/p>

合成的步驟包括創(chuàng)建 3D 人體模型，然后輸入工人的動(dòng)作捕捉數(shù)據(jù)；通過將 2D 或 3D 服裝圖映射到 3D 人體模型來創(chuàng)建 3D 建筑工人頭像；隨機(jī)設(shè)置成像條件，包括相機(jī)距離和照明條件；通過將虛擬建筑工人頭像疊加到3D施工背景上，合成生成施工圖像或視頻。

隨后是用于構(gòu)建數(shù)字孿生的完全自主移動(dòng)機(jī)器人的原型設(shè)計(jì)，該機(jī)器人部署了高階 DNN 模型。建筑機(jī)器人需要能夠監(jiān)控和分析位置、移動(dòng)速度和方向、姿勢(shì)、距離和其他捕捉建筑工人存在的因素。

KIM說：“對(duì)于高度動(dòng)態(tài)和非結(jié)構(gòu)化的建筑場(chǎng)景，合成圖像在訓(xùn)練視覺 AI 模型方面的效果尚不清楚。我們可能需要也可能不需要我們自己獨(dú)特的解決方案?！?/p>

對(duì)于最后一步，Kim 將需要私營(yíng)部門的合作伙伴——他正在尋找一家能夠在財(cái)政上支持這項(xiàng)研究的創(chuàng)新建筑公司。