世界上最大的工業(yè)機(jī)器人公司發(fā)那科，正在開發(fā)可以通過“強(qiáng)化學(xué)習(xí)”訓(xùn)練的新一代機(jī)器人。

　　發(fā)那科東京辦公室里有一臺(tái)極聰明的工業(yè)機(jī)器人。給它一份簡(jiǎn)單的工作，比如從一個(gè)箱子里拿出某種零件并放入另一個(gè)箱子里，它將會(huì)花一晚上的時(shí)間來學(xué)習(xí)如何把這份工作做的更好。第二天，它就能成為這份工作的熟手，就像曾有個(gè)專家給它編寫控制程序一樣。

　　去年12月，在東京舉辦的2015國(guó)際機(jī)器人展中，發(fā)那科展示了通過強(qiáng)化學(xué)習(xí)來訓(xùn)練的機(jī)器人

　　工業(yè)機(jī)器人可以實(shí)現(xiàn)無(wú)比精準(zhǔn)且快速的動(dòng)作，例如抓取，這都是通過非常復(fù)雜的編程來實(shí)現(xiàn)的。編寫機(jī)器人的控制程序是非常困難并且費(fèi)時(shí)的，所以工業(yè)機(jī)器人只能在嚴(yán)格控制的環(huán)境下使用。

　　發(fā)那科意圖改變這一事實(shí)。

　　發(fā)那科的新一代機(jī)器人將使用“深度強(qiáng)化學(xué)習(xí)”的技巧來訓(xùn)練自己。當(dāng)這臺(tái)機(jī)器人執(zhí)行的動(dòng)作時(shí)，比如拿起零件，它會(huì)同時(shí)對(duì)此錄像。不論成功還是失敗，這都可以讓它記住這個(gè)零件的模樣。這些數(shù)據(jù)會(huì)被用來優(yōu)化它的深度學(xué)習(xí)模型。而深度學(xué)習(xí)模型，是一個(gè)用來控制機(jī)器人的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。近幾年，深度強(qiáng)化學(xué)習(xí)用于模式識(shí)別是一個(gè)非常有效的工具。

　　“在8個(gè)小時(shí)的自學(xué)之后，它可以達(dá)到90%的準(zhǔn)確率。這幾乎和一臺(tái)專家編寫控制程序的機(jī)器人一樣”，東京人工智能公司Preferred Networks的 CRO Shohei Hido解釋說，“它可以通宵工作，當(dāng)?shù)诙靵淼綍r(shí)，它已經(jīng)把自己調(diào)整好了?！?BR>
　　機(jī)器人研究人員正在測(cè)試，強(qiáng)化學(xué)習(xí)是否可以加速并簡(jiǎn)化工業(yè)機(jī)器人的編程問題。本月初，谷歌公司發(fā)表了他們使用強(qiáng)化學(xué)習(xí)來訓(xùn)練機(jī)器人拿放物體的研究報(bào)告。發(fā)那科的機(jī)器人使用的則是Preferred Networks所編寫的程序。

　　去年8月，作為全世界最大的工業(yè)機(jī)器人公司，發(fā)那科對(duì)Preferred Networks投資730萬(wàn)美金后，這兩家公司在12月東京舉辦的2015國(guó)際機(jī)器人展中展示了他們“自學(xué)機(jī)器人”的厲害。

　　Hido表示，使用“學(xué)習(xí)”來編寫控制程序的好處之一就是當(dāng)幾個(gè)機(jī)器人協(xié)同工作時(shí)，他們可以通過分享各自的數(shù)據(jù)以及學(xué)到的知識(shí)來加速學(xué)習(xí)（2016年十大突破技術(shù)之一）。所以，八臺(tái)機(jī)器人協(xié)同工作一小時(shí)后的表現(xiàn)和一臺(tái)機(jī)器人工作八小時(shí)后的表現(xiàn)是極其相似的?！拔覀兊哪繕?biāo)是分散學(xué)習(xí)”，Hido說，“你可以想象一下，在一家工廠里，有數(shù)百個(gè)機(jī)器人相互分享信息”。

　　這種分散學(xué)習(xí)的技巧被稱為“云機(jī)器人”，是目前機(jī)器人行業(yè)中最火的潮流。

　　“以發(fā)那科在行業(yè)中的地位，他們考慮強(qiáng)化學(xué)習(xí)技術(shù)是非常合適的”，加州大學(xué)伯克利分校的機(jī)器人學(xué)教授肯-戈德堡（KenGoldberg）說。因?yàn)榘l(fā)那科在全世界出售并安裝過數(shù)量龐大的工業(yè)機(jī)器人，云機(jī)器人將會(huì)改變他們對(duì)機(jī)器人的使用方式。

　　戈德堡與同事們（包括谷歌的幾位研究員）將這一技術(shù)提升到了一個(gè)新高度，他們教機(jī)器人如何通過某種動(dòng)作去抓取某種形狀的物體，而不僅限于抓取特定物品。他們將在今年5月舉辦的IEEE機(jī)器人及自動(dòng)控制學(xué)國(guó)際大會(huì)上發(fā)表相關(guān)的論文。

　　但是，戈德堡表示在機(jī)器人上實(shí)現(xiàn)機(jī)器學(xué)習(xí)比一般的電腦系統(tǒng)要難很多。因?yàn)榭刂菩袆?dòng)比在圖像中識(shí)別圖形復(fù)雜很多?！吧疃葘W(xué)習(xí)在模式識(shí)別方面得到了非常成功的發(fā)展”，戈德堡說，“你做的遠(yuǎn)遠(yuǎn)不止是機(jī)器人，在大量輸入的情況下，你要能為機(jī)器人設(shè)計(jì)相符的行為”。

　　發(fā)那科不是唯一一家正在開發(fā)使用機(jī)器學(xué)習(xí)的機(jī)器人公司。在2014年，瑞士的機(jī)器人公司ABB投資了一家叫Vicarious的人工智能創(chuàng)業(yè)公司。不過，這項(xiàng)投資還沒有任何結(jié)果。