只需不到10小時訓(xùn)練 FB的AI就能教會機(jī)器人如何開瓶

擁有雙臂的機(jī)器人如何去完成像打開瓶蓋這樣的任務(wù)呢？按理說，應(yīng)該與人類動作流程差不多：它需要先用一只手握住瓶子的底部，然后用另一只手抓住瓶蓋并將其擰下來。這種高層次的步驟序列就是我們所熟知的模式，而且它不受操控對象的幾何和空間狀態(tài)影響。另外一個好處是，與旨在通過學(xué)習(xí)策略來解決任務(wù)的強(qiáng)化學(xué)習(xí)技術(shù)不同，模式不需要在數(shù)小時、數(shù)周甚至數(shù)月的學(xué)習(xí)過程中攝取數(shù)以百萬計的示例進(jìn)行訓(xùn)練。

最近，F(xiàn)acebook AI研究院（FAIR）的一個團(tuán)隊試圖向兩個機(jī)器人Sawyer手臂灌輸從庫中選擇適當(dāng)技能步驟以完成目標(biāo)的能力。在每個時間步驟里，這兩個機(jī)器手臂必須決定使用哪種技能以及使用哪些參數(shù)(例如施加力的位置、用力程度或移動這些目標(biāo)的姿勢)。盡管涉及到許多復(fù)雜的問題，但該團(tuán)隊表示，他們的方法提高了學(xué)習(xí)效率，使得機(jī)器人在經(jīng)過短短幾個小時的培訓(xùn)后就可以獲得操縱對象的技能。

Facebook研究團(tuán)隊獲得的關(guān)鍵經(jīng)驗是，對于許多任務(wù)，學(xué)習(xí)過程可以分為兩個部分：1)學(xué)習(xí)任務(wù)模式；2)學(xué)習(xí)為不同技能選擇適當(dāng)參數(shù)化的策略。他們斷言，這種方法會促使機(jī)器人獲得更快的學(xué)習(xí)效率，部分原因是來自給定任務(wù)的不同版本數(shù)據(jù)可以用于提高共享技能。此外，這種方法允許在相關(guān)任務(wù)之間轉(zhuǎn)移學(xué)習(xí)模式。

詳細(xì)介紹這項研究的論文的合著者解釋稱：“舉例來說，假設(shè)我們已經(jīng)學(xué)會了一個很好的模式，可以在模擬過程中拾取一個長條。在那里我們可以了解操作對象的姿勢、幾何形狀以及更多信息。然后，我們可以在相關(guān)任務(wù)中重復(fù)使用該模式，例如在現(xiàn)實(shí)世界中僅從原始圖片觀察中拾取托盤，即使?fàn)顟B(tài)空間和最佳參數(shù)化(例如抓取姿勢)都有很大不同。由于模式是固定的，因此托盤拾取任務(wù)的策略學(xué)習(xí)將非常有效，因為它只需要學(xué)習(xí)每項技能的參數(shù)?！?/p>

研究人員為上述兩個機(jī)器臂提供了一個通用的技能庫，如扭轉(zhuǎn)、舉起和伸手，它們必須將這些技能應(yīng)用于幾個涉及不同對象、幾何形狀和初始姿勢的橫向提升、拾取、打開和旋轉(zhuǎn)任務(wù)中。通過使用低維輸入數(shù)據(jù)，如幾何和本體感受特征(關(guān)節(jié)位置、關(guān)節(jié)速度、末端效應(yīng)器姿勢)進(jìn)行訓(xùn)練，在MuJoCo(模擬環(huán)境)中學(xué)習(xí)模式，然后在模擬和現(xiàn)實(shí)世界中將其轉(zhuǎn)換為視覺輸入操作。

在實(shí)驗過程中，Sawyer手臂配備了攝像頭，并由Facebook的PyRobot開源機(jī)器人平臺控制，其任務(wù)是操縱9個家庭物品(如滾針、足球、玻璃罐和T形扳手)，這些物品需要兩個平行的下顎夾鉗才能與之交互。盡管不得不從原始的視覺圖像中學(xué)習(xí)，但他們表示，其AI系統(tǒng)使用2000種技能學(xué)習(xí)操作大多數(shù)對象，在大約4到10個小時的培訓(xùn)中，成功率超過90%。

研究人員寫道：“我們已經(jīng)研究了如何利用與狀態(tài)無關(guān)的技能序列來極大地提高無模型強(qiáng)化學(xué)習(xí)的樣本效率。此外，我們已經(jīng)在實(shí)驗中證明，將在模擬中學(xué)到的技能序列轉(zhuǎn)移到現(xiàn)實(shí)世界的任務(wù)中，使我們能夠非常有效地解決圖像中的稀疏獎勵問題，從而使訓(xùn)練真正的機(jī)器人執(zhí)行復(fù)雜技能成為可能?！?nbsp;