谷歌讓機(jī)器人在云端協(xié)同學(xué)習(xí) 新技能高效get
什么?谷歌最近又有大動(dòng)作?他們計(jì)劃加速機(jī)器人學(xué)習(xí)進(jìn)程,讓更多機(jī)器人通過(guò)分享它們的經(jīng)驗(yàn),獲取更多技能點(diǎn)?
本文引用地址:http://butianyuan.cn/article/201610/311152.htm是的!Google Brainteam的Sergey Levine以及來(lái)自Alphabet的Deep Mind和Google X實(shí)驗(yàn)室的高手們通力合作,在幾天前發(fā)了篇博文,說(shuō)他們接下來(lái)要打造一個(gè)叫“多機(jī)器人通用技能學(xué)習(xí)”的機(jī)制。
眾所周知,指導(dǎo)機(jī)器人做一些日常生活中最基本的事情已經(jīng)困擾所有機(jī)器人學(xué)家?guī)资炅?。為了解決這個(gè)問(wèn)題,谷歌科學(xué)家們決定讓兩大當(dāng)紅科技創(chuàng)新炸子雞強(qiáng)強(qiáng)聯(lián)手,看看能不能搞個(gè)大新聞。其一是云機(jī)器人——這個(gè)概念認(rèn)為機(jī)器人可以在線分享數(shù)據(jù)和技能;另一個(gè)便是機(jī)器學(xué)習(xí),也就是通過(guò)應(yīng)用深度神經(jīng)網(wǎng)絡(luò)讓機(jī)器人實(shí)現(xiàn)自主學(xué)習(xí)。
在科學(xué)家們進(jìn)行的一系列實(shí)驗(yàn)中,獨(dú)立的機(jī)械臂會(huì)不斷重復(fù)一個(gè)指定的任務(wù)。不出意外的是,在長(zhǎng)時(shí)間的任務(wù)執(zhí)行過(guò)程中,每個(gè)機(jī)器人的技術(shù)水平都會(huì)得到一定提高,它能學(xué)會(huì)適應(yīng)外部環(huán)境以及自身運(yùn)動(dòng)的輕微變化。但是,谷歌團(tuán)隊(duì)并沒(méi)有就此滿足。他們把機(jī)器人習(xí)得的這些經(jīng)驗(yàn)輸進(jìn)一個(gè)大數(shù)據(jù)庫(kù)里,從中建立技能模型,如此一來(lái),機(jī)器人就可以更快更好地完成任務(wù)。
“機(jī)器人學(xué)習(xí)到的技能(比如推東西、開門等等)還是相對(duì)簡(jiǎn)單了點(diǎn),但是通過(guò)快速高效的集體學(xué)習(xí),在未來(lái)機(jī)器人的行動(dòng)會(huì)更加豐富,這樣它們就可以在日常生活中為人們提供各種各樣的輔助了。”
早前,Levine和來(lái)自GoogleX實(shí)驗(yàn)室的同事們展示了深度學(xué)習(xí)網(wǎng)絡(luò)是如何幫助機(jī)器人自學(xué)抓物的。在那項(xiàng)研究中,一組機(jī)械臂不停地抓抓抓,抓了大概八萬(wàn)多次,簡(jiǎn)直喪心病狂。盡管一開始它們總是失敗連連,但是通過(guò)神經(jīng)網(wǎng)絡(luò)的不斷訓(xùn)練,成功率便有了顯著的提高。
在最近的一項(xiàng)實(shí)驗(yàn)中,谷歌科學(xué)家們測(cè)試了三個(gè)不同的場(chǎng)景。
第一個(gè)場(chǎng)景中,機(jī)器人從試驗(yàn)和錯(cuò)誤實(shí)踐中直接學(xué)習(xí)運(yùn)動(dòng)技巧。每個(gè)機(jī)器人從一套神經(jīng)網(wǎng)絡(luò)開始,嘗試一次一次地開門。每隔一段時(shí)間,這些機(jī)器人們就會(huì)把它們性能數(shù)據(jù)傳輸給中央服務(wù)器,這個(gè)服務(wù)器會(huì)利用數(shù)據(jù)打造一個(gè)全新的神經(jīng)網(wǎng)絡(luò),從而更好地分析運(yùn)動(dòng)和成功率之間的關(guān)系。接著,這個(gè)服務(wù)器會(huì)把更新完成的神經(jīng)網(wǎng)絡(luò)傳輸給機(jī)器人。“因?yàn)檫@個(gè)更新了的網(wǎng)絡(luò)對(duì)動(dòng)作幅度的估測(cè)更加精準(zhǔn),所以機(jī)器人們的表現(xiàn)會(huì)更好”,科學(xué)家們寫道。“這個(gè)過(guò)程可以無(wú)限循環(huán)往復(fù),從而不斷提高機(jī)器人執(zhí)行任務(wù)的能力。”
在第二個(gè)場(chǎng)景中,科學(xué)家們希望機(jī)器人可以學(xué)習(xí)如何與物體互動(dòng),這個(gè)互動(dòng)的過(guò)程不只限于試驗(yàn)和錯(cuò)誤實(shí)踐,還包括建立內(nèi)物體、環(huán)境以及它們自身行為的內(nèi)部模型。比如,在剛剛提到的開門任務(wù)中,每個(gè)機(jī)器人都會(huì)有自己的一套神經(jīng)系統(tǒng),它們會(huì)和各種不同的物體互動(dòng)。這些機(jī)器人會(huì)分享它們的經(jīng)驗(yàn),然后一起打造科學(xué)家們口中所謂的“單獨(dú)預(yù)測(cè)模型”,讓它們更好地了解與它們發(fā)生互動(dòng)的物體。你可以通過(guò)單獨(dú)一個(gè)機(jī)器人打造類似的預(yù)測(cè)模型,但是如果融合了許多機(jī)器人的經(jīng)驗(yàn)的話,這個(gè)過(guò)程會(huì)快很多。
在第三個(gè)場(chǎng)景中,機(jī)器人在學(xué)習(xí)過(guò)程中會(huì)得到來(lái)自人類的幫助。要知道,人類和外界物體以及整個(gè)世界互動(dòng)的過(guò)程中,總是有很多直覺。而在一些控制技能的幫助下,我們可以把這些所謂的直覺轉(zhuǎn)化到機(jī)器人身上,讓它們更好地學(xué)習(xí)這些技能。在實(shí)驗(yàn)中,一個(gè)科學(xué)家?guī)椭唤M機(jī)器人,開啟各種不一樣的門,而一個(gè)中央服務(wù)器控制的單獨(dú)的神經(jīng)系統(tǒng)會(huì)對(duì)它們的行動(dòng)進(jìn)行編程。接著,這些機(jī)器人會(huì)反復(fù)進(jìn)行一系列的試驗(yàn)和錯(cuò)誤實(shí)踐,這個(gè)實(shí)踐的難度會(huì)慢慢攀升,好讓神經(jīng)網(wǎng)絡(luò)不斷升級(jí)。“試驗(yàn)和錯(cuò)誤學(xué)習(xí)以及人類指導(dǎo)的結(jié)合,讓機(jī)器人在幾個(gè)小時(shí)內(nèi),可以一起學(xué)習(xí)如何開門,”科學(xué)家們寫道,“因?yàn)闄C(jī)器人訓(xùn)練開了各種外表不一樣的門,所以在決勝局中,機(jī)器人們要開一扇它們從未見過(guò)的有一個(gè)把手的門。”這些科學(xué)家,小算盤打得溜溜的。
谷歌團(tuán)隊(duì)認(rèn)為,它們的機(jī)器人的水平目前還是非常有限的。但是他們希望隨著機(jī)器人和算法的進(jìn)步和普及,集體學(xué)習(xí)能讓機(jī)器人執(zhí)行任務(wù)的能力大大提升:
在以上提到的三項(xiàng)實(shí)驗(yàn)中,機(jī)器人之間交流、交換經(jīng)驗(yàn)的能力讓它們能更好更快地學(xué)習(xí)。尤其是當(dāng)我們將機(jī)器人學(xué)習(xí)和深度學(xué)習(xí)融合到一起的時(shí)候,交換經(jīng)驗(yàn)的重要性就更不容忽視了。老早以前,我們就知道,在有大量訓(xùn)練數(shù)據(jù)的情況下,深度學(xué)習(xí)的運(yùn)作會(huì)非常棒。比如,IamgeNet標(biāo)準(zhǔn)檢查程序就利用了超過(guò)一百五十萬(wàn)經(jīng)過(guò)分析的數(shù)據(jù)。而這些大量的數(shù)據(jù),是不可能由單獨(dú)一個(gè)機(jī)器人在幾年的時(shí)間內(nèi)收集到的。然而,如果是幾個(gè)機(jī)器人協(xié)同作戰(zhàn)的話,數(shù)周內(nèi)我們就可以獲取等量的數(shù)據(jù)。
評(píng)論