用語言建模世界：UC伯克利多模態(tài)世界模型利用語言預(yù)測未來（2）

研究者引入了 HomeGrid 來評(píng)估一個(gè)環(huán)境中的智能體。在這個(gè)環(huán)境中，智能體除了任務(wù)指令外還會(huì)收到語言提示。
HomeGrid 是一個(gè)具有指令和多樣化提示的具有挑戰(zhàn)性的視覺網(wǎng)格世界。HomeGrid 中的提示模擬了智能體可能從人類那里學(xué)到或從文本中獲取的知識(shí)，提供了對(duì)解決任務(wù)有幫助但不是必需的信息：
未來觀察：描述了智能體未來可能觀察到的情況，比如「盤子在廚房里」。

Correction：提供了基于智能體當(dāng)前行為的交互式反饋，比如「轉(zhuǎn)身」。

Dynamics：描述了環(huán)境的動(dòng)態(tài)變化，比如「踩踏板打開垃圾桶」。

HomeGrid 環(huán)境將與代碼一起發(fā)布，以鼓勵(lì)大家進(jìn)一步在這個(gè)方向上進(jìn)行研究。
盡管智能體沒有明確地接受有關(guān)文本對(duì)應(yīng)于什么觀察結(jié)果的明確監(jiān)督，但 Dynalang 通過未來預(yù)測目標(biāo)學(xué)會(huì)了將各種類型的語言與環(huán)境相聯(lián)系。Dynalang 的性能優(yōu)于基于語言的 IMPALA 和 R2D2，這兩種方法在使用不同類型的語言上遇到困難，通常在超出指令范圍的語言任務(wù)上表現(xiàn)更差。

Messenger 中的游戲手冊(cè)
研究者在 Messenger 游戲環(huán)境中進(jìn)行評(píng)估，以測試智能體如何從更長、更復(fù)雜的文本中學(xué)習(xí)，這需要對(duì)文本和視覺觀察進(jìn)行多次推理。智能體必須對(duì)描述每個(gè)任務(wù)動(dòng)態(tài)的文本手冊(cè)進(jìn)行推理，并將其與環(huán)境中實(shí)體的觀察結(jié)果結(jié)合起來，以確定哪些實(shí)體應(yīng)該接收消息，哪些應(yīng)該避免。Dynalang 的表現(xiàn)優(yōu)于 IMPALA、R2D2 以及使用專門架構(gòu)對(duì)文本和觀察進(jìn)行推理的任務(wù)特定 EMMA 基線，特別是在最困難的第三階段。