用語言建模世界：UC伯克利多模態(tài)世界模型利用語言預測未來（2）

研究者引入了 HomeGrid 來評估一個環(huán)境中的智能體。在這個環(huán)境中，智能體除了任務指令外還會收到語言提示。
HomeGrid 是一個具有指令和多樣化提示的具有挑戰(zhàn)性的視覺網(wǎng)格世界。HomeGrid 中的提示模擬了智能體可能從人類那里學到或從文本中獲取的知識，提供了對解決任務有幫助但不是必需的信息：
未來觀察：描述了智能體未來可能觀察到的情況，比如「盤子在廚房里」。

Correction：提供了基于智能體當前行為的交互式反饋，比如「轉(zhuǎn)身」。

Dynamics：描述了環(huán)境的動態(tài)變化，比如「踩踏板打開垃圾桶」。

HomeGrid 環(huán)境將與代碼一起發(fā)布，以鼓勵大家進一步在這個方向上進行研究。
盡管智能體沒有明確地接受有關文本對應于什么觀察結(jié)果的明確監(jiān)督，但 Dynalang 通過未來預測目標學會了將各種類型的語言與環(huán)境相聯(lián)系。Dynalang 的性能優(yōu)于基于語言的 IMPALA 和 R2D2，這兩種方法在使用不同類型的語言上遇到困難，通常在超出指令范圍的語言任務上表現(xiàn)更差。

Messenger 中的游戲手冊
研究者在 Messenger 游戲環(huán)境中進行評估，以測試智能體如何從更長、更復雜的文本中學習，這需要對文本和視覺觀察進行多次推理。智能體必須對描述每個任務動態(tài)的文本手冊進行推理，并將其與環(huán)境中實體的觀察結(jié)果結(jié)合起來，以確定哪些實體應該接收消息，哪些應該避免。Dynalang 的表現(xiàn)優(yōu)于 IMPALA、R2D2 以及使用專門架構(gòu)對文本和觀察進行推理的任務特定 EMMA 基線，特別是在最困難的第三階段。