NeurIPS 2022 | 一窺人工智能大一統(tǒng)與理論研究的最新進展（1）

人工智能走向大一統(tǒng)

The Big Convergence of AI

01

針對強化學習的掩碼隱空間重建

論文鏈接：

https://www.microsoft.com/en-us/research/publication/mask-based-latent-reconstruction-for-reinforcement-learning/

視覺狀態(tài)表征的質量對基于視覺的強化學習（vision-based reinforcement learning）至關重要。為了學習高效的狀態(tài)表征，微軟亞洲研究院的研究員們創(chuàng)新性地將基于掩碼的建模技術（mask-based modeling）應用到強化學習中，以促進其狀態(tài)表征學習。此前基于掩碼的建模技術已經(jīng)在 CV 和 NLP 領域中大放異彩，而這項工作是將其應用到強化學習領域幫助策略學習的首次探索。

具體地，研究員們提出了一種簡單而有效的自監(jiān)督方法，即基于掩碼的隱空間重建 (mask-based latent reconstruction，簡稱為 MLR)。MLR 通過從具有時空掩碼的視覺狀態(tài)中預測其在隱空間中的完整表征，從而使神經(jīng)網(wǎng)絡在學習狀態(tài)表征時能夠更好地利用上下文信息，編碼更多策略學習所需要的語義信息。大量基準實驗表明，MLR 顯著提高了強化學習算法的樣本效率（sample efficiency），在多個連續(xù)和離散的強化學習環(huán)境中取得了 SOTA 的性能。

圖1：基于掩碼的隱空間重建（MLR）的框架示意圖

02

基于滑動語言模型的句子評分轉換器

論文鏈接：

https://www.microsoft.com/en-us/research/publication/transcormer-transformer-for-sentence-scoring-with-sliding-language-modeling/

句子評分旨在評估一個句子的最大似然估計，被廣泛應用于許多自然語言任務的場景中，包括重排序、語言可接受性等。過去用于解決句子評分的工作主要以兩種經(jīng)典語言模型為主：因果語言模型（causal language modeling, CLM）和掩碼語言模型（masked language modeling, MLM）。然而，這些工作都存在一定的瓶頸：CLM 雖然只需要計算一次但卻只利用了單向信息；MLM 能夠利用雙向語義，但每次只能預測部分單詞而不得不需要多次推理。

因此，微軟亞洲研究院的研究員們提出了一種基于滑動語言模型的 Transformer 模型 Transcormer，并在其中設計了一種三流自注意力機制用于維護滑動語言模型。利用這樣的設計，Transcormer 可以確保模型能夠利用雙向信息進行預測的同時，只需一次計算即可得到所有單詞的概率?；瑒诱Z言模型在計算句子評分時，Transcormer 還可以避免 CLM 只能利用單向信息的缺點以及 MLM 需要多次計算的不足。實驗結果表明，Transcormer 在句子評分任務上能夠取得比其他方法更好的結果。

圖2：Transcormer 結構示意圖：左側為前向流，右側為后向流，中間為詢問流。其中，前向流用于收集前向語義，后向流用于收集后向語義，而詢問流用于捕獲當前位置在其之前的前向流語義和其之后的后向流語義

03

周邊視覺注意力網(wǎng)絡

論文鏈接：

https://www.microsoft.com/en-us/research/publication/peripheral-vision-transformer/

人類擁有周邊視覺這種特殊的視覺處理系統(tǒng)。具體來說，我們的整個視野可以根據(jù)到凝視中心的距離被劃分為多個輪廓區(qū)域，而周邊視覺使我們能夠感知不同區(qū)域的各種視覺特征。受該生物學啟發(fā)，微軟亞洲研究院的研究員們開始探索在深度神經(jīng)網(wǎng)絡中模擬周邊視覺進行視覺識別的方法。

研究員們所設計的 PerViT 網(wǎng)絡，可以將輪廓區(qū)域通過位置編碼結合到多頭自注意力機制中，使網(wǎng)絡掌握如何將視野劃分為不同輪廓區(qū)域的方法，并能夠從不同區(qū)域中提取相應的特征。研究員們系統(tǒng)地研究了機器感知模型的內部工作原理，發(fā)現(xiàn)網(wǎng)絡學習感知視覺數(shù)據(jù)的方式與人類視覺相似。在 ImageNet-1K 上對 PerViT 網(wǎng)絡評估的結果顯示，PerViT 在不同模型大小上的圖像分類性能均優(yōu)于基線，證明了該方法的有效性。

圖3：人類周邊視覺（上）與基于注意力的神經(jīng)網(wǎng)絡（下）相結合以進行視覺識別的示意圖

04

VRL3：由數(shù)據(jù)驅動的視覺深度強化學習框架

論文鏈接：

https://www.microsoft.com/en-us/research/publication/vrl3-a-data-driven-framework-for-visual-deep-reinforcement-learning/

在強化學習，尤其是機器人系統(tǒng)的訓練中，新數(shù)據(jù)樣本的采集往往十分昂貴。為了實現(xiàn)經(jīng)濟，高效，服務于大眾的泛用性強化學習和機器人技術，研究員們嘗試結合利用多種數(shù)據(jù)來源，大幅提高訓練效率。研究員們設計了一個全新的數(shù)據(jù)驅動的學習框架 VRL3。VRL3 使用了三階段的訓練方式，整合了非強化學習的大規(guī)模圖像數(shù)據(jù)集，有限的人類專家示范以及在線強化學習數(shù)據(jù)，并加以充分利用，其可在基于視覺輸入的深度強化學習任務尤其是模擬機器人任務上，以驚人的樣本效率進行學習。

相比之前的最先進方法，在極富挑戰(zhàn)性的 Adroit 機械手基準測試中最難的任務上，VRL3 可極其顯著地將樣本效率提高24倍，并以10倍更快計算速度和3倍更少參數(shù)需求完成訓練。在達到極高性能的同時，VRL3 追求大道至簡的設計理念，用簡單易懂的設計思路和代碼實現(xiàn)。這項研究向實現(xiàn)高效、便攜、低成本可廣泛服務于大眾的強化學習和機器人系統(tǒng)邁出了關鍵一步。

圖4：VRL3 模型設計圖