直覺有害！Facbook最新研究：易于解釋的神經(jīng)元會誤導DNN的學習

　　編譯|蔣寶尚

　　關于AI是什么，學界和業(yè)界已經(jīng)給出了非常多的定義，但是對于AI理解，探討尚不足。換句話說，計算機科學家解釋深度神經(jīng)網(wǎng)絡（DNNs）的能力大大落后于我們利用其取得有用結果的能力。

　　當前理解深度神經(jīng)網(wǎng)絡的常見做法是在單個神經(jīng)元特性上“折騰”。例如，激活識別貓圖像的神經(jīng)元，而關閉其他神經(jīng)元的“控制變量法”。這種方法的學術術語叫做“類選擇性”。

　　由于直觀和易理解，“類選擇性”在學界廣泛應用。誠然，在訓練過程中，這類可解釋的神經(jīng)元確實會“選擇性地”出現(xiàn)在各種不同任務網(wǎng)絡中。例如，預測產(chǎn)品評論的神經(jīng)網(wǎng)絡，選擇性地含有識別積極或消極情緒的神經(jīng)元。

　　那么，問題來了！這些易于解釋的神經(jīng)元是深度神經(jīng)網(wǎng)絡發(fā)揮作用所必須的么？

　　答案是：否。

　　這就像研究汽車尾氣和理解汽車速度推動力一樣，畢竟汽車尾氣和速度有關，但并不是汽車的動力。顯然，在此例子中，“類選擇”應該是發(fā)動機還是尾氣？這是個疑問句。

　　因此，在最新一篇論文中“SELECTIVITY CONSIDERED HARMFUL:EVALUATING THE CAUSAL IMPACT OF CLASS SELECTIVITY IN DNNS”，F(xiàn)acebook AI的研究人員經(jīng)過研究，用證據(jù)斷言：即使神經(jīng)元沒有“類選擇性”，深度神經(jīng)網(wǎng)絡也能發(fā)揮作用。事實上，易于解釋的神經(jīng)元會損害深度神經(jīng)網(wǎng)絡的功能，甚至使網(wǎng)絡更容易受到隨機失真輸入的影響。

　　FB AI論文：類選擇性的因果影響。地址：https://arxiv.org/pdf/2003.01262.pdf

　　具體而言，研究人員開發(fā)了一種新的技術，在能夠直接控制DNN神經(jīng)元的類別選擇性的情況下，得出了上述結論。

　　這個結論有助于證明，如果這些方法沒有經(jīng)過嚴格的測試和驗證的話，用過度依賴基于直覺的方法來理解深度神經(jīng)網(wǎng)絡會被誤導。

　　因此，為了充分理解人工智能系統(tǒng)，必須努力尋找不僅是直觀的，而且是以經(jīng)驗為基礎的方法。

　　發(fā)現(xiàn)了什么？

　　類選擇雖然作為一種工具已經(jīng)廣泛應用于深度神經(jīng)網(wǎng)絡的可解釋性，但是易于解釋的神經(jīng)元對于深度神經(jīng)網(wǎng)絡的重要性的研究尚少。近期，雖然也有相關研究，但不同的研究報告得出了相互矛盾的結果，例如上述論文。

　　Facebook AI的研究員用一種操縱“類選擇性”的新方法解決了這個問題：當訓練網(wǎng)絡對圖像進行分類時，我們不僅指示網(wǎng)絡提高其分類圖像的能力，還增加了減少(或增加)其神經(jīng)元中類選擇性數(shù)量的約束。

　　如上圖所示，研究員展示了在深度神經(jīng)網(wǎng)絡中操縱神經(jīng)元的類選擇性如何影響DNN正確分類圖像的能力（特別是對于在小規(guī)模ImageNet上訓練的ResNet18）。上圖中的每個點代表一個DNN。圓點的顏色代表了阻止或者鼓勵DNN神經(jīng)元中類選擇性的程度。X軸表示DNN中神經(jīng)元的平均類別選擇性，y軸表示DNN對圖像分類的精確度。

　　灰色點意味著中性，代表此類型中DNN中自然出現(xiàn)的類選擇性水平，將其用作比較分類精度的基線。

　　研究發(fā)現(xiàn)，通過不鼓勵類選擇性(藍點)，可以將測試準確率提高2%以上。相反，鼓勵類選擇性(紅點)會對DNN的圖像分類能力產(chǎn)生迅速的負面影響。此外，研究員還放大了數(shù)據(jù)的一個子集，更好地說明了減少和增加類選擇性的效果。

　　綜上，研究員使用一個單一參數(shù)控制研究類選擇性對網(wǎng)絡的重要性。改變這個參數(shù)可以改變鼓勵激活還是阻止激活容易解釋的神經(jīng)元，以及改變到什么程度。這提供了一個單一的旋鈕（single knob），可以用它來操縱網(wǎng)絡中所有神經(jīng)元的類選擇性。用這個旋鈕做了實驗，發(fā)現(xiàn)：

　　1、當阻止激活DNNs的類選擇性時，對性能的影響很小，在某些情況下甚至提高了性能。這些結果表明，盡管DNN在任務和模型中無處不在，但類選擇性并不是DNN功能的重要組成部分，有時甚至會對DNN功能產(chǎn)生負面影響。

　　2、當我們增加DNNs中的類選擇性時，我們發(fā)現(xiàn)對網(wǎng)絡性能有顯著的負面影響。這表明，類選擇性的存在并不能保證DNN將正常工作。

　　3、與研究環(huán)境相比，部署在現(xiàn)實世界中的DNN通常處理更多噪聲和更多失真的數(shù)據(jù)。例如，DNN在訓練過程中，可能會從維基百科上看到非常清晰的貓的圖像，而在現(xiàn)實世界中，DNN需要處理一張黑暗的、模糊的貓?zhí)优艿膱D像。此外，類選擇性的降低使得DNN對諸如模糊和噪聲之類的自然扭曲具有更強的魯棒性。有趣的是，降低類選擇性也使DNN更容易受到有針對性的攻擊，在這些攻擊中，圖像被有目的地篡改從而欺騙DNN。

　　這些結論之所以出人意料，有兩個原因：一是類選擇性已被廣泛用于理解DNN的功能，二是類選擇性在大多數(shù)DNN中是自然存在的。

　　研究人員的發(fā)現(xiàn)還表明，在沒有類選擇性操作的情況下，DNN自然會學習盡可能多的類選擇性，而不會對性能產(chǎn)生負面影響。

　　這引出了一個更深層次的問題，研究人員希望在未來的工作中回答這個問題：如果對于良好的性能不是必需的，為什么網(wǎng)絡要學習類選擇性？