人類和DNN的目標識別穩(wěn)健性比較

　　深度神經網絡在很多任務上都已取得了媲美乃至超越人類的表現(xiàn)，但其泛化能力仍遠不及人類。德國蒂賓根大學等多所機構近期的一篇論文對人類和 DNN 的目標識別穩(wěn)健性進行了行為比較，并得到了一些有趣的見解。機器之心對該論文進行了編譯介紹。

　　摘要

　　我們通過 12 種不同類型的圖像劣化(image degradation)方法，比較了人類與當前的卷積式深度神經網絡(DNN)在目標識別上的穩(wěn)健性。首先，對比三種著名的 DNN(ResNet-152、VGG-19、GoogLeNet)，我們發(fā)現(xiàn)不管對圖像進行怎樣的操作，幾乎所有情況下人類視覺系統(tǒng)都更為穩(wěn)健。我們還觀察到，當信號越來越弱時，人類和 DNN 之間的分類誤差模式之間的差異會逐漸增大。其次，我們的研究表明直接在畸變圖像上訓練的 DNN 在其所訓練的同種畸變類型上的表現(xiàn)總是優(yōu)于人類，但在其它畸變類型上測試時，DNN 卻表現(xiàn)出了非常差的泛化能力。比如，在椒鹽噪聲上訓練的模型并不能穩(wěn)健地應對均勻白噪聲，反之亦然。因此，訓練和測試之間噪聲分布的變化是深度學習視覺系統(tǒng)所面臨的一大關鍵難題，這一難題可通過終身機器學習方法而系統(tǒng)地解決。我們的新數(shù)據(jù)集包含 8.3 萬個精心度量的人類心理物理學試驗，能根據(jù)人類視覺系統(tǒng)設置的圖像劣化提供對終身穩(wěn)健性的有用參考。

　　圖 1：在(有可能畸變的)ImageNet 圖像上從頭開始訓練的 ResNet-50 的分類表現(xiàn)。(a)在標準的彩色圖像上訓練后的模型在彩色圖像上的測試表現(xiàn)接近完美(優(yōu)于人類觀察者)。(b)類似地，在添加了均勻噪聲的圖像上訓練和測試的模型也優(yōu)于人類。(c)顯著的泛化問題：在添加了椒鹽噪聲的圖像上訓練的模型在具有均勻噪聲的圖像上進行測試時，表現(xiàn)時好時壞——即使這兩種噪聲類型在人眼看來并沒有太大的區(qū)別。

　　1 引言

　　1.1 作為人類目標識別模型的深度神經網絡

　　人類在日常生活中進行的視覺識別速度很快，似乎也毫不費力，而且很大程度無關視角和物體的方向 [Biederman (1987)]。在單次注視過程中完成的主要由中心凹進行的快速識別被稱為「核心目標識別(core object recognition)」[DiCarlo et al. (2012)]。比如，在查看「標準的」圖像時，我們能夠在不到 200 毫秒的單次注視內可靠地辨別出視野中心的目標。[DiCarlo et al. (2012); Potter (1976); Thorpe et al. (1996)]。由于目標識別速度很快，所以研究者常認為核心目標識別主要是通過前饋處理實現(xiàn)的，盡管反饋連接在靈長類大腦中無處不在。靈長類大腦中的目標識別據(jù)信是通過腹側視覺通路實現(xiàn)的，這是一個由區(qū)域 V1-V2-V4-IT 組成的分層結構，來自視網膜的信息會首先傳遞至 V1 的皮層 [Goodale and Milner (1992)]。

　　就在幾年前，動物視覺系統(tǒng)還是已知的唯一能夠進行種類廣泛的視覺目標識別的視覺系統(tǒng)。但這種情況已然改變，在數(shù)百萬張有標注圖像上訓練之后的腦啟發(fā)式深度神經網絡已經在自然場景圖像中的物體分類上達到了人類水平 [Krizhevsky et al. (2012)]。DNN 現(xiàn)在可用于各種類型的任務，并且創(chuàng)造了新的當前最佳，甚至在一些幾年前還被認為需要數(shù)十年時間才能通過算法解決的任務上取得了超越人類的表現(xiàn) [He et al. (2015); Silver et al. (2016)]。因為 DNN 和人類能達到相近的準確度，所以已有一些工作開始研究 DNN 和人類視覺的相似和不同之處。一方面，由于大腦本身的復雜性和神經元的多樣性，所以 DNN 的網絡單元得到了很大的簡化 [Douglas and Martin (1991)]。另一方面，一個模型的能力往往并不取決于對原有系統(tǒng)的復現(xiàn)，而在于模型取得原系統(tǒng)的重要方面并將其從實現(xiàn)的細節(jié)中抽象出來的能力 [如 Box (1976); Kriegeskorte (2015)]。

　　人類視覺系統(tǒng)最顯著的性質之一是穩(wěn)健的泛化能力。即使輸入分布發(fā)生很大的變化(比如不同的光照條件和天氣類型)，人類視覺系統(tǒng)也能輕松應對。比如，即使在一個物體前面有雨滴或雪花，人類對物體的識別也基本不會出錯。盡管人類在一生中肯定會遇到很多這樣的變化情況(對于 DNN，即是我們所說的「訓練時間」)，但似乎人類的泛化方式非常普適，并不局限于之前看過的同種分布。否則我們將無法理解存在某些全新之處的場景，之前未見過的噪聲也會讓我們束手無策。即使一個人的頭上還從未被撒過彩片碎紙，但他仍然可以毫無壓力地辨認出花車巡游中的目標。很自然，這樣通用穩(wěn)健的機制并不只是動物視覺系統(tǒng)所需的，要讓人工視覺系統(tǒng)具備超出其訓練時間所用分布的「眼界」，從而處理各種各樣的視覺任務，也將需要類似的機制。用于自動駕駛的深度學習可能就是其中一個突出案例：即使系統(tǒng)在訓練時間從沒見過彩片碎紙雨，在花車巡游時也需要有穩(wěn)健的分類表現(xiàn)。因此，從機器學習角度看，因為終身機器學習所需的泛化能力并不依賴于在測試時間使用獨立同分布(i.i.d.)樣本的標準假設，所以對一般噪聲的穩(wěn)健性可用作終身機器學習的高度相關的案例 [Chen and Liu (2016)]。

　　1.2 泛化能力比較

　　DNN 的泛化效果一般很好：首先，DNN 能夠在訓練分布上學習到足夠一般的特征，能在獨立同分布的測試分布上得到很高的準確度;盡管 DNN 也有足夠的能力完全記憶訓練數(shù)據(jù) [Zhang et al. (2016)]，。有很多研究致力于理解這一現(xiàn)象 [如 Kawaguchi et al. (2017); Neyshabur et al. (2017); Shwartz-Ziv and Tishby (2017)]。其次，在一個任務上學習到特征往往只會遷移到有所相關的任務上，比如從分類任務遷移到顯著性預測任務 [Kümmerer et al. (2016)]、情緒識別任務 [Ng et al. (2015)]、醫(yī)學成像任務 [Greenspan et al. (2016)] 以及其它很多遷移學習任務 [Donahue et al. (2014)]。但是，在用于新任務之前，遷移學習仍然需要大量訓練。這里，我們采用第三種設定：終身機器學習角度的泛化 [Thrun (1996)]。即當一個視覺學習系統(tǒng)在學習過處理一種特定類型的圖像劣化后，在處理新類型的圖像劣化時效果如何?作為一種目標識別穩(wěn)健性的度量方法，我們可以測試分類器或視覺系統(tǒng)能夠忍受輸入分布的變化達到一定程度的能力，即在一定程度上不同于訓練分布的測試分布上評估時的識別表現(xiàn)是否夠好(即在接近真實的情況下測試，而非在獨立同分布上測試)。使用這種方法，我們可以衡量 DNN 和人類觀察者應對由參數(shù)化圖像處理所造成的原始圖像逐漸畸變的能力。

　　首先，我們將評估在 ImageNet 上訓練的表現(xiàn)最好的 DNN，即 GoogLeNet [Szegedy et al. (2015)]、 VGG-19 [Simonyan and Zisserman (2015)] 和 ResNet-152 [He et al. (2016)]，并會在 12 種不同的圖像畸變上比較這些 DNN 與人類的表現(xiàn)，看各自在之前未見過的畸變上的泛化能力如何。圖 2 展示了這些畸變類型，包含加性噪聲或相位噪聲等。

　　在第二組實驗中，我們會直接在畸變圖像上訓練網絡，看它們在一般意義上處理有噪聲輸入的效果究竟如何，以及在畸變圖像上進行多少訓練就能以數(shù)據(jù)增強的形式助力對其它畸變形式的處理。研究者已對人類在目標識別任務上的行為進行了很多心理物理學研究，這些任務包括在不同顏色(灰度和彩色)或對比度以及添加了不同量的可見噪聲的圖像上測量準確度。研究表明，這種方法確實有助于對人類視覺系統(tǒng)的探索，能揭示出有關其中內部計算和機制的信息 [Nachmias and Sansbury (1974); Pelli and Farell (1999); Wichmann (1999); Henning et al. (2002); Carandini and Heeger (2012); Carandini et al. (1997); Delorme et al. (2000)]。因此，類似的實驗也許同樣能讓我們了解 DNN 的工作方式，尤其是還能通過與人類行為的高質量測量結果來進行比較。

　　特別需要指出，我們實驗中的人類數(shù)據(jù)是從受控的實驗環(huán)境中獲得的(而沒有使用 Amazon Mechanical Turk 等服務，因為這些服務無法讓我們充分地控制展示時間、顯示器校準、視角和參與者在實驗中的注意力)。我們精心測量得到的行為數(shù)據(jù)集共包含 12 個實驗的 82880 次心理物理學試驗，這些數(shù)據(jù)以及相關材料和代碼都已公開：https://github.com/rgeirhos/generalisation-humans-DNNs

　　2 方法

　　這一節(jié)將報告所用的范式、流程、圖像處理方法、觀察者和 DNN 的核心元素;這里的信息足以讓讀者了解相關實驗和結果。更深入的解讀請參閱補充材料，其中有更詳細的細節(jié)，可幫助研究者重現(xiàn)我們的實驗。

　　2.1 范式、流程和 16-class-ImageNet

　　為了本研究，我們開發(fā)了一種實驗范式，旨在使用一種強制選擇的圖像分類任務來盡可能公平地比較人類觀察者和 DNN。實現(xiàn)公平的心理物理學比較面臨著一些難題：首先，很多表現(xiàn)優(yōu)良的 DNN 是在 ILSRVR 2012 數(shù)據(jù)庫 [Russakovsky et al. (2015)] 上訓練的，這個數(shù)據(jù)庫有 1000 種細粒度的類別(比如，超過 100 種狗)。如果讓人類說出這些目標的名稱，他們基本上很自然地會使用大類的名稱(比如會說這是「狗」，而不是說是「德國牧羊犬」)。因此，我們使用 WordNet 的層次結構 [Miller (1995)] 開發(fā)了一種映射方法，將 16 種大類類別(比如狗、車或椅子)映射到了它們對應的 ImageNet 類別。我們將這個數(shù)據(jù)集稱為 16-class-ImageNet，因為它將 ImageNet 的一個子集分組成了 16 個大類，即：飛機、兩輪車、船舶、小車、椅子、狗、鍵盤、烤箱、熊、鳥、瓶子、貓、鐘表、象、刀具、卡車)。然后，在每次試驗中都會有一張圖像顯示在計算機屏幕上，觀察者必須通過點擊這 16 個類別中的 1 個來選出正確的類別。對于預訓練的 DNN，則是計算映射到特定大類的所有 softmax 值的總和。然后，具有最高總和的大類被用作該網絡的最終決定。

　　另一個難題是實際上標準的 DNN 在推理時間僅會使用前饋式計算，而循環(huán)連接在人腦中無處不在 [Lamme et al. (1998); Sporns and Zwi (2004)]。為了防止這種差異在我們的實驗比較中成為混淆結果的主要原因，給人類觀察者的呈現(xiàn)時間被限制在了 200ms。在展示完一張圖像之后，還會呈現(xiàn) 200ms 的 1/f 噪聲掩?！谛睦砦锢韺W上，已知這種方法能夠盡可能地最小化大腦中的反饋影響。

　　2.2 觀察者和預訓練的深度神經網絡

　　來自人類觀察者的數(shù)據(jù)與三個預訓練的 DNN 的分類表現(xiàn)進行了比較，即 GoogLeNet、 VGG-19 和 ResNet-152。對于我們進行的 12 個實驗中的每一個，都有 5 或 6 個觀察者參與(只有彩色圖像的實驗除外，該實驗僅有三位觀察者參與，因為已有很多研究執(zhí)行過類似的實驗 [Delorme et al. (2000); Kubilius et al. (2016); Wichmann et al. (2006)]。觀察者的視力或矯正后視力處于正常水平。

　　2.3 圖像處理方法

　　我們在一個控制良好的心理物理學實驗室環(huán)境中進行了總共 12 個實驗。在每個實驗中，都會在大量圖像上施加(可能是參數(shù)化的)圖像畸變，這樣信號強度的范圍就從「沒有畸變/全信號」到「有畸變/(更)弱信號」不等。然后我們測量了分類準確度隨信號強度的變化情況。我們使用的圖像處理方法中有三種是二分式的(彩色與灰度、真色與反色、原始與均衡化的功率譜);一種處理方式有 4 個不同層級(旋轉 0、90、180、270 度);還有一種方式有 7 個層級(0、30……180 度的相位噪聲);其它畸變方法則各有 8 個不同層級。這些方法為：均勻噪聲(受表示像素層面加性均勻噪聲的邊界的「width」參數(shù)控制)、對比度下降(對比度從 100% 到 1% 不等)以及三種來自 Eidolon 工具箱的三種不同的處理方法 [Koenderink et al. (2017)]。這三個 Eidolon 實驗都對應于一種參數(shù)化圖像處理的不同版本，「reach」參數(shù)控制了畸變的強度。此外，對于在畸變上訓練的實驗，我們也評估了在具有椒鹽噪聲的刺激上的表現(xiàn)(受參數(shù) p 控制，該參數(shù)表示將一個像素設置成黑或白色的概率;p∈[0,10,20,35,50,65,80,95]%)。

　　更多有關不同圖像處理方法的信息請參閱補充材料，其中也包含各種不同處理方法和畸變等級的圖例。圖 2 則展示了每種畸變的一個圖例。整體而言，我們選擇使用的圖像處理方法能夠代表很多不同類型的可能畸變。

　　圖 2：一張鳥圖像在經過所有類型的畸變處理后的結果。從左至右的圖像處理方法依次為：(上面一行)：彩色原圖(未畸變)、灰度、低對比度、高通、低通(模糊)、相位噪聲、功率均衡;(下面一行)：反色、旋轉、Eidolon I、Eidolon II、Eidolon III、加性均勻噪聲、椒鹽噪聲。補充材料中提供了所用到的所有畸變等級。

　　2.4 在畸變圖像上訓練

　　除了在畸變圖像上評估標準的預訓練的 DNN(結果見圖 3)，我們還直接在畸變圖像上訓練了神經網絡(圖 4)。這些網絡是在 16-class-ImageNet 上訓練的，這是標準 ImageNet 數(shù)據(jù)集的一個子集，詳見 2.1 節(jié)。這將未受擾動的訓練集規(guī)模減小到了大約原來的五分之一。為了校正每個類別的高度不平衡的樣本數(shù)量，我們使用了一個與對應類別的樣本數(shù)量成正比的權重給損失函數(shù)中的每個樣本加權。這些實驗中訓練的所有網絡都使用了類似 ResNet 的架構，與標準 ResNet-50 的不同之處僅有輸出神經元的數(shù)量——從 1000 降至了 16，以對應數(shù)據(jù)集的 16 個大類。權重使用了一個截斷的正態(tài)分布進行初始化，均值為零，標準差為，其中 n 是一層中輸出神經元的數(shù)量。

　　在從頭開始訓練時，我們使用圖像處理方法的不同組合在訓練過程中執(zhí)行了數(shù)據(jù)增強。當在多種類型的圖像處理上訓練網絡時(圖 4 中的 B1-B9 和 C1-C2 模型)，圖像處理的類型(包括未畸變圖像，即標準的彩色圖像)是均勻選取的，而且我們每次僅應用一種處理(即網絡永遠不會看到同時應用了多種圖像處理方法的單張圖像，但注意某些圖像處理方法本質上已經包含了其它處理方法：比如均勻噪聲，總是在進行灰度轉換并將對比度降至 30% 后添加的)。對于一個給定的圖像處理方法，擾動量是根據(jù)測試時間所用的等級均勻選取的(參見圖 3)。

　　訓練過程的其它方面都遵循在 ImageNet 上訓練 ResNet 的標準訓練流程：我們使用了動量為 0.997 的 SGD，批大小為 64，初始學習率為 0.025。在 30、60、80 和 90 epoch 后(當訓練 100 epoch 時)或 60、120、160、180 epoch 后(當訓練 200 epoch 時)，學習率乘以 0.1。我們使用了 TensorFlow 1.6.0 [Abadi et al. (2016)] 進行訓練。在訓練實驗中，除了 Eidolon 刺激(因為這些刺激的生成對 ImageNet 訓練而言的計算速度實在太慢)之外，所有的圖像處理方法都有超過兩個層級。為了進行比較，我們額外添加了彩色與灰度和椒鹽噪聲的對比(因為椒鹽噪聲方面沒有人類的數(shù)據(jù)，但均勻噪聲和椒鹽噪聲之間不正式的比較說明人類的表現(xiàn)是相近的，參見圖 1(c))。

　　3 人類和預訓練后的 DNN 對圖像畸變的泛化能力

　　為了評估信號更弱時的泛化能力，我們測試了 12 種不同的圖像劣化方法。然后將這些不同信號強度的圖像呈現(xiàn)給實驗室環(huán)境中的人類觀察者以及預訓練的 DNN(ResNet-152、GoogLeNet 和 VGG-19)進行分類。圖 3 給出了可視化的結果比較。

　　圖 3：GoogLeNet、VGG-19 和 ResNet-152 以及人類觀察者的分類準確度和響應分布熵。「熵」是指響應/決定分布(16 類)的香農熵。這里衡量了與特定類別的偏差：使用一個在每個類別的圖像數(shù)量方面平衡的測試數(shù)據(jù)集，對所有 16 個類別進行同等頻率的響應能得到 4 bit 的最大可能熵。如果網絡或觀察者更偏愛響應其中某些類別，則熵會降低(如果是一直響應單個類別的極端情況，則會降至 0 bit，不管基本真值的類別如何)。人類表現(xiàn)的「誤差線」表示了所有參與者的結果的整個區(qū)間。2.3 節(jié)將解釋圖像處理方法，可視化結果請參閱補充材料。

　　雖然在僅有相對較小的與顏色相關的畸變時(比如灰度轉換或反色)人類和 DNN 的性能接近，但我們發(fā)現(xiàn)人類觀察者對其它所有畸變都更穩(wěn)?。涸诘蛯Ρ榷?、功率均衡和相位噪聲圖像上有少許優(yōu)勢，在均勻噪聲、低通、高通、旋轉和三種 Eidolon 實驗上優(yōu)勢更大。此外，由響應分布熵衡量的誤差模式存在很大的差異(這表明存在對特定類別的偏差)。當信號越來越弱時，人類參與者的響應在 16 個類別上或多或少是均等分布的，而三個 DNN 都表現(xiàn)出了對特定類別的偏差。這些偏差并不能完全通過先驗類別概率解釋，而且因具體畸變而各不相同。比如，對于有很強均勻噪聲的圖像，ResNet-152 幾乎只能預測瓶子類別(與基本真值類別無關)，而對于有嚴重相位噪聲的圖像則只能預測狗或鳥類別。人們可能會想到一些降低 DNN 和人類的響應分布熵之間的差異的簡單技巧。一種可能的方法是增大 softmax 溫度參數(shù)并假設模型的決定是從這個 softmax 分布采樣的，而不是取自 argmax。但是，以這種方式增大響應 DNN 分布熵會極大降低分類準確度，因此需要一定的權衡(參見補充材料圖 8)。

　　這些結果與之前報告的 DNN 中對顏色信息的處理與人類類似的發(fā)現(xiàn)一致 [Flachot and Gegenfurtner (2018)]，但 DNN 識別的準確度會因噪聲和模糊等圖像劣化而顯著下降 [Vasiljevic et al. (2016); Dodge and Karam (2016, 2017a, 2017b); Zhou et al. (2017)]。整體而言，在各種圖像畸變情況下，DNN 在泛化到更弱信號上的表現(xiàn)比人類更差。盡管人類的視覺系統(tǒng)隨進化過程和生命周期已經遇到了大量畸變，但我們顯然沒遇到過我們的測試中很多確切的圖像處理方式。因此，我們的人類數(shù)據(jù)表明原則上高水平的泛化能力是可能的。我們發(fā)現(xiàn)，人類與 DNN 的泛化能力差異的可能原因有很多：在當前所使用的網絡架構方面是否存在局限性(正如 Dodge and Karam (2016) 假設的那樣)，使得 DNN 無法匹敵人腦中錯綜復雜的計算?訓練數(shù)據(jù)是否存在問題(Zhou et al. (2017) 就這樣認為)?還是說當今的訓練方法/優(yōu)化方法不足以實現(xiàn)穩(wěn)健和通用的目標識別?為了理解我們發(fā)現(xiàn)的差異之處，我們進行了另一批實驗——直接在畸變圖像上訓練網絡。

　　4 直接在畸變圖像上訓練 DNN

　　圖 4：使用可能畸變的數(shù)據(jù)訓練的網絡的分類準確度(百分數(shù))。行表示中等難度的不同測試條件(括號中給出了具體條件，單位同圖 3)。列對應按不同方式訓練的網絡(最左列：用于比較的人類觀察者;沒有人類在椒鹽噪聲方面的數(shù)據(jù))。所有的網絡都是在(可能處理過的)16-class-ImageNet 上從頭開始訓練得到的。紅框標記了對應網絡的訓練數(shù)據(jù)中使用的處理方法;此外，加上了下劃線的結果表示「灰度」是訓練數(shù)據(jù)的一部分，因為某些畸變方法包含了完全對比度的灰度圖像。模型 A1-A9：在單一畸變上訓練的 ResNet-50(100 epoch)。模型 B1-B9：在均勻噪聲和另一種畸變上訓練的 ResNet-50(200 epoch)。模型 C1 和 C2：在除一種畸變外的所有畸變上訓練的 ResNet-50(200 epoch)。隨機選中的幾率是十六分之一，即 6.25%。

　　我們?yōu)槊糠N畸變直接在 16-class-ImageNet 圖像(有可能進行了圖像處理)上從頭開始訓練一個網絡。圖 4(A1-A9)展示了訓練的結果。我們發(fā)現(xiàn)，這些特定的網絡在其所訓練的圖像處理類型上總是優(yōu)于人類觀察者的表現(xiàn)(即圖中對角線上的優(yōu)良結果)。這表明，當前所用的架構(比如 ResNet-50)和訓練方法(標準的優(yōu)化器和訓練過程)足以「解決」獨立同分布的訓練/測試條件下的畸變。我們不僅能解決 Dodge and Karam (2017a) 觀察到的人類與 DNN 表現(xiàn)的差異問題(他們在畸變上對網絡進行了精細調節(jié)，但得到的 DNN 未達到人類水平)，而且能在這方面超越人類的水平。盡管人類視覺系統(tǒng)的結構肯定更為復雜 [Kietzmann et al. (2017)]，但看起來對處理這類圖像處理問題來說似乎并不是必需的。

　　但是，正如之前指出的那樣，穩(wěn)健的泛化能力的關鍵不是解決事先已知的特定問題。因此，我們測試了在特定畸變類型上訓練的網絡在另一些畸變上的表現(xiàn)。圖 4 A1-A9 中非對角線上的數(shù)據(jù)即為實驗結果。整體而言，我們發(fā)現(xiàn)，在一些案例中，在特定畸變上訓練能稍微提升在其它畸變上的表現(xiàn)，但也有一些案例給出了相反的結果(比較對象是在彩色圖像上訓練的純 ResNet-50，即圖中的 A1)。所有網絡在椒鹽噪聲以及均勻噪聲上的表現(xiàn)都接近隨機亂選，即使是在各自相應的其它噪聲模型上直接訓練的網絡也是如此。因為這兩種類型的噪聲在人眼看來其實差別并不大(如圖 1(c) 所示)，所以這一結果可能還是頗讓人驚訝。因此，在一種畸變類型上訓練的網絡并不總是能實現(xiàn)在其它畸變上的表現(xiàn)提升。

　　因為只在單一一種畸變上訓練似乎不足以為 DNN 帶來強大的泛化能力，所以我們還在另外兩種設置上訓練了同樣的架構(ResNet-50)。圖 4 中 B1-B9 模型展示了在一種特定的畸變與均勻噪聲的組合上訓練后的結果(來自每種圖像處理方法的訓練數(shù)據(jù)各 50%)。選擇均勻噪聲的原因是這似乎是對所有網絡而言最困難的畸變，因此將這種特定畸變納入訓練數(shù)據(jù)可能是有益的。此外，我們還在除去了一種畸變(除去了均勻噪聲或椒鹽噪聲)之外的所有畸變上訓練了模型 C1 和 C2。

　　我們發(fā)現(xiàn)，相比于模型 A1-A9，模型 B1-B9 的目標識別表現(xiàn)有所提升——不管是它們實際訓練的畸變上(圖 4 中的對角線上的紅框)，還是在其它未在訓練數(shù)據(jù)中出現(xiàn)的畸變上。但是，這一提升的原因很大程度上可能是模型 B1-B9 訓練了 200 epoch，而不是像 A1-A9 那樣訓練了 100 epoch，因為模型 B9(在均勻噪聲上訓練和測試，200 epoch)的表現(xiàn)也由于模型 A9(在均勻噪聲上訓練和測試，100 epoch)。因此，當存在嚴重畸變時，訓練更長時間可能更有用，但將其它畸變集成到訓練過程中卻似乎并不具有普適的益處。此外，我們還發(fā)現(xiàn)，即使對于單個模型來說，在其所訓練的所有 8 種畸變上都達到較高的準確度也是可能(模型 C1 和 C2)，但是對于剩下的兩種畸變(均勻噪聲或椒鹽噪聲)，目標識別準確度卻僅有 11%-14%;比起在同一畸變上訓練得到的專用網絡(準確度超過 70%)，這一準確度離隨機亂選要近得多。

　　總的來說，這些發(fā)現(xiàn)表明僅使用畸變來進行數(shù)據(jù)增強可能不足以克服我們發(fā)現(xiàn)的泛化問題。問題也許應該變一變了——不再是「為什么 DNN 的泛化能力這么好(在獨立同分布條件下)?」[Zhang et al. (2016)]，而變成「為什么 DNN 的泛化能力這么糟(在非獨立同分布條件下)?」目前被視為人類目標識別的計算模型的 DNN 將如何解決這一難題?還有待未來研究。這個激動人心的領域處于認知科學/視覺感知和深度學習領域的交叉點，會從這兩個領域同時汲取靈感和新思想：計算機視覺的域適應子領域(參閱 Patel et al. (2015) 的綜述)正在研究不受輸入分布變化所影響的穩(wěn)健型機器推理方法，同時人類視覺研究領域也正在積累證據(jù)證明局部增益控制機制的優(yōu)勢。這些標準化過程似乎對動物和人類的穩(wěn)健視覺的很多方面而言都至關重要 [Carandini and Heeger (2012)]，也能預測人類視覺數(shù)據(jù) [Berardino et al. (2017); Schütt and Wichmann (2017)]，并以證明可用于計算機視覺 [Jarrett et al. (2009); Ren et al. (2016)]。神經標準化過程與 DNN 的泛化能力之間是否存在關聯(lián)?這將是值得未來研究一個有趣方向。

　　5 總結

　　我們基于 12 種不同的圖像畸變，對人類和 DNN 的目標識別穩(wěn)健性進行了行為比較。我們發(fā)現(xiàn)，與人類觀察者相比，在 ImageNet 上訓練的三種知名 DNN(ResNet-152、GoogLeNet 和 VGG-19)的表現(xiàn)會隨著圖像畸變所造成的信噪比的減小而迅速降低。此外，我們還發(fā)現(xiàn)當信號越來越弱時，人類與 DNN 的分類誤差模式的差別會逐漸增大。我們在良好控制的實驗室條件下進行了 82880 次心理物理學試驗，結果表明人類與當前 DNN 處理目標信息的方式仍存在顯著區(qū)別。在我們的設置中，這些區(qū)別無法通過在畸變圖像上進行訓練(即數(shù)據(jù)增強)而克服：盡管 DNN 能完美應對其所訓練過的特定畸變，但對于它們之前未曾見過的畸變類型，它們仍然束手無策。因為潛在畸變的類型基本上是無窮無盡的(不管是理論上還是實際應用中都是如此)，所以不可能在所有畸變上都訓練一遍。當超出常規(guī)的獨立同分布假設時(通常是不現(xiàn)實的)，DNN 就會遇到泛化問題。我們相信，不管是為了創(chuàng)造穩(wěn)健的機器推理，還是為了更好地理解人類目標識別，解決這一泛化問題都至關重要。我們希望我們的發(fā)現(xiàn)以及我們精心測量并免費公開的行為數(shù)據(jù)能為 DNN 穩(wěn)健性的提升提供一個有用的新基準，并能激勵神經科學家找到大腦中負責這一出色的穩(wěn)健性機制。