我們真的永遠也理解不了人工智能嗎？

　　美國科學雜志nautil.us《鸚鵡螺》作家Aaron M. Bornstein發(fā)表了針對人工智能時代下神經網絡模型的深度報道。從語音識別到語言翻譯，從下圍棋的機器人到自動駕駛汽車，各行各業(yè)都在該人工智能的驅動下出現(xiàn)了新的突破。雖然現(xiàn)代神經網絡的表現(xiàn)令人激動，但也面臨一個棘手的問題：沒人理解它們的運行機制，這也就意味著，沒人能預測它們何時可能失靈。正因為如此，許多人遲疑不前、不敢對神秘莫測的神經網絡下注。

　　在神經網絡中，數據從一層傳遞到另一層，每一步都經歷一些簡單的轉變。在輸入層和輸出層之間還隱藏著若干層，以及眾多節(jié)點組和連接。其中往往找不出可被人類解讀的規(guī)律，與輸入或輸出也沒有明顯的聯(lián)系?！吧疃取本W絡便是隱藏層數量較多的神經網絡

　　以下為文章全文：

　　作為IBM的一名研究科學家，迪米特里·馬里奧托夫其實不太說得上來自己究竟打造了什么。他的部分工作內容是打造機器學習系統(tǒng)、解決IBM公司客戶面臨的棘手問題。例如，他曾為一家大型保險公司編寫了一套程序。這項任務極具挑戰(zhàn)性，要用到一套十分復雜的算法。在向客戶解釋項目結果時，馬里奧托夫更是大傷腦筋。“我們沒辦法向他們解釋這套模型，因為他們沒受過機器學習方面的培訓。”

　　其實，就算這些客戶都是機器學習專家，可能也于事無補。因為馬里奧托夫打造的模型為人工神經網絡，要從特定類型的數據中尋找規(guī)律。在上文提到的例子中，這些數據就是保險公司的客戶記錄。此類網絡投入實際應用已有半個世紀之久，但近年來又有愈演愈烈之勢。從語音識別到語言翻譯，從下圍棋的機器人到自動駕駛汽車，各行各業(yè)都在該技術的驅動下出現(xiàn)了新的突破。

　　雖然現(xiàn)代神經網絡的表現(xiàn)令人激動，但也面臨一個棘手的問題：沒人理解它們的運行機制，這也就意味著，沒人能預測它們何時可能失靈。

　　以機器學習專家里奇·卡魯阿納和同事們前幾年報告的一起事件為例：匹茲堡大學醫(yī)學中心的一支研究團隊曾利用機器學習技術預測肺炎患者是否會出現(xiàn)嚴重并發(fā)癥。他們希望將并發(fā)癥風險較低的患者轉移到門診進行治療，好騰出更多床位和人手。該團隊試了幾種不同的方法，包括各種各樣的神經網絡，以及由軟件生成的決策樹，后者可總結出清晰易懂、能被人類理解的規(guī)則。

　　在現(xiàn)代機器學習算法中，可解釋性與精確度難以兩全其美。深度學習精確度最高，同時可解釋性最低

　　神經網絡的正確率比其它方法都要高。但當研究人員和醫(yī)生們分析決策樹提出的規(guī)則時，卻發(fā)現(xiàn)了一些令人不安的結果：按照其中一條規(guī)則，醫(yī)生應當讓已患有哮喘的肺炎病人出院，而醫(yī)生們都知道，哮喘患者極易出現(xiàn)并發(fā)癥。

　　這套模型完全遵從了指令：

　　從數據中找出規(guī)律。它之所以給出了如此差勁的建議，其實是由數據中的一個巧合導致的。按照醫(yī)院政策，身患哮喘的肺炎患者需接受強化護理。而這項政策效果極佳，哮喘患者幾乎從不會產生嚴重并發(fā)癥。由于這些額外護理改變了該醫(yī)院的患者記錄，算法預測的結果也就截然不同了。

　　這項研究充分體現(xiàn)了算法“可解釋性”的價值所在。卡魯阿納解釋道：“如果這套以規(guī)則為基礎的系統(tǒng)學到了‘哮喘會降低并發(fā)癥風險’這一規(guī)則，神經網絡自然也會學到這一點?！钡祟愖x不懂神經網絡，因此很難預知其結果。馬里奧托夫指出，若不是有一套可解釋的模型，“這套系統(tǒng)可能真的會害死人?！?/p>

　　正因為如此，許多人遲疑不前、不敢對神秘莫測的神經網絡下注。馬里奧托夫為客戶提供了兩套模型：一套是神經網絡模型，雖然精確，但難以理解;另一套則是以規(guī)則為基礎的模型，能夠用大白話向客戶解釋運作原理。盡管保險公司對精確度要求極高，每個百分點都十分重要，但客戶仍選擇了精確度稍遜的第二套模型?！八麄冇X得第二套模型更容易理解，”馬里奧托夫表示，“他們非?？粗刂庇^性?！?/p>

　　隨著神秘難解的神經網絡影響力與日俱增，就連政府都開始對其表示關注。歐盟兩年前提出，應給予公民“要求解釋”的權利，算法決策需公開透明。但這項立法或許難以實施，因為立法者并未闡明“透明”的含義。也不清楚這一省略是由于立法者忽略了這一問題、還是覺得其太過復雜導致。

　　事實上，有些人認為這個詞根本無法定義。目前我們雖然知道神經網絡在做什么(畢竟它們歸根到底只是電腦程序)，但我們對“怎么做、為何做”幾乎一無所知。神經網絡由成百上千萬的獨立單位、即神經元構成。每個神經元都可將大量數字輸入轉化為單個數字輸出，再傳遞給另一個、或多個神經元。就像在人腦中一樣，這些神經元也分成若干“層”。一組細胞接收下一層細胞的輸入，再將輸出結果傳遞給上一層。

　　神經網絡可通過輸入大量數據進行訓練，同時不斷調整各層之間的聯(lián)系，直到該網絡計算后輸出的結果盡可能接近已知結果(通常分為若干類別)。近年來該領域之所以發(fā)展迅猛，還要歸功于幾項可快速訓練深度網絡的新技術。在深度網絡中，初始輸入和最終輸出之間相隔多層。有一套叫AlexNet的著名深度網絡，可對照片進行歸類，根據照片的細微差別將其劃入不同類別。該網絡含有超過6000萬個“權重”，根據不同權重，神經元會對每項輸入給予不同程度的關注。隸屬于康奈爾大學和AI初創(chuàng)公司Geometric Intelligence的計算機科學家杰森·尤辛斯基指出：“要想理解這個神經網絡，你就要對這6000萬個權重都有一定的了解?！?/p>

　　而就算能夠實現(xiàn)這種可解讀性，也未必是件好事。對可解讀性的要求相當于制約了系統(tǒng)的能力，使模型無法僅關注輸入輸出數據、提供“純粹”的解決方案，從而有降低精確度之嫌。美國國防部高級研究計劃局項目主管戴維·甘寧曾在一次會議上對此進行了總結。在他展示的圖表中，深度神經網絡是現(xiàn)代機器學習方法中最難以理解的一種，而以規(guī)則為基礎、重視可解釋性勝過效率的決策樹則是最容易理解的一種。

　　現(xiàn)代機器學習技術為開發(fā)者提供了不同的選擇：究竟是要精確獲知結果，還是要以犧牲精確度為代價、了解出現(xiàn)該結果的原因?“了解原因”可幫助我們制定策略、做出適應、并預測模型何時可能失靈。而“獲知結果”則能幫助我們即刻采取恰當行動。

　　這實在令人左右為難。但一些研究人員提出，如果既能保留深度網絡的多層構造、又能理解其運作原理，豈不是最好?令人驚奇的是，一些最受看好的研究所其實是將神經網絡作為實驗對象看待的，即沿襲生物科學的思路，而不是將其視作純數學的研究對象。尤辛斯基也表示，他試圖“通過我們了解動物、甚至人類的方式來了解深度網絡?！彼推渌嬎銠C科學家借鑒了生物研究技術，借神經科學家研究人腦的方式研究神經網絡：對各個部件展開詳細分析，記錄各部件內部對微小輸入變化的反應，甚至還會移除某些部分、觀察其余部分如何進行彌補。

　　在從無到有地打造了一種新型智能之后，科學家如今又將其拆開，用數字形式的“顯微鏡”和“手術刀”對這些“虛擬器官”展開分析。

　　尤辛斯基坐在一臺電腦前、對著網絡攝像頭說話。攝像頭接收的數據被輸入深度神經網絡，而與此同時，該網絡也在由尤辛斯基和同事們開發(fā)的Deep Visualization(深度可視化)軟件工具包進行分析。尤辛斯基在幾個屏幕間來回切換，然后將網絡中的一個神經元放大。“這個神經元似乎能夠對面部圖像做出反應?！比四X中也有這種神經元，其中多數都集中在一處名為“梭狀臉區(qū)”的腦區(qū)中。該腦區(qū)最早由1992年開始的一系列研究發(fā)現(xiàn)，被視作人類神經科學最可靠的觀察結果之一。對腦區(qū)的研究還需借助正電子發(fā)射計算機斷層掃描等先進技術，但尤辛斯基只需憑借代碼、便可對人造神經元展開詳細分析。

　　借助該方法，尤辛斯基可將特定的人造神經元與人類能理解的概念或物體(如人臉)建立起映射關系，從而將神經網絡變?yōu)橛辛ぞ摺Ｔ撗芯窟€挑明了圖片中最容易激發(fā)面部神經元反映的特征?！把劬︻伾缴?、嘴唇越紅，神經元的反應就更為強烈?！?/p>

　　杜克大學計算機科學、電子與計算機工程教授辛西婭·魯丁認為，這些“事后解讀”本身是有問題的。她的研究重點為以規(guī)則為基礎的機器學習系統(tǒng)，可應用于罪犯量刑、醫(yī)療診斷等領域。在這些領域中，人類能夠進行解讀，且人類的解讀十分關鍵。但在視覺成像等領域，“個人的解讀結果純屬主觀?！闭\然，我們可以通過識別面部神經元、對神經網絡的響應進行簡化，但如何才能確定這就是該網絡尋找的結果呢?無獨有偶，有一套著名理論認為，不存在比人類視覺系統(tǒng)更簡單的視覺系統(tǒng)模型?！皩τ谝粋€復雜系統(tǒng)在做什么事情，可以有很多種解釋，”魯丁指出，“難道從中選出一個你‘希望’正確的解釋就行了嗎?”

　　尤辛斯基的工具包可以通過逆向工程的方式、找出神經網絡自身“希望”正確的結果，從而在部分程度上解決上述問題。該項目先從毫無意義的“雪花”圖像開始，然后對像素進行逐個調整，通過神經網絡訓練的反向過程逐步修改圖片，最終找出能夠最大限度激發(fā)某個神經元響應的圖片。將該方法運用到AlexNet神經元上后，該系統(tǒng)生成了一些奇奇怪怪的照片，雖然看上去頗為詭異，但的確能看出屬于它們被標記的類別。