人工智能誕生60周年 展望機(jī)器學(xué)習(xí)的未來發(fā)展

　　1952年，Arthur Samuel在IBM公司研發(fā)了一款西游跳棋程序，這個(gè)程序具有自學(xué)習(xí)能力，可以通過對(duì)大量棋局的分析逐漸辨識(shí)出每一棋局中的“好棋”與“壞棋”，從而不斷提高機(jī)器的跳棋水平并很快下贏了Samuel自己。1956，也就是在60年前的達(dá)特茅斯人工智能會(huì)議上，Samuel介紹了自己的這項(xiàng)工作，并發(fā)明了“機(jī)器學(xué)習(xí)”一詞。

　　在計(jì)算科學(xué)歷史上，“機(jī)器學(xué)習(xí)”有著多種定義，普遍的觀點(diǎn)認(rèn)為“機(jī)器學(xué)習(xí)”就是計(jì)算機(jī)利用數(shù)據(jù)和“經(jīng)驗(yàn)”來改善算法系統(tǒng)自身的性能。斯坦福大學(xué)對(duì)機(jī)器學(xué)習(xí)的定義是在沒有明確編程指令的情況下，讓計(jì)算機(jī)自行采取行動(dòng)的科學(xué)。通過已有數(shù)據(jù)產(chǎn)生“學(xué)習(xí)算法”模型后，再應(yīng)用到新的數(shù)據(jù)集上，從而對(duì)新的情況做出策略性判斷，這就是所謂“預(yù)測(cè)”。可以說，機(jī)器學(xué)習(xí)是關(guān)于“學(xué)習(xí)算法”的科學(xué)，而人工智能則是研究開發(fā)具有智能的機(jī)器。

　　2016年是人工智能誕生60周年。在最近十年，隨著大數(shù)據(jù)和云計(jì)算(大規(guī)模計(jì)算)的發(fā)展，機(jī)器學(xué)習(xí)進(jìn)入了發(fā)展的黃金期。2016年12月17日，在2016機(jī)器智能前沿論壇上，中外專家探討了機(jī)器學(xué)習(xí)的未來發(fā)展與展望。

　機(jī)器學(xué)習(xí)進(jìn)入發(fā)展黃金期

　　傳統(tǒng)意義來說來，人工智能分兩步：一是對(duì)數(shù)據(jù)的表示和表達(dá)，二是通過算法達(dá)到預(yù)測(cè)和決策的過程。傳統(tǒng)人工智能是基于語義的方式實(shí)現(xiàn)數(shù)據(jù)的表示或表達(dá)，而從數(shù)據(jù)表示到預(yù)測(cè)往往是通過基于規(guī)則的邏輯推理，一個(gè)典型代表就是專家系統(tǒng)，這也是第一代機(jī)器學(xué)習(xí)。

　　對(duì)于第一代機(jī)器學(xué)習(xí)來說，規(guī)則的定義十分重要，一旦規(guī)則定義不準(zhǔn)確或有問題，將導(dǎo)致不正確的邏輯推理。此外，基于規(guī)則的模型對(duì)于淺層推理有效，但沒法用來進(jìn)行深層次的推理。因此，也就發(fā)展出了第二代機(jī)器學(xué)習(xí)，即基于統(tǒng)計(jì)模型的機(jī)器學(xué)習(xí)。

　　在南京大學(xué)周志華教授的《機(jī)器學(xué)習(xí)》一書中，對(duì)于機(jī)器學(xué)習(xí)的發(fā)展階段和歷史有更為細(xì)分的劃分與相應(yīng)的算法介紹。實(shí)際上，在二十世紀(jì)90年代中期，“統(tǒng)計(jì)學(xué)習(xí)”開始登上歷史的舞臺(tái)并迅速成為主流，代表技術(shù)即為Support Vector Machine(SVM，支持向量機(jī))以及Kernel Methods等。而統(tǒng)計(jì)學(xué)習(xí)成為主流，則是因?yàn)榍捌诘纳窠?jīng)元網(wǎng)絡(luò)研究出現(xiàn)瓶頸后(主要是因?yàn)楫?dāng)時(shí)的參數(shù)設(shè)置以手工為主)，學(xué)者們才把注意力轉(zhuǎn)向了統(tǒng)計(jì)學(xué)習(xí)。

　　隨著統(tǒng)計(jì)學(xué)習(xí)的興起，出現(xiàn)了機(jī)器學(xué)習(xí)的黃金十年。統(tǒng)計(jì)學(xué)習(xí)不僅被用于算法建模，還被用于數(shù)據(jù)的表示與表達(dá)，這樣就弱化了對(duì)于相關(guān)背景知識(shí)的要求。比如計(jì)算機(jī)視覺和圖像研究屬于計(jì)算機(jī)科學(xué)領(lǐng)域，其背景知識(shí)比較容易獲取，而自然語言處理則需要英文或中文的語言學(xué)知識(shí)，這對(duì)于計(jì)算機(jī)專家來說就有難度了。

　　在更為廣泛的應(yīng)用領(lǐng)域，統(tǒng)計(jì)模式識(shí)別正在取代用于數(shù)據(jù)表達(dá)的專家規(guī)則，從而降低了人工智能和機(jī)器學(xué)習(xí)的入門門檻。這樣，從數(shù)據(jù)表示到學(xué)習(xí)算法再到推理預(yù)測(cè)，就都可以全部用機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)，這就進(jìn)入了第三代機(jī)器學(xué)習(xí)階段，即從數(shù)據(jù)直接到智能的端到端的機(jī)器學(xué)習(xí)。當(dāng)然，隨著大數(shù)據(jù)和云計(jì)算的出現(xiàn)，以復(fù)雜神經(jīng)元網(wǎng)絡(luò)為代表的深度學(xué)習(xí)也可以用于數(shù)據(jù)表示與表達(dá)。

　　可以看到，面向數(shù)值計(jì)算的統(tǒng)計(jì)學(xué)習(xí)和以神經(jīng)元網(wǎng)絡(luò)為代表的深度學(xué)習(xí)是現(xiàn)代人工智能的兩個(gè)主要分支。而在大數(shù)據(jù)+云計(jì)算的時(shí)代，這兩大分支都進(jìn)入了新的發(fā)展黃金期。

　　對(duì)抗網(wǎng)絡(luò)和對(duì)偶學(xué)習(xí)

　　由前述可知，機(jī)器學(xué)習(xí)分為三個(gè)階段，即第一階段的數(shù)據(jù)獲取與生成、第二階段的學(xué)習(xí)算法和第三階段的推理預(yù)測(cè)。在大數(shù)據(jù)與云計(jì)算的前提下，這三個(gè)階段有著新的發(fā)展。

　　在數(shù)據(jù)獲取與生成階段，最新的研究發(fā)向就是用對(duì)抗網(wǎng)絡(luò)來產(chǎn)生更多的數(shù)據(jù)。也就是說，如果在現(xiàn)實(shí)世界無法獲得更多數(shù)據(jù)的前提下，就用機(jī)器學(xué)習(xí)算法來模擬更多的現(xiàn)實(shí)世界的數(shù)據(jù)，以供后續(xù)“訓(xùn)練”學(xué)習(xí)算法之用。

　　所謂生成模型(Generative Model)是對(duì)數(shù)據(jù)的建模，即用大量數(shù)據(jù)來訓(xùn)練這個(gè)模型，以期望這個(gè)模型能產(chǎn)生更多類似的數(shù)據(jù)。常見的生成方法有混合高斯模型、樸素貝葉斯法和隱形馬爾科夫模型等等。以混合高斯模型為例，該方法雖然有強(qiáng)大的逼近數(shù)據(jù)分布的能力,是非常適合概率密度估計(jì)的建模方法，但該方法不足以刻畫復(fù)雜的數(shù)據(jù)，因此要用到神經(jīng)元網(wǎng)絡(luò)。

　　對(duì)于可以產(chǎn)生數(shù)據(jù)的神經(jīng)元網(wǎng)絡(luò)來說，如何訓(xùn)練它而使得產(chǎn)生的數(shù)據(jù)更接近真實(shí)數(shù)據(jù)?這就出現(xiàn)了生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)。比如用一個(gè)神經(jīng)元網(wǎng)絡(luò)來產(chǎn)生數(shù)據(jù)，再用另一個(gè)神經(jīng)元網(wǎng)絡(luò)來判別數(shù)據(jù)是否為真實(shí)，再通過兩個(gè)網(wǎng)絡(luò)的結(jié)果差異來優(yōu)化數(shù)據(jù)生成模型。在著名的AlphaGO的訓(xùn)練算法中，也采用了類似的概念來生成用于訓(xùn)練計(jì)算機(jī)的新棋局，從而實(shí)現(xiàn)自對(duì)弈。

　　對(duì)于基于深度神經(jīng)元網(wǎng)絡(luò)的生成網(wǎng)絡(luò)來說，一個(gè)可以改進(jìn)之處就是如何利用大量未標(biāo)注的真實(shí)數(shù)據(jù)。因?yàn)樵谟?xùn)練神經(jīng)元網(wǎng)絡(luò)的時(shí)候，需要大量人工標(biāo)注的數(shù)據(jù)，用以訓(xùn)練算法，比如標(biāo)注一幅圖為“花卉”。清華大學(xué)副教授、卡耐基梅隆大學(xué)兼職教授朱軍介紹了多種利用未標(biāo)注數(shù)據(jù)的方法。

　　朱軍還特別介紹一種引入了“Attention聚焦”和“Memory記憶”機(jī)制的生成網(wǎng)絡(luò)，用于根據(jù)有限的高度抽象的參數(shù)來生成接近真實(shí)的數(shù)據(jù)。比如在生成新圖像的過程中，原有的神經(jīng)元網(wǎng)絡(luò)模型對(duì)真實(shí)的圖像參數(shù)進(jìn)行了高度抽象，在這個(gè)過程中損失了很多細(xì)節(jié)數(shù)據(jù)，在使用另一個(gè)神經(jīng)元網(wǎng)絡(luò)生成新圖像的過程中，如果只采用高度抽象后的圖像參數(shù)，就無法表達(dá)更多的圖像細(xì)節(jié)。因此，在前期學(xué)習(xí)真實(shí)圖像數(shù)據(jù)的過程中，可以引入了“Memory記憶”機(jī)制，把一些圖像細(xì)節(jié)數(shù)據(jù)存儲(chǔ)起來，用于后續(xù)生成更接近真實(shí)的圖像。

　　除了在數(shù)據(jù)生成環(huán)節(jié)需要克服未標(biāo)注數(shù)據(jù)的局限外，在整個(gè)端到端的機(jī)器學(xué)習(xí)算法過程中，也需要利用未標(biāo)注數(shù)據(jù)。這也就是說在機(jī)器學(xué)習(xí)的訓(xùn)練學(xué)習(xí)算法和預(yù)測(cè)推理階段，如何利用大量利用未標(biāo)注數(shù)據(jù)。微軟亞洲研究院首席研究員劉鐵巖介紹了對(duì)偶學(xué)習(xí)，它一方面可讓有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)算法大量利用未標(biāo)注數(shù)據(jù)，另一方面也可以提高增強(qiáng)學(xué)習(xí)算法的學(xué)習(xí)速度。

　　所謂對(duì)偶學(xué)習(xí)(Dual Learning)，就是利用兩個(gè)對(duì)偶的任務(wù)形成一個(gè)閉環(huán)反饋系統(tǒng)，從而得以從未標(biāo)注的數(shù)據(jù)上獲得反饋信息，進(jìn)而利用該反饋信息提高對(duì)偶任務(wù)中的兩個(gè)機(jī)器學(xué)習(xí)模型。舉例來說，兩個(gè)對(duì)偶任務(wù)可以是中翻英和英翻中，這涉及到了兩個(gè)機(jī)器學(xué)習(xí)模型，對(duì)偶學(xué)習(xí)的過程就是先把一句話從中文翻譯成英文、再從英文翻譯成中文，之后再比較生成的中文與原始中文之間的差異，從而提高兩個(gè)機(jī)器學(xué)習(xí)模型的性能。在這種場景下，其實(shí)不需要標(biāo)注數(shù)據(jù)，即不需要知道生成中文句子的“對(duì)”與“錯(cuò)”，只需要知道生成后的中文句子與原始中文句子的差異，即可優(yōu)化算法模型。

　　深度問答的挑戰(zhàn)

　　自從2011年IBM Watson在智力競賽電視節(jié)目《危險(xiǎn)邊緣》(Jeopardy!)中獲勝后，深度問答作為人工智能和機(jī)器學(xué)習(xí)的一個(gè)重要應(yīng)用場景，就引起了全世界廣泛的關(guān)注。深度問答不僅涉及到自然語言理解(NLP)，還涉及到對(duì)于問題的分析與理解、候選答案的評(píng)估以及選擇策略、快速檢索與搜索等技術(shù)。

　　人機(jī)問答最早可以追溯到圖靈測(cè)試，圖靈測(cè)試就是以問答的形式進(jìn)行的。到了1960年前后出現(xiàn)了基于模板的QA(Template-based QA)、1990年前后出現(xiàn)的基于信息檢索的QA(IR-based QA)、2000年前后出現(xiàn)的基于社區(qū)的QA(Community-based QA)和基于大規(guī)模知識(shí)庫的QA(Large Scale KB-based QA)，以及今天的閱讀理解式QA。

　　中科院自動(dòng)化所副研究員劉康著重介紹了基于知識(shí)庫的深度語義解析和閱讀理解式深度語義理解與知識(shí)推理。在基于知識(shí)庫的QA中，核心問題在于如何解決問題文本到知識(shí)庫之間的映射關(guān)系，特別是要消除歧義?，F(xiàn)代機(jī)器學(xué)習(xí)方法要解決的問題，就是對(duì)問題文本和知識(shí)庫的知識(shí)分別進(jìn)行分布式表達(dá)或建模，然而再在二者之間再建立起基于深度神經(jīng)元網(wǎng)絡(luò)的對(duì)應(yīng)關(guān)系模型，從而實(shí)現(xiàn)精準(zhǔn)的映射。而為什么要對(duì)問題和知識(shí)都進(jìn)行分布式建模，原因主要是現(xiàn)代互聯(lián)網(wǎng)上的信息是海量的，因此理解問題文本和理解知識(shí)都需要大規(guī)模分布式建模。

　　閱讀理解式QA是另一種形式的問答。所謂閱讀理解式QA就是給定一段話，然后根據(jù)這段話的信息來回答問題。這其實(shí)需要綜合一段話中的幾句，然后進(jìn)行深度推理和聯(lián)合推理。目前的深度學(xué)習(xí)方式還不能解決知識(shí)推理的挑戰(zhàn)，也不能代替?zhèn)鹘y(tǒng)人工智能中基于符號(hào)的邏輯推理。另外，在解決閱讀理解的難題中，其實(shí)還需要常識(shí)知識(shí)，然而常識(shí)知識(shí)的邊界在哪里?常識(shí)知識(shí)是否會(huì)隨著時(shí)間而發(fā)生變化?這些都是閱讀理解式QA的挑戰(zhàn)。

　　劉康認(rèn)為，現(xiàn)在的深度問答正從傳統(tǒng)的符號(hào)信息檢索匹配到深度語義理解的變化中，需要對(duì)文本內(nèi)容精準(zhǔn)的理解，推理也變得越來越重要，同時(shí)問答的過程還需要知識(shí)庫、特別是常識(shí)知識(shí)庫的支持。此外，在開放環(huán)境中，用戶的問題復(fù)雜多樣，單一知識(shí)庫往往不足以滿足用戶的問題，還需要多個(gè)知識(shí)源的聯(lián)合與綜合利用。

　　科學(xué)家、頭條實(shí)驗(yàn)室技術(shù)總監(jiān)李磊介紹了一種QA模型，即基于條件的聚焦的神經(jīng)元網(wǎng)絡(luò)問答(Conditional Focused Neural Question Answering)。在國際計(jì)算機(jī)語言學(xué)協(xié)會(huì)(ACL)的2016年會(huì)上，李磊等人發(fā)表了基于大規(guī)模知識(shí)庫的CFO一文(CFO: Conditional Focused Neural Question Answering with Large-scale Knowledge Bases)，詳細(xì)介紹了CFO的算法。CFO主要解決開放知識(shí)庫中單一答案的QA問題，在CFO之前的最好成績是由Facebook發(fā)明的自動(dòng)問答算法，準(zhǔn)確率在62.9%(基于Facebook創(chuàng)建的Simple Question Dataset公開數(shù)據(jù)集，內(nèi)含108K個(gè)英文問題，也是公開的最大單一答案問題集)。而CFO則能在這個(gè)數(shù)據(jù)集上達(dá)到75%的準(zhǔn)確率，與Facebook拉開了12%的差距。

　　今日頭條還在2016年嘗試了新聞寫稿機(jī)器人Xiaomingbot，這是基于大數(shù)據(jù)、自然語言理解和機(jī)器學(xué)習(xí)的人工智能機(jī)器人。Xiaomingbot在2016年8月的里約奧運(yùn)會(huì)期間自動(dòng)寫了450多篇文章，產(chǎn)生了100多萬的閱讀，接近同期該平臺(tái)上體育新聞?dòng)浾叩母寮喿x量。此外，Xiaomingbot寫出的稿件既有短消息也有按比賽時(shí)間線進(jìn)程形成的長報(bào)道，還可以自動(dòng)加入圖片。

　　當(dāng)然，提到深度問答就必然要提到IBM Watson。IBM中國研究院大數(shù)據(jù)機(jī)認(rèn)知計(jì)算研究總監(jiān)蘇中介紹了在《危險(xiǎn)邊緣》(Jeopardy!)中獲勝的基于大規(guī)模并行計(jì)算概率算法的Watson模型，如今IBM已經(jīng)把Watson的算法能力通過基于Bluemix的IBM Watson開發(fā)者云服務(wù)對(duì)外輸出。

　　建立智能社會(huì)組織的模型

　　2016機(jī)器智能前沿論壇上，最有意思也是最具有社會(huì)和商業(yè)價(jià)值的機(jī)器學(xué)習(xí)前沿方向，是來自美國Santa Fe Institute研究所的David Wolpert教授的智能社會(huì)組織建模研究。他也是IEEE院士、三本書和200多篇論文的作者，論文領(lǐng)域覆蓋了物理學(xué)基礎(chǔ)、機(jī)器學(xué)習(xí)、博弈論、信息理論、熱力學(xué)和分布優(yōu)化等。David Wolpert于1996年提出了“沒有免費(fèi)的午餐”定理，現(xiàn)在已廣泛應(yīng)用于機(jī)器學(xué)習(xí)領(lǐng)域。

　　David Wolpert表示，除了人類自身之外，人類社會(huì)也是一個(gè)智能體。在人類社會(huì)當(dāng)中有很多的互動(dòng)交流以及各種活動(dòng)，人類社會(huì)能夠處理信息、相互溝通，也能迅速了解在哪里可以獲取信息、信息如何被使用等?，F(xiàn)在，人類社會(huì)作為整體的智能性已經(jīng)比個(gè)人大腦更為強(qiáng)大，所以對(duì)于智能社會(huì)組織的研究更加有意義，但這還是一個(gè)全新的領(lǐng)域，也只有初步的研究。

　　從人類社會(huì)發(fā)展來看，人類的組織達(dá)到一定規(guī)模后，就難以再擴(kuò)大。就像企業(yè)擴(kuò)張到一定規(guī)模后，隨著層級(jí)越來越多，越難將信息準(zhǔn)確地從頂層傳遞到底層，而隨著信息在中間層傳遞的失衡，將會(huì)導(dǎo)致信息誤傳，從而阻礙企業(yè)進(jìn)一步擴(kuò)大。當(dāng)然，人類也在不斷嘗試對(duì)組織結(jié)構(gòu)進(jìn)行創(chuàng)新。以近代互聯(lián)網(wǎng)公司谷歌為代表，在公司初創(chuàng)期提出了扁平化的組織結(jié)構(gòu)，然而隨著谷歌公司規(guī)模的不斷擴(kuò)張，最終還是走向了多層級(jí)化的公司結(jié)構(gòu)。

　　那么，如何以一種扁平化的方式擴(kuò)展公司規(guī)模，使得員工的溝通效率不受到層級(jí)增多的影響?這就需要找到一種方式，以更好的在企業(yè)組織間傳遞信息。在David Wolpert模擬企業(yè)結(jié)構(gòu)的過程中，把員工的社會(huì)關(guān)系看成一種信息通信息網(wǎng)絡(luò)結(jié)構(gòu)，員工則類似于信息通信網(wǎng)絡(luò)中的節(jié)點(diǎn)。網(wǎng)絡(luò)工程師的任務(wù)是要通過算法來優(yōu)化和設(shè)計(jì)信息通訊網(wǎng)絡(luò)的通信路徑，類似的方式引進(jìn)到智能社會(huì)組織的研究中，就是如何實(shí)現(xiàn)一個(gè)更為智能的信息交換方式。

　　在研究和設(shè)計(jì)智能社會(huì)組織的時(shí)候，需要考慮不少已經(jīng)存在的理論。其中一個(gè)著名的理論是Dunbar數(shù)字，由英國人類學(xué)家Robin Dunbar提出，即人類個(gè)體能夠和周圍的人維持穩(wěn)定社會(huì)關(guān)系的理論上限值，通常被認(rèn)為是150人。這是因?yàn)樵诮o定時(shí)間范圍內(nèi)，一個(gè)人能夠同時(shí)傾聽其他人以及對(duì)其他人說不同事情的能力，受大腦皮層容量的限制。一旦超越這個(gè)范圍，就需要外在機(jī)制來維持群體的穩(wěn)定性和凝聚力。

　　因此，把網(wǎng)絡(luò)通信的編碼和設(shè)計(jì)原理應(yīng)用到類似企業(yè)這樣的社會(huì)組織中，就需要回答三個(gè)問題：受限于企業(yè)組織規(guī)模和溝通能力(類比網(wǎng)絡(luò)規(guī)模和邊緣通信能力)，能夠從管理者傳達(dá)到工人(類比網(wǎng)絡(luò)發(fā)送端和接收端)的最大信息量;中層管理者(類比網(wǎng)絡(luò)里的中間節(jié)點(diǎn))如何傳遞信息，以確保工人能最大化的接收信息(類比網(wǎng)絡(luò)的最大吞吐量);在企業(yè)里增加中層管理者(類比網(wǎng)絡(luò)里的中間節(jié)點(diǎn))的收益。

　　David Wolpert為此研究了多種機(jī)制，特別是借鑒了網(wǎng)絡(luò)中郵件傳輸?shù)臋C(jī)制。因?yàn)樵趶?fù)雜網(wǎng)絡(luò)環(huán)境下，一個(gè)郵件能夠得以快速的從一個(gè)發(fā)送端傳遞到另一個(gè)接收端，中間其實(shí)把郵件劃分為了不同的小數(shù)據(jù)包，再把這些小數(shù)據(jù)包通過不同網(wǎng)絡(luò)、不同主機(jī)快速接力式傳遞給終端，終端結(jié)點(diǎn)再把小數(shù)據(jù)包重新恢復(fù)成一個(gè)郵件。

　　從David Wolpert的研究中，可以得到一些很有意思的發(fā)現(xiàn)。比如把社交媒體作為第三方公開公共節(jié)點(diǎn)來存儲(chǔ)部分信息，確保了企業(yè)組織的部分信息可以準(zhǔn)確、高效傳遞到各個(gè)層級(jí)，各個(gè)層級(jí)再根據(jù)內(nèi)部傳遞下來的其它信息自行組合，從而準(zhǔn)確且個(gè)性化地“還原”出原始信息。這其實(shí)就是社會(huì)化組織的模式，相當(dāng)于企業(yè)把部分節(jié)點(diǎn)從企業(yè)內(nèi)部轉(zhuǎn)移到了社會(huì)上，相應(yīng)地也把企業(yè)組織部分的社會(huì)化了。當(dāng)然，這個(gè)理論也從另一角度驗(yàn)證了社交媒體或社會(huì)化媒體崛起的必然邏輯。