萬(wàn)字長(zhǎng)文解讀：從Transformer到ChatGPT，通用人工智能曙光初現(xiàn)(3)

人類(lèi)對(duì)智能化的追求可謂孜孜不倦，自遠(yuǎn)古時(shí)期對(duì)智能化的想象，比如三國(guó)演義中諸葛亮的木牛流馬，到每一次人工智能蓬勃發(fā)展時(shí)期，都會(huì)對(duì)通用人工智能進(jìn)行想象和期待。但直至去年年底ChatGPT出現(xiàn)之前，所有的人工智能產(chǎn)品都局限于某一特定領(lǐng)域。比如：

• 用于實(shí)體抽取的系統(tǒng)，無(wú)法用于對(duì)話。
• 用于問(wèn)答的系統(tǒng)可以在SQuAD2.0獲得高分，但在沒(méi)有進(jìn)行微調(diào)等重新訓(xùn)練模型的情況下，在命名實(shí)體識(shí)別或翻譯的評(píng)測(cè)中就表現(xiàn)得很差勁。
• AlphaZero在圍棋上打遍天下無(wú)敵手，但沒(méi)法用來(lái)做其他事情，比如人臉識(shí)別或者事件分析等。
• AlphaFold2能夠解決蛋白質(zhì)折疊這種專(zhuān)業(yè)大學(xué)教授都難以搞定的超級(jí)難的問(wèn)題，但面對(duì)幼兒園小朋友也能很好地解決的“12+23”等算術(shù)問(wèn)題則顯得無(wú)能為力。
• 有一些試圖以通用智能助手形式提供的人工智能產(chǎn)品則經(jīng)常被戲稱(chēng)為“人工智障”。

當(dāng)我們細(xì)數(shù)過(guò)去種種人工智能產(chǎn)品的優(yōu)勢(shì)和不足的時(shí)候，就容易看出 ChatGPT 所展現(xiàn)出來(lái)的“超能力”。圖18是ChatGPT超能力的一個(gè)實(shí)例展示，不僅能夠流暢地進(jìn)行對(duì)話，還能夠在這個(gè)過(guò)程中完成多項(xiàng)自然語(yǔ)言處理任務(wù)，包括基于提示的情感分析、編寫(xiě)代碼、翻譯、報(bào)告撰寫(xiě)和摘要等。更進(jìn)一步的，論文《ChatGPT: The End of Online Exam Integrity？》認(rèn)為，ChatGPT能夠展現(xiàn)批判性思維能力，并以最少的輸入生成高度逼真的文本，潛在威脅了在線考試的誠(chéng)信。其本質(zhì)是：ChatGPT展現(xiàn)出了超強(qiáng)的能力，這個(gè)能力在前面提過(guò)的ChatGP能夠通過(guò)沃頓商學(xué)院的工商管理碩士課程也展現(xiàn)過(guò)。這種“超能力”恰如人類(lèi)的大腦一樣，能在許多領(lǐng)域進(jìn)行推理，并以接近或超越人類(lèi)的水平完成多項(xiàng)認(rèn)知任務(wù)。這正是人們所說(shuō)的通用人工智能（Artificial General Intelligence，AGI）。圖18 ChatGPT多才多藝的超能力實(shí)例支撐起ChatGPT 超能力的，正是自然語(yǔ)言處理技術(shù)奮進(jìn)五載的大綜合。從技術(shù)角度，就是在無(wú)監(jiān)督大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型的基礎(chǔ)上，使用標(biāo)注語(yǔ)料進(jìn)行有監(jiān)督的訓(xùn)練。在此基礎(chǔ)之上，通過(guò)訓(xùn)練一個(gè)獎(jiǎng)勵(lì)預(yù)測(cè)模型，以及使用近端策略?xún)?yōu)化來(lái)訓(xùn)練強(qiáng)化學(xué)習(xí)策略。并在面向用戶(hù)的應(yīng)用中使用了人類(lèi)反饋強(qiáng)化學(xué)習(xí)技術(shù)來(lái)實(shí)現(xiàn)對(duì)話理解和文本生成。圖19展示了ChatGPT所使用的方法，可以看出，ChatGPT 涵蓋了機(jī)器學(xué)習(xí)的三大范式——有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。這也許和人類(lèi)大腦的行為類(lèi)似：

• 無(wú)監(jiān)督學(xué)習(xí)——嬰兒期人類(lèi)大腦，遺傳和3歲以下認(rèn)知世界的模式；
• 有監(jiān)督學(xué)習(xí)——從幼兒園開(kāi)始不斷學(xué)習(xí)各類(lèi)技能和知識(shí)；
• 強(qiáng)化學(xué)習(xí)——從現(xiàn)實(shí)環(huán)境的反饋中學(xué)習(xí)。

  

圖19 訓(xùn)練ChatGPT的過(guò)程示意圖[14]正是這些技術(shù)的總和所展現(xiàn)出的強(qiáng)大能力，ChatGPT 為通用人工智能帶來(lái)了曙光。許多業(yè)內(nèi)大佬也紛紛為此站臺(tái)，比如：

• 微軟聯(lián)合創(chuàng)始人比爾·蓋茨在2023年1月11日的Reddit AMA（Ask Me Anything）的問(wèn)答帖中對(duì)一些熱門(mén)科技概念發(fā)表了看法，他表示自己不太看好Web3和元宇宙，但認(rèn)為人工智能是“革命性”的，對(duì)OpenAI的ChatGPT印象深刻[15]。微軟也準(zhǔn)備再向OpenAI投資100億美元，并表示旗下全部產(chǎn)品都接入ChatGPT以提供智能服務(wù)。
• 此前力推元宇宙的Meta的態(tài)度也有所改變，扎克伯格在2022年度報(bào)告投資者電話會(huì)議上表示“我們的目標(biāo)是成為生成式人工智能的領(lǐng)導(dǎo)者（Our Goal is to be Leader in Generative AI）”[16]。面對(duì)投資者對(duì)元宇宙是否被拋棄的疑問(wèn)，扎克伯格的回答是“今天專(zhuān)注于人工智能，長(zhǎng)期則是元宇宙（AI today and over the longer term the metaverse）”（想想經(jīng)濟(jì)學(xué)家凱恩斯那句名言“長(zhǎng)期來(lái)看，我們都死了”吧）。
• Google創(chuàng)始人回歸并全力支持類(lèi)似 ChatGPT產(chǎn)品的開(kāi)發(fā)，同時(shí)向Anthropic投資3億美元。Anthropic由OpenAI的多名資深研究人員創(chuàng)立，其產(chǎn)品與OpenAI的類(lèi)似，如Claude（ChatGPT）和（GPT-3）。
• 許多學(xué)者認(rèn)為，通用人工智能到來(lái)的時(shí)間會(huì)加速，也許，2035年就是一個(gè)通用人工智能的“奇點(diǎn)”時(shí)刻。

也許有人認(rèn)為夸大其詞或危言聳聽(tīng)。畢竟，ChatGPT也僅僅展現(xiàn)了語(yǔ)言方面的能力，對(duì)其他諸如視覺(jué)、語(yǔ)音等完全不涉及。而即使在語(yǔ)言方面，ChatGPT表現(xiàn)弱智的地方也很多，圖20就是一個(gè)例子（這個(gè)問(wèn)題流傳最廣的回答是：賈母）,深度學(xué)習(xí)的代表性人物Yann LeCun也激烈批評(píng)大語(yǔ)言模型的問(wèn)題“人們嚴(yán)厲批評(píng)大語(yǔ)言模型是因?yàn)樗暮f(shuō)八道，ChatGPT 做了（與語(yǔ)言大模型）同樣的事（People crucified it because it could generate nonsense.ChatGPT does the same thing.）”。事實(shí)上，這個(gè)表現(xiàn)有點(diǎn)像幼兒園的小朋友的“童言無(wú)忌”，而這不也正是“智能”的表現(xiàn)么？而解決這個(gè)問(wèn)題有現(xiàn)成的人工智能方法——知識(shí)圖譜[6]等符號(hào)人工智能方法和基于知識(shí)的人工智能方法。這些方法在這幾年也發(fā)展迅速。一旦ChatGPT擁有一個(gè)知識(shí)圖譜來(lái)支撐“常識(shí)”，其下限將極大地提升[17]，“童言無(wú)忌”變得成熟，那么語(yǔ)言領(lǐng)域的通用人工智能可謂來(lái)臨。圖20 ChatGPT關(guān)于“賈寶玉娶老婆”的例子進(jìn)一步的，跳出自然語(yǔ)言處理，從更廣泛的人工智能視角來(lái)看，這幾年的進(jìn)展也非常大。比如通過(guò)文本提示生成視頻的擴(kuò)散模型（Diffusion Model，DM），在圖像生成上提升了視覺(jué)保真度，同樣引發(fā)了視覺(jué)領(lǐng)域的爆火出圈；語(yǔ)音合成方面，VALL-E模型支持通過(guò)語(yǔ)音提示，合成符合輸入語(yǔ)音音色和情緒的逼真聲音。特別地，這些不同領(lǐng)域的人工智能，包括視覺(jué)、圖像處理、語(yǔ)音識(shí)別、語(yǔ)音合成、知識(shí)圖譜、時(shí)間序列分析等等，也全部都在采用變換器網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)[18]。這使得ChatGPT或類(lèi)似系統(tǒng)加入語(yǔ)音、視覺(jué)等變得容易，進(jìn)而構(gòu)建出跨模態(tài)的，多才多藝的通用人工智能。

可以想象，未來(lái)五年到十年，融合語(yǔ)言、視覺(jué)和語(yǔ)音等多模態(tài)的超大模型將極大地增強(qiáng)推理和生成的能力，同時(shí)通過(guò)超大規(guī)模知識(shí)圖譜和知識(shí)計(jì)算引擎融入人類(lèi)的先驗(yàn)知識(shí)，極大提升人工智能推理決策的準(zhǔn)確性。這樣的人工智能系統(tǒng)既能夠像人一樣適應(yīng)現(xiàn)實(shí)世界的不同模態(tài)的絕大多數(shù)任務(wù)，完成任務(wù)的水平甚至超越絕大多數(shù)的普通人，又可以在各種富有想象力和創(chuàng)造性的任務(wù)上有效地輔助人類(lèi)。這樣的系統(tǒng)正是人們想象和期待了數(shù)千年的智能系統(tǒng)，而這也會(huì)被稱(chēng)為真正的通用人工智能。進(jìn)一步，隨著人形機(jī)器人、模擬人類(lèi)的外皮膚合成技術(shù)等等各類(lèi)技術(shù)的發(fā)展，這些技術(shù)互相融合，科學(xué)幻想中的超人工智能的來(lái)臨也將成為現(xiàn)實(shí)。而在通用人工智能如燦爛陽(yáng)光灑滿每一個(gè)角落時(shí)，驀然回顧，會(huì)發(fā)現(xiàn)AGI的第一道曙光是2022年底的ChatGPT。正所謂“虎越雄關(guān)，NLP奮發(fā)五載；兔臨春境，AGI初現(xiàn)曙光?！?/span>

[1] ChatGPT將代替搜索引擎？谷歌內(nèi)部發(fā)紅色警報(bào). 澎湃新聞. https://www.thepaper.cn/newsDetail_forward_21282873[2] How ChatGPT Suddenly Became Google’s Code Red, Prompting Return Of Page And Brin. Forbes.   https://www.forbes.com/sites/davidphelan/2023/01/23/how-chatgpt-suddenly-became-googles-code-red-prompting-return-of-page-and-brin/. 2023.[3] With Bing and ChatGPT, Google is about to face competition in search for the first time in 20 years. Insider. https://www.businessinsider.com/bing-chatgpt-google-faces-first-real-competition-in-20-years-2023-1[4] ChatGPT sets record for fastest-growing user base - analyst note。Reuters. https://www.reuters.com/technology/chatgpt-sets-record-fastest-growing-user-base-analyst-note-2023-02-01/. 2023.[5] Joseph Weizenbaum. ELIZA--A Computer Program for the Study of Natural Language Communication Between Man and Machine.[J]// Communications of the ACM. Vol9. P36–45.[6] 王文廣. 知識(shí)圖譜：認(rèn)知智能理論與實(shí)戰(zhàn)[M] //電子工業(yè)出版社, 2022[7] Ashish Vaswani, Noam Shazeer, Niki Parmar et al. Attention is all you need.[C] //In advances in neural information processing systems. 2017. P5998-6008[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.[C] // In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2019. P4171–4186.[9] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever. Improving language understanding with unsupervised learning. //OpenAI Technical Report. 2018.[10] Yu Sun, Shuohuan Wang, Shikun Feng et al. ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation. arXiv:2107.02137. 2021.[11] Tom Brown, Benjamin Mann, Nick Ryder et al. Language Models are Few-Shot Learners.[C] // In Advances in Neural Information Processing Systems 33 (NeurIPS 2020). 2020. P1877—1901[12] ChatGPT passes MBA exam given by a Wharton professor. NBC News. https://www.nbcnews.com/tech/tech-news/chatgpt-passes-mba-exam-wharton-professor-rcna67036. 2023.[13] Tiffany Kung, Morgan Cheatham, ChatGPT et al. Performance of ChatGPT on USMLE: Potential for AI-Assisted Medical Education Using Large Language Models. doi:10.1101/2022.12.19.22283643. 2022.[14] ChatGPT: Optimizing Language Models for Dialogue. OpenAI. https://openai.com/blog/chatgpt/. 2022[15] 比爾·蓋茨看好 AI，而非 Web3 和元宇宙. 新浪網(wǎng). http://vr.sina.com.cn/news/hot/2023-01-13/doc-imxzzfmr4911664.shtml. 2023[16] Meta Platforms (NASDAQ: META) CEO Mark Zuckerberg: “Our Goal is to be Leader in Generative AI”. Wall Street Reporter. https://www.wallstreetreporter.com/2023/02/02/meta-platforms-nasdaq-meta-q4-2022-earnings-call/. 2023.[17] Wolfram|Alpha as the Way to Bring Computational Knowledge Superpowers to ChatGPT. StephenWolfram. https://writings.stephenwolfram.com/2023/01/wolframalpha-as-the-way-to-bring-computational-knowledge-superpowers-to-chatgpt/. 2023.[18] 學(xué)習(xí)ChatGPT和擴(kuò)散模型Diffusion的基礎(chǔ)架構(gòu)Transformer，看完這些論文就夠了.走向未來(lái).  https://mp.weixin.qq.com/s/3bOFfODR7rpnyzrpocHlfQ. 2023.