博客專欄

EEPW首頁 > 博客 > 專訪探索AGI的孤勇者,傳奇工程師John Carmack:驚訝看不到如我這樣的人

專訪探索AGI的孤勇者,傳奇工程師John Carmack:驚訝看不到如我這樣的人

發(fā)布人:大數(shù)據(jù)文摘 時間:2023-02-18 來源:工程師 發(fā)布文章

大數(shù)據(jù)文摘轉(zhuǎn)載自學(xué)術(shù)頭條

作者:智源社區(qū)

要點摘錄


  • 我堅信,實現(xiàn)AGI程序的源代碼,一個人就能編寫,規(guī)模是幾萬行。而不是Chrome三千萬或者Twitter兩千萬那種量級。推理是:人的DNA信息量不到1GB,而大腦只有40MB,其中還有冗余和不精密的部分。十年內(nèi)我們也能擁有匹配的硬件完成這項工作。
  • 職業(yè)生涯早期,當(dāng)我有個聰明的想法卻沒成功時,會非常沮喪。但現(xiàn)在,我已經(jīng)很擅長把自己的新奇念頭打倒——想辦法摧毀它們,而不是當(dāng)成寶貝來呵護。
  • 我是個重細(xì)節(jié)的人,即使是談火箭,目標(biāo)也不會說成“殖民火星”,而會講講怎么用螺栓把零件固定在一起。
  • 所以,創(chuàng)造更多“人力”,應(yīng)用在日常事務(wù)中,例如告訴AI,你想制作一部電影或漫畫書,就能直接在云上運行——這就是我對AGI的愿景。
  • 現(xiàn)在世界有80億人,比5千萬人口生活在山洞時好得多。隨著AI進入社會,將大大提升社會價值與進步總和。AI會極大地影響經(jīng)濟。我覺得AGI實現(xiàn)的可能性到2030年會提升到60%。往后說,2050年會有95%。
  • Sam Altman、Greg Brockman、Ilya Sutskever曾經(jīng)精心策劃過一次研討活動,目的是想勸我加入OpenAI。Ilya給了我一份大約40篇研究論文的清單,說“如果你把這些都學(xué)會了,就會明白90%的重要工作了?!蔽艺兆隽?,一切都開始在我的腦海中變得清晰。
  • 令人驚訝的是,“主力選手們”都在進行“集體思考”:去年OpenAI發(fā)布了一個圖像生成器,然后Google、Facebook跟著紛紛發(fā)布——不同公司的精英們在做同樣的事,在有限的空間“交叉授粉”。
  • 機器學(xué)習(xí)有個策略:你需要一定隨機性,我把自己視為為隨機點。我的背景和大家不同,之前并不做學(xué)術(shù)研究,而是一名系統(tǒng)工程師,但有足夠的能力掌握必要知識。其他人朝著他們認(rèn)為美好的未來前進,保持像我這樣的隨機性也重要。所以我選擇單干。
  • 同樣令人驚訝的是,每個人都把DeepMind和OpenAI視為領(lǐng)先的AGI實驗室,卻看不到像我這樣做事的人。
  • 我很幸運,曾經(jīng)獲得過成功,財務(wù)穩(wěn)定,所以我****得起,能花十年冒這個險,不用擔(dān)心自己破產(chǎn)。如果我有百分之幾的成功概率,而****注的那一邊價值數(shù)萬億,從這個角度看,****局并不糟糕。
  • 在AGI問題上,我和其他人成功的幾率差不多,雖然有些人籌集了數(shù)十億美元,并且在某些問題上卓有成效,但還說不清它們是否是AGI的必經(jīng)之路。
  • 我曾經(jīng)的合作伙伴,建議我如何如何做,保證能成市場獨角獸。但我認(rèn)為這是一項長達10年的任務(wù),為此籌集的2000萬美元,我不想在接下來的兩年內(nèi)燒完,然后再融資——這不是我做事的方式。
  • 商業(yè)成功很誘人,但這分散了每個人的注意力,無法放眼未來。關(guān)于我的工作,可以直率地說——近期商業(yè)機會為零。
  • 雖然有人投資了2000萬,但我沒承諾取得AGI突破。相反我說的是:我這里有個不可忽視的機會,為了抓住它,我會親自弄清楚。
  • 我覺得自己有一定概率,比OpenAI、DeepMind以及所有的中國實驗室更早想出可行的辦法,但不會自大地說會第一個成功。
(以上文字做了不改變原意的編輯)

圖片
人物簡介:John Carmack,游戲開發(fā)公司id Software的創(chuàng)始人,他以極強的編程和工程能力而知名,代表作《毀滅戰(zhàn)士》(Doom)和《雷神之錘》(Quake)等。他還創(chuàng)立了美國犰狳航空航天公司(Armadillo Aerospace),并曾擔(dān)任虛擬現(xiàn)實公司Oculus的首席技術(shù)官,后又加入Meta。2022年12月,卡馬克辭去了Meta虛擬現(xiàn)實部門的領(lǐng)導(dǎo)職務(wù),全身心投入AGI研發(fā)。
在近期《Dallas Innovates》的專訪中,他深入介紹了自己在達拉斯隱居的方式工作的方式和原因。智源社區(qū)對訪談內(nèi)容進行了編譯。
另起爐灶,追尋AGI的圣杯
AGI是人工智能的圣杯,這位達拉斯最著名的科技奇才對AGI的追求就好比是百年難遇的登月行動。在這場針對AGI的角逐當(dāng)中,參與方還有來自科學(xué)家、學(xué)者和大型科技公司的“群體思維”(groupthink)的獨立競爭,他們也在積極尋求解決方案。
今年8月,Carmack宣布,他的 AGI 初創(chuàng)公司Keen Technologies在新一輪融資中從多個知名投資者手中籌集了2000萬美元。這一輪的參與者包括前 GitHub CEO Nat Friedman、Cue 聯(lián)合創(chuàng)始人Daniel Gross、Shopify 創(chuàng)始人Tobias Lutke、Stripe 聯(lián)合創(chuàng)始人Patrick Collison、紅杉資本以及總部位于奧斯汀的 Capital Factory。
Carmack強調(diào),盡管他本可以自己開一張2000萬美元的支****,但從投資者手中拿到融資,將迫使他在尋求 AGI 的答案時更加自律和堅定。在貝弗利的房子里,Carmack主要忙于Keen Technologies相關(guān)的工作,他稱之為職業(yè)生涯的“第四個主要階段”。在此前一個階段,主要是參與id Software 公司在電腦和先鋒視頻游戲方面的工作,有過短暫的經(jīng)歷,如發(fā)布于1991年的《雷神之錘》(Quake)和《毀滅戰(zhàn)士》(Doom) 系列游戲,在美國犰狳航空航天公司火箭研發(fā)的工作(2000-2013),以及在Oculus公司研發(fā)虛擬現(xiàn)實,后者在2014年被Facebook(現(xiàn)更名為Meta)以20億美元收購。2019年底,卡馬克從 Oculus 的首席技術(shù)官職位上退下來,成為 VR venture的顧問首席技術(shù)官,并宣布他將專注于 AGI研究。但去年12月,他從Meta辭職,專心致志于在Keen的工作。

圖片2005年在洛杉磯舉行的《毀滅戰(zhàn)士》(Doom) 發(fā)布會上,Carmack與當(dāng)時的id Software首席執(zhí)行官Todd Hollenshead、 以及id 的Kevin Cloud和Tim wilits在一起。


加速器和風(fēng)投公司Capital Factory 總裁兼聯(lián)合創(chuàng)始人Bryan Chambers表示,自2019年Carmack宣布對 AGI 感興趣以來,這家公司一直在積極跟蹤他的消息。Chambers說: “當(dāng)一個標(biāo)志性的技術(shù)專家?guī)磉@樣的機會時,射門才是最重要的ーー你需要射門得分,因為這樣的機會百年不遇?!癈hambers表示,對Carmack這樣的創(chuàng)始人進行“登月”式的投資押注,是資本工廠的一項重要戰(zhàn)略。Chambers稱Carmack是“我們這個時代最偉大、最重要的思想家之一”。正是這些與眾不同的奇才往往能夠在創(chuàng)新過程的任何階段創(chuàng)造出非凡的價值
此外,Chambers表示: “在實現(xiàn)AGI的過程中,任何進展都將改變一切?!薄ⅰ八鼘⑼苿悠渌说膰L試,推動整個人工智能社區(qū)。如果AGI真的實現(xiàn)了,那么我們將享受參與人類歷史上最重要的價值創(chuàng)造公司之一。這也是風(fēng)險所在?!边@家創(chuàng)業(yè)公司之所以名叫Keen,也是來源于Carmack的第一個視頻游戲——指揮官基恩系列 (Commander Keen)。同時Carmack還聘請了達拉斯地區(qū)的工程師Gloria Kennickell和他的哥哥Peter Carmack,后者是堪薩斯城的首席財務(wù)官(今年可能會再招聘一到兩名員工)。
和馬斯克舊相識
在家中樓上的一間辦公室里,Carmack 把工作重心放在了 Keen這家公司上,辦公桌上放著一個黃色的筆記本,上面寫滿了筆記,旁邊是一臺傳統(tǒng)的臺式電腦,主要用于“調(diào)試”開發(fā)工作?!爱?dāng)我測試模型時,需要在一個更大的系統(tǒng)上,或者在云資源上運行它,”Carmack 說。
圖片圖片Carmack的工作環(huán)境
“隨著我們開始進行更大規(guī)模的工作,我將派人管理另一家遠程供應(yīng)商設(shè)置的一個中等規(guī)模的集群?!甭皆谶@個大房子的其他地方,Carmack隨手指著一頂掛在墻上的牛仔草帽,草帽來自南德克薩斯州Elon Musk的星際基地,是Musk的一個“手下”送給他的禮物。
圖片來自馬斯克手下的禮物——牛仔草帽
Carmack表示,在Musk創(chuàng)辦SpaceX以來,他們就已經(jīng)相識了。那時Carmack的美國犰狳航空航天公司(Armadillo Aerospace)也剛剛起步。Carmack說: “有一次,Musk和他的首席推進器工程師來到我在加蘭德的小店,我們多年來一直保持著聯(lián)系?!??!爱?dāng)他離開加州的時候,我還匆忙找了一些人去游說他,‘嘿,你真應(yīng)該搬到達拉斯去,’我們確實努力勸了他一陣子。”
Carmack在堪薩斯城長大,上世紀(jì)90年代初搬到了德克薩斯州北部,他長期以來一直十分支持這個“孤星之州”,尤其是達拉斯?!耙坏┪覀冞M入德克薩斯州,我真的很喜歡這里,”他說?!拔覍芏嘁陨虡I(yè)為重心的事情感到放心。”他補充稱,Musk教會了他一個寶貴的經(jīng)驗,全身心投入自己的事業(yè)非常重要。此前,由于犰狳航空航天公司未能發(fā)展成功,卡馬克不得已關(guān)閉了這家公司。
他表示:“當(dāng)時我一邊還在從事軟件開發(fā),一邊在跟蹤航空公司那邊的事情,導(dǎo)致精力不是很集中?!薄拔覐腗usk身上學(xué)到的一點是,他總是對自己做的事情全力以赴。其實我為我們在犰狳航空公司完成的許多工作感到自豪ーー比如 SpaceX 最終完成的垂直著陸ーー但問題是我那時候不夠?qū)W?,很明顯現(xiàn)在對于Keen公司我是全力以赴的?!?/span>
為了激發(fā)創(chuàng)新思維,他說,他每天要步行至少四英里(聽著有聲讀物),大量閱讀 Kindle 上的材料,經(jīng)常把書籍和雜志從天花板高的圖書架上拿下來。他說,自從青少年時期以來,他讀過的大部分書都還在,因為“我無法忍受丟棄印刷材料?!狈孔永镌S多書架上的書的主題范圍很廣,從《發(fā)電廠工程師指南》、《 Java 安全》、《千腦智能》、《象棋贏家》和《太空先鋒》到《凱文的幻虎世界》和《遠端畫廊》。
“從這個角度來看,創(chuàng)造力通常是把這一點和那一點聯(lián)系起來。我家里的所有這些書都是來給我提供信息的,而這些信息往往就隱藏在我大腦記憶的影子和暗示之中?!盋armack說,“大多數(shù)真正好的想法都來自于這樣一句話: 好吧,我現(xiàn)在正在解決這個問題,這讓我聯(lián)想到了其他一些事情。然后一連串的回憶將所有這一切都勾勒了出來,直到出現(xiàn)這樣的情況,‘哦,這真是個好主意,這個靈光乍現(xiàn)可能真的很棒?!缓笪已杆僮粉欉@些線索,并問自己一個問題,如何才能迅速測試它呢?”
The Q&A
以下為這位科技奇才專訪實錄(為了簡潔明了,筆者對問答進行了編輯)。
Q:你現(xiàn)在正在用什么樣的工作方式來“解決”通用人工智能(AGI),為什么要采用你的特定方式?
A:我一直坐在我的電腦前,思考概念,記錄想法,制定理論,然后進行測試。這就是我現(xiàn)在的工作,因為沒有人真正知道抵達最終目標(biāo)的完整路徑。但我認(rèn)為,我和其他人能成功解決AGI的幾率差不多。有些人籌集了數(shù)十億美元追求AGI。有跡象表明非常強大的東西現(xiàn)在在狹義的機器學(xué)習(xí)中是可能實現(xiàn)的,目前尚不清楚這些是否是實現(xiàn)人工通用的必要步驟。對于樂于這樣做的公司來說,這是一個不錯的選擇,有很多不同的出口,即使你沒有一路走下去抵達終點,過程里也有很多有價值的東西,會改變世界,比如狹義人工智能(narrow AI)。
但令人擔(dān)心的是,如果你只是走出第一個出口就說,‘嘿,這里有一個價值數(shù)十億美元的出口’——我們知道,只需利用我們所已知的一切就可以徹底改變各個行業(yè)。這是一件非常誘人的事情,但它分散了每個人的注意力,使他們無法放眼未來,無法專注于遠距離的事情。所以,我可以直截了當(dāng)?shù)卣f,目前我在做的事情:短期商業(yè)機會為零。


Q:是什么促使您對AGI這個話題產(chǎn)生興趣?
A:我們現(xiàn)在正處于一場科學(xué)革命之中,因為 10 年前,人工智能還不太有效。我們經(jīng)歷過這些人工智能“寒冬”——事實上,在過去的幾十年里就有好幾次。這很有趣,因為虛擬現(xiàn)實也經(jīng)歷過這個階段:虛擬現(xiàn)實幾乎成為了一個壞詞,因為它在 1990 年代變得如此糟糕,人們甚至不想談?wù)撍?/span>
圖片
人工智能有幾個這樣的惡性循環(huán):炒作升溫,資金流入,表現(xiàn)不佳,然后崩潰,沒有人愿意談?wù)撍?。但是最近十年不同了,原來沒注意到的人都開始紛紛注目,因為在過去十年中機器學(xué)習(xí)出現(xiàn)了多項讓人震驚的突破,意義深遠。這才是真正促使我說,“可能真的是時候認(rèn)真看看這個了?!边@對我來說很有趣,因為我對于機器學(xué)習(xí)和 AI 的理解尚處于一個技術(shù)旁觀者的階段,從十幾歲開始讀過一些開創(chuàng)性的領(lǐng)域書籍,了解到符號AI一類的概念。
所以,我的大腦對這些事情有所了解,但我并沒有真正關(guān)注AI領(lǐng)域,因為我正忙于游戲開發(fā)、航空航天和虛擬現(xiàn)實等方面的工作。如今我才意識到,“好吧,我想這里可能有一些事情我需要弄清楚——什么是炒作,什么是現(xiàn)實?”所以我做了我通常在做的事:我所有的真正能力都是來源于從本質(zhì)上理解事物,只有從最底層,最深層次上了解事情是如何發(fā)生的,你才能獲得洞察力。
所以,大約四年前,我進行了一次為期一周的靜修,在那里我只帶了一臺電腦和一堆參考資料,我花了一周的時間重現(xiàn)這個行業(yè)的基本原理,達到了我自認(rèn)為已經(jīng)非常了解AI的程度,以至于可以與研究人員就此進行認(rèn)真的對話。當(dāng)時我對達到那種理解水平感到非常興奮。
在那之后,OpenAI 的 Sam Altman 邀請我參加一個會議——Y Combinator YC 120——雖然以前我從來沒有參加過這類會議(因為我有當(dāng)隱士的傾向),但這次我決定參加。事實證明,這真的是 Sam 精心策劃的一次活動,因為他找來 OpenAI 的 Greg Brockman 和 Ilya Sutskever 來勸說我去 OpenAI工作。
我對此感到非常榮幸,因為我無論如何都稱不上是機器學(xué)習(xí)專家??梢哉f,我是很多知名系統(tǒng)的工程師,但對于AI,我只有最基本的基礎(chǔ)知識。所以,他們才是該領(lǐng)域的領(lǐng)導(dǎo)者,他們對我的肯定種下了種子,讓我思考AI領(lǐng)域正在發(fā)生的一切的重要性以及我在其中可以扮演什么樣的角色。
所以我向OpenAI首席科學(xué)家Ilya Sutskever要了一份閱讀清單。這就是我做事的方式:我需要了解這個領(lǐng)域的所有東西,才能真正從事相關(guān)工作。他給了我一份大約 40 篇研究論文的清單,并說,“如果你把這些都學(xué)會了,你就會明白現(xiàn)在 90% 的重要工作了?!蔽掖_實仔細(xì)研究了一番,這一切都開始在我的腦海中變得清晰。
圖片


Q:你當(dāng)時還在 Meta 從事虛擬現(xiàn)實吧?
A:是的,我在 Meta 遇到了一些關(guān)于大規(guī)模戰(zhàn)略方向的實際問題。我相信你已經(jīng)看到了一些關(guān)于他們花了多少錢的頭條新聞,而且我認(rèn)為大部分錢花得很不值。從收購 Oculus 開始,我在那里的工作遭遇到了一些挑戰(zhàn),同時我的五年合同也即將到期。
于是我決定要更加認(rèn)真地對待AGI這項工作。我以前在游戲、火箭、虛擬現(xiàn)實中做過的所有事情,我的目標(biāo)都是從無到有,實現(xiàn)一些原先沒有的事情,但我總是有一個清晰的規(guī)劃。但是,對于 AGI 來說就不同了,因為沒有人知道如何去做。這不是一個簡單的工程問題。
過去十年中發(fā)生的事情,存在各種各樣誘人的線索,事實上都是一些相對簡單的想法和技術(shù),并不是多么艱深的黑魔法巫術(shù)。距離實現(xiàn)和我們?nèi)祟愊喾路鸬纳镏悄荏w,可能只需要六七個量級的洞察線索了。我在三四年前曾做出估計,我們有50%的幾率在 2030 年在通用人工智能身上看到明顯的生命跡象。
這并不一定意味著會產(chǎn)生巨大的經(jīng)濟影響,只是證明,我們有一種在計算機上運行的存在,大多數(shù)人認(rèn)為它是智能和有意識的,并且與我們?nèi)祟愓谧龅氖虑樘幱谕凰?。?jīng)過三年的核心研究,我并沒有改變我的這一預(yù)測。
事實上這種AGI實現(xiàn)的可能性到2030年甚至?xí)嵘?0%。甚至往后說,2050年,會有95%的可能性。許多人甚至覺得AGI出現(xiàn)會帶來經(jīng)天緯地的巨變,而我盡量不使用過于夸張宏大的說辭,因為我是一個注重細(xì)節(jié)的人。即使是造火箭,我的目標(biāo)也不是要殖民火星,而是在談?wù)撐矣媚男┞菟▽|西固定在一起。所以,我不想做一個 TED 演講,不停地談?wù)撍型ㄟ^看似具有成本效益的AGI能實現(xiàn)的所有事情。
新冠疫情表明,通過計算機交互流可以嚴(yán)格地完成比人們想象的更多的事情,在那里你可以通過 Zoom、電子郵件、Discord 等計算機模式進行交流。當(dāng)今世界價值的很大一部分都可以以此為基礎(chǔ)。如果有一個行為像人類的AI智能體——即使在我們今天這個由deepfake、聊天機器人和語音合成的狹義AI世界當(dāng)中——很明顯,我們可以通過它來模擬人類的各種形態(tài)。
我們還沒有擁有具有可學(xué)習(xí)意識流的AI同事,但我們確實擁有能實現(xiàn)它的高深而龐大的知識量。你會發(fā)現(xiàn)有人會狂熱地談?wù)搫∽儼l(fā)生的奇點以及 AGI 將如何改變一切。
如果 10 年后,我們有“通用遠程員工”,它們是將是會在云端運行的AGI。人們只需撥通電話說,“我今天想要 5 個 Franks 和 10 個Amys,我們會將它們部署到現(xiàn)實的工作當(dāng)中,‘你可以像云訪問計算資源一樣啟動這些AI,云訪問這種AI人力資源也許是能想到的最平淡無奇的一個AGI的使用方式。
如果我們所做的只是創(chuàng)造更多的人力資本并將其應(yīng)用于我們今天已經(jīng)在做的事情,可以說,‘我想制作一部電影或漫畫書,給我一個能實現(xiàn)的團隊,’然后直接在云上運行它——這就是我的愿景。


Q:為什么實現(xiàn)一個能夠執(zhí)行人類可以完成的任務(wù)的系統(tǒng)如此重要?用人類來執(zhí)行任務(wù)有什么問題?
A:嗯,你可以把它與很多問題聯(lián)系起來,比如,“人口是一件好事嗎?”“移民是一件好事嗎? 我們似乎已經(jīng)能夠利用愿意從事經(jīng)濟活動并受市場引導(dǎo)的新的人類來源,現(xiàn)在世界上有 80 億人口,比以前有 5000 萬人生活在山洞之類的地方要好得多。因此,我相信,隨著人工智能進入我們的人類社區(qū)參與工作,將大大提升人類的價值與進步的總和。我認(rèn)為所有這些都會創(chuàng)造巨大的價值。


Q:您如何看待實現(xiàn) AGI 的具體路徑?
A:有一條路徑是從今天的虛擬助手出發(fā)——Siris、Alexas 和谷歌助手——到變得越來越有幫助、能夠接管越來越多的任務(wù)。但這些呈現(xiàn)出的功能都是脆弱的、專門的——各種知識表示、語音合成、語音理解——但這可能不是通向可靈活用于多種任務(wù)的通用智能的途徑。
從字面上看,各家公司里面有成千上萬的程序員,現(xiàn)在正致力于給這些助手增加功能,這在短期內(nèi)是有價值的。將這些東西拼接在一起的編程工作屬于一次性編程(throw-away programming)。但是這條路并不能幫助人們實現(xiàn)可以學(xué)習(xí)人類任務(wù)的通用智能體。感知相關(guān)的事情——包括理解某人的聲音,甚至自然地合成聲音——這些是 10 或 15 年前計算機根本做不好的。
一個上世紀(jì) 90 年代的笑話是,你有一臺可以輕松擊敗國際象棋世界冠軍的電腦,但一臺電腦做不到 2 歲孩子能做的事情:因為它分不清貓狗。那時世界上還沒有一款計算機產(chǎn)品可以做到這些簡單而瑣碎的感知事情。事實證明,這就是我們的大腦實際上在做的:它更多地與感知和模式匹配有關(guān)。當(dāng)時人們一度認(rèn)為背后是哲學(xué)符號的操縱,這有點強詞奪理。幾十年來,這一理論(哲學(xué)符號)導(dǎo)致AI誤入歧途。所有這些死胡同前途渺茫,沒有太大的商業(yè)價值,證明了不是AI運作的正確方式。但最近十年發(fā)生了革命:通過深度學(xué)習(xí)和深度聯(lián)結(jié)主義方法,我們實際上可以做到 2 歲兒童在感知方面可以做的所有事情。在許多方面,AI已經(jīng)達到了超人的水平。目前還沒有實現(xiàn)的部分是意識、聯(lián)想記憶,那些有關(guān)生活、目標(biāo)和計劃的東西。
也有些脆弱的人工智能系統(tǒng)可以實現(xiàn)其中一個,但這仍然不是人腦甚至動物大腦的工作方式。甚至別說人腦了,我們甚至沒有可以像老鼠或貓一樣行動的東西。但感覺上我們距離這些目標(biāo)仿佛咫尺之遙。我認(rèn)為,幾乎可以肯定的是,在過去十年中開發(fā)出的深度學(xué)習(xí)工具——能夠用于通用人工智能的實現(xiàn)。如強化學(xué)習(xí)、監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)等的其他領(lǐng)域也還有很多結(jié)構(gòu)性知識有待理解。所有這些都以人類思考事物的方式匯集在一起,我們還沒有對所有這些理論進行最終綜合。


Q:是否有實現(xiàn)AGI的關(guān)鍵因素或中心思想?
A:AGI的源代碼,即通用人工智能所必需的計算機編程,將有幾萬行代碼?,F(xiàn)在,一個大程序有數(shù)百萬行代碼——Chrome 瀏覽器大約有 2000 到 3000 萬行代碼。Elon 最近提到 Twitter 在大約 2000 萬行 Scala 代碼文件上運行。這些都是大程序,一個人不可能去重寫一遍??赡芡笥嗌脕韺懩切┐a都不足夠。
但我堅信,真正支持 AGI 的代碼將是一個人可以編寫的東西?,F(xiàn)在有經(jīng)驗的投資者認(rèn)為,AGI的代碼需要由一組研究人員完成,是由所有人撰寫的代碼拼湊而成的。但我對此的推理是:如果你拿走你整個人的DNA,其實信息量不到 1 GB。因此,即使是你的整個人體也沒有那么多的指令,而且大腦就是它的一小部分——大約 40 兆字節(jié),而且它并非嚴(yán)格編碼的。
于是我們有了人類存在的證據(jù):造就我們的大腦、造就我們的智慧的,并不是那么多代碼?,F(xiàn)在,它演變成一個非常復(fù)雜的物體,人腦有大約 860 億個神經(jīng)元,它們之間可能有多達 100 萬億個連接。這對于即使是計算機來講,也是一個很大的數(shù)字。當(dāng)我們談?wù)揋PT-3一類的大模型時,會說,“哦,它有 1600 億個參數(shù)”——這些參數(shù)有點類似于大腦中的連接。你可能會說,在我們的計算機擁有與大腦一樣強大的能力之前,我們還有很長的路要走。但我認(rèn)為,我們也有充分的理由相信,這個想法極其悲觀,我們要走的路并沒有那么長。這是因為我們的大腦其實做了很多并不是那么重要的事情。它們真的很馬虎,它們真的很慢,所以它們可能不需要那么多參數(shù)。
但我想要再說一下,大腦是一個被大規(guī)模利用的簡單程序,這也正是當(dāng)下人工智能身上正在發(fā)生的事情。拿人們談?wù)摰臇|西來說,比如GPT-3、Imagen、AlphaFold,它們框架中的源代碼并不大。只有幾千行代碼,甚至都沒到幾萬行。它們建立在一個支持生態(tài)系統(tǒng)的大框架之上,但核心邏輯并不是一個大程序。
因此,我堅信,我們在十年之內(nèi)就能擁有足夠的硬件來完成這項工作,代碼的數(shù)量會不多也不少,也有足夠多的人來參與。每個人都將 DeepMind 和 OpenAI 視為領(lǐng)先的 AGI 研究實驗室,但讓我感到驚訝的是,和我身處同樣高位的人里面并沒有太多人在做這件事。


Q:你為什么想要孤身奮戰(zhàn)?
A:我之所以堅持單干,就是因為所有的主要參與者都在進行這種非常令人驚訝的“集體思考”。去年發(fā)生的這些事情讓我覺得很奇怪:OpenAI 發(fā)布了一個圖像生成器,然后谷歌、Facebook也紛紛發(fā)布。也就是說,這些公司可以在幾個月內(nèi)復(fù)制其他人的工作,因為它們都來自同一群研究人員。來自不同公司的智囊團們都在做一件同樣的事情。
但是,我們其實還不知道未來的方向在哪。在機器學(xué)習(xí)領(lǐng)域里有一個策略:你需要一定程度的隨機性。也就是說,你從隨機權(quán)重和隨機位置開始,有時還有多個集成模型。正因如此,我把自己定位為這些隨機測試點之一。其他行業(yè)正在朝著美好的未來前進,他們在這方面做得很好。但是,因為我們并不知道那個方向是否是正確的,所以保持像我這樣的隨機性也很重要。
而且,我的背景和大家不同。我之前沒有在做學(xué)術(shù)研究,而是一名系統(tǒng)工程師。我有一些與此相關(guān)的想法和系統(tǒng),而且我很聰明,能夠?qū)W習(xí)必要的東西。因此,雖然有人向我的公司投資了 2000 萬美元,但我并沒有告訴他們我可能會在通用人工智能方面取得突破。相反,我說的是我手握著一個不可忽視的機會,而為了把握住它,我會親自弄清楚一些重要的事情。


Q:一旦弄清楚,你認(rèn)為后果會是什么?
A:通用人工智能的出現(xiàn)可能會影響經(jīng)濟,這確實是一個“足以改變世界”的事情,因為它幾乎可以重塑人類所能做的一切。這幾乎是人類所能想象的極限。所以,做一些****注是值得的,比如投資者為我的研究方向所花的 2000 萬美元。這個方向或許可行,又或許不可行。我可以直截了當(dāng)?shù)剡@樣講。但是我認(rèn)為,更有可能的是我會比 OpenAI 、 DeepMind 以及所有的中國實驗室里的研究人員更早想出一個可行的辦法。但我并不會說“是的,我有信心我會第一個成功”,因為這樣過于狂妄自大。
但是,在研究這些問題的人里,我應(yīng)該是最聰明的那個。我認(rèn)為,在這場比賽里我的實力綽綽有余。而我正在走一條與眾不同的路。我現(xiàn)在可以說,“是的,我將把我生命中的下一個十年投入到這個項目中,這可能會取得巨大的成功?!被蛘?,我可能會找到兩件超級聰明的事情,然后我和別人合伙一起做。這樣的話也許會涉及到收購或其他。
但是我不想做的一件事是,在選擇做商業(yè)APP的時候,草率地說“我熟悉游戲,也了解圖像生成,那我就去做游戲內(nèi)容創(chuàng)作吧”事實上,我在 Oculus 的前合伙人 Brendan Iribe 也跟我講過,“來和我一起做吧。我們將籌集到一大筆錢,這會很棒的。’是的,當(dāng)時Oculus勢必要成為獨角獸了。毫無疑問,我們可以創(chuàng)立一家價值 10 億美元的公司。但更大的目標(biāo),通用人工智能,則代表著數(shù)萬億美元的生意,這兩件事根本不可能同日而語。
能夠來到現(xiàn)在這個位置,并取得成功,獲得成就,實現(xiàn)財務(wù)穩(wěn)定,我感覺自己很幸運。所以我能夠****這一把,冒這個風(fēng)險,哪怕風(fēng)險極大。正是因為我不擔(dān)心破產(chǎn)的問題,所以我可以說,“好吧,如果我認(rèn)為我有機會能做這件事,而且它價值數(shù)萬億,那這個選擇還不錯。”我的意思是,對于大多數(shù)人來說,這是一種糟糕的思考方式,但在我看來,這并不是一件壞事。


Q:您現(xiàn)在打算如何在 Keen 下這個“****注”?
A:通過研究和開發(fā)我那些非主流的想法。大部分的主流做法我都會關(guān)注,因為它們很棒,很有用。現(xiàn)在我正在跟進去年的一些研究論文,我認(rèn)為,跟原作者相比,我能把它們用得更好。
其實之前就發(fā)生過一些有價值的事情,但人們不一定知道。我真心覺得70 年代、80 年代和 90 年代的一些作品可能很有趣,因為當(dāng)時發(fā)生的很多事情之所以沒能成功,只是因為規(guī)模不夠大。他們試圖在 1 兆赫茲的計算機而不是 GPU 集群上做這件事。
我提到的這種群體思維其實很明顯。如果你細(xì)看一下,你就會發(fā)現(xiàn)所有這些杰出的研究人員都有相似的背景,而且他們都朝著同一個方向努力。所以,我認(rèn)為這些舊東西里可能會有有用的信息?,F(xiàn)在,我正在做實驗,也正在測試,試圖將這些不同的領(lǐng)域結(jié)合在一起,因為我認(rèn)為這些領(lǐng)域是 AGI 算法的一部分。但我所做的大部分工作是通過看大量電視和玩各種視頻游戲來進行模擬?!斑@就是你感知和內(nèi)化世界的模型,這是你在其中一些情況下如何和代理一起行動,”但這兩者是如何結(jié)合在一起的,我依然不是很清楚。但我認(rèn)為總有解決的辦法。我想我已經(jīng)知道了有哪些問題需要解決,以及如何解決它們。
我仍然認(rèn)為,我們還需要很多不同的想法,但我有一些看似合理的見解可能會被證明是相關(guān)的。幾十年前,我曾這樣訓(xùn)練過自己,就是把想法拿出來,并以一種我對它們感到興奮的方式去追求它們,哪怕我知道大多數(shù)最終都不會成功。在我職業(yè)生涯早期,我曾經(jīng)有過一個非常聰明的想法,但它最終沒能實現(xiàn),我當(dāng)時就被壓垮了。但現(xiàn)在我能夠做到的是,我變得很擅長挖掘自己的想法,然后實踐它們,這個過程幾乎變成了一個游戲,仿佛在看“我能多快打破自己的想法,而不是一味地敝帚自珍?”
我現(xiàn)在就有幾個這樣的想法了,我正在探索和實踐過程之中。但這些想法,或者是技術(shù)、辦法很抽象,和現(xiàn)在深度學(xué)習(xí)做事的邏輯差不多。
所以,擴大規(guī)模這件事,我想要再緩一緩。因為現(xiàn)在有很多公司說,“我們需要籌集 1 億美元、2 億美元,因為我們需要有一個裝滿 GPU 的倉庫。”這是一種獲得價值的辦法,而且還比較有動力。但我想說的是,“不,我想在浪費某人 1 億美元之前弄清楚幾件重要的事情?!睂嶋H上我現(xiàn)在并沒有花很多錢。我籌集了 2000 萬美元,但我認(rèn)為這是一項長達 10 年的任務(wù),我不想在接下來的兩年內(nèi)燒掉 2000 萬美元,然后再做另一個系列來獲得另外幾億美元,因為我實際上并不認(rèn)為這是個明智的方法。
我希望我可以花幾年時間來解決其中的一些問題,做一些我覺得方向正確的小東西。然后,對其進行一定程度的擴展,將這些信息和體驗拓展到整個生命周期,看看它是否會產(chǎn)生一些火花四射的東西。
我一直在說的是,一旦你的研究長成了蹣跚學(xué)步的孩子,也就是說,它是存在的,而且是有意識的,但它不是愛因斯坦,甚至也不會做乘法。如果你有了一個可以學(xué)習(xí)的生物,你可以與之互動并在某種程度上教它一些東西。到那個時候,你就可以組建一支由工程師、發(fā)展心理學(xué)家和科學(xué)家組成的龐大隊伍來進行后續(xù)的研究了。
因為我們現(xiàn)在的研究還沒有達到那樣的水平,所以我們沒有能力模擬像那樣的東西。人類的大腦所擁有的一些想法、技巧和策略是我們現(xiàn)有的模型都做不到的。但實現(xiàn)人工智能這一點對我來說并非遙不可及。


Q:那您覺得我們應(yīng)該如何實現(xiàn)呢?
A:我知道目的地是什么。我也知道它就在那里,但是,要到達那個目的地的話,路上迷霧重重,陰云密布。也沒有人知道該如何抵達那里。但我看著那條路說我不知道那里有什么,但我想至少我可以抵達這個目的地——或者至少我認(rèn)為有人會。我認(rèn)為這很可能會在 21世紀(jì)30 年代發(fā)生。
我確實認(rèn)為我們總能抵達的那個終點的(AGI)。我一直以來,我一直擅長的很多事情,都會帶來最終的成果,這在歷史長河中是無可避免的。就好比我之前做過的 3D 視頻游戲,總是能成的,哪怕我沒有在這幾年做成,未來也總能做成它。


*博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點,如有侵權(quán)請聯(lián)系工作人員刪除。



關(guān)鍵詞: AI

相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉