特斯拉自動(dòng)駕駛之父離職教“網(wǎng)課“，AI大佬原來(lái)都這么熱愛(ài)授業(yè)解惑
發(fā)布人：硅星人
時(shí)間：2022-08-26
來(lái)源：工程師
發(fā)布文章
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢
幾年前，斯坦福大學(xué)博士生 Andrej Karpathy 做了一件令 AI 社區(qū)非常敬佩的事情：在學(xué)校里創(chuàng)辦了一門深度學(xué)習(xí)本科課程，并且將視頻全部免費(fèi)公開。
作為深度學(xué)習(xí)的早期研究者和教育者之一，Karpathy ****對(duì)了方向。經(jīng)過(guò)十多年的快速發(fā)展和技術(shù)創(chuàng)新，現(xiàn)在深度學(xué)習(xí)技術(shù)已經(jīng)驅(qū)動(dòng)著搜索、圖像識(shí)別、社交網(wǎng)絡(luò)、工業(yè)自動(dòng)化、自動(dòng)駕駛等諸多關(guān)鍵領(lǐng)域和產(chǎn)業(yè)。
由于研究成就突出，Karpathy 自己也成為了應(yīng)用 AI 技術(shù)發(fā)展的受益者，走出學(xué)術(shù)進(jìn)入業(yè)界的第一份工作，就是特斯拉的特斯拉出任 AI 部門總監(jiān)，領(lǐng)導(dǎo) Autopilot 以及整個(gè)特斯拉自動(dòng)/輔助駕駛技術(shù)項(xiàng)目的研發(fā)，并帶領(lǐng)公司深入到了機(jī)器人等更多前沿領(lǐng)域。
上個(gè)月，Karpathy 宣布從特斯拉正式離職。
當(dāng)人們還在關(guān)注他下一站要去哪，他卻毫無(wú)意外地“重操舊業(yè)”，當(dāng)起了“老師”。
/ 把“錘子”交到每個(gè)人的手上 /
就在上周，Karpathy 重新啟用了注冊(cè)了多年但從沒(méi)用過(guò)的 YouTube “小號(hào)”，發(fā)布了一條長(zhǎng)達(dá)2個(gè)半小時(shí)的教學(xué)視頻，題為《手把手帶你入門神經(jīng)網(wǎng)絡(luò)和反向傳播：構(gòu)建 micrograd”》。
他表示，關(guān)于反向傳播（神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)算法之一）以及構(gòu)建神經(jīng)網(wǎng)絡(luò)的工作，這條視頻是目前為止門檻最低、最全面的講解。他還宣稱，只要觀眾對(duì) Python 有基礎(chǔ)了解，并且還記得一點(diǎn)高中水平的微積分，就可以輕松入門：
“如果看完還不了解反向傳播和神經(jīng)網(wǎng)絡(luò)的核心，那我就直播吃鞋
”
圖片來(lái)源：Andrej Karpathy通過(guò)這門課，Karpathy 用基本的 Python 編程方法，以及他自己開發(fā)的 Micrograd 引擎，帶著大家完成神經(jīng)網(wǎng)絡(luò)構(gòu)建、編寫損失函數(shù)、手動(dòng)調(diào)優(yōu)等基礎(chǔ)操作，并且在過(guò)程中對(duì)反向傳播等關(guān)鍵知識(shí)進(jìn)行了系統(tǒng)的介紹。
至于授課風(fēng)格，Karpathy 也是非常理解當(dāng)代年輕工程師在寫代碼時(shí)候的煩惱，貫徹了"talk is cheap, show me the code"的理念：整堂課的大部分時(shí)間基本就是在直播自己的屏幕畫面，手把手教大家寫代碼……
圖片來(lái)源：Andrej Karpathy / YouTubeKarpathy 曾在多倫多大學(xué)、斯坦福大學(xué)就讀，師從的 Geoff Hinton、李飛飛教授都是當(dāng)今深度學(xué)習(xí)的領(lǐng)軍人物。他也是 OpenAI 的創(chuàng)始成員之一，曾在早期的谷歌大腦、Google Research、DeepMind 等知名研究機(jī)構(gòu)實(shí)習(xí)。作為深度學(xué)習(xí)領(lǐng)域的知名學(xué)者和從業(yè)者，Karpathy 出鏡相當(dāng)頻繁，經(jīng)常在 CVPR、NeurIPS 等知名學(xué)術(shù)會(huì)議的上發(fā)表論文和演講，還曾作為英偉達(dá) Geforce 技術(shù)大會(huì)主演講嘉賓。
頗為搞笑的是，在2014年，他曾經(jīng)以自己的“血肉之軀”，在 ImageNet 挑戰(zhàn)賽上對(duì)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)發(fā)起了挑戰(zhàn)，并且獲得了勝利，因此被學(xué)術(shù)界和行業(yè)里戲稱為 ImageNet 的“人類基準(zhǔn)” (the human benchmark of ImageNet)。
圖片來(lái)源：Andrej Karpathy然而很多人對(duì) Karpathy 印象最深，最感激他的，反而是他在博士就讀期間做的一件大善事：
創(chuàng)辦了 CS231n，斯坦福第一門面向本科生的深度學(xué)習(xí)課程。
圖片來(lái)源：Andrej Karpathy、斯坦福大學(xué)CS231n 以計(jì)算機(jī)視覺(jué)為主要方向，****探討深度學(xué)習(xí)技術(shù)，創(chuàng)課第一年就有總計(jì)150名學(xué)生報(bào)名，到了2016年翻了一倍，次年又再翻了一倍。目前這門課已經(jīng)成為了斯坦福校內(nèi)所有院系里報(bào)名人數(shù)最多、最受歡迎的課程之一。課程的 TA 都有16人；和 Karpathy 一起創(chuàng)課的李飛飛，至今仍在擔(dān)任主講人。
更重要的是，從創(chuàng)課的第二年，Karpathy 就把 CS231n 的授課視頻、講義、作業(yè)、筆記等大量相關(guān)資源全部公開，放在互聯(lián)網(wǎng)上。不止是報(bào)名的學(xué)生，就算沒(méi)報(bào)名上的、其它院校的學(xué)生，乃至于世界上的任何人，只要有網(wǎng)絡(luò)，就可以免費(fèi)上課。
再往前推五年，隨著 Udacity、Coursera 等公司的成立，“慕課” (MOOC) 的理念早已廣為人知。在這些知名公司的平臺(tái)上，也有著不少計(jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)方面的課程。
然而 CS231n 的橫空問(wèn)世，特別是它更加先進(jìn)和實(shí)時(shí)的課程設(shè)計(jì)，以及沒(méi)有任何商業(yè)味道的開放屬性，使其成為了前沿深度學(xué)習(xí)技術(shù)向全社會(huì)普及的關(guān)鍵節(jié)點(diǎn)。
圖片來(lái)源：Andrej Karpathy、斯坦福大學(xué)
關(guān)于為何要免費(fèi)開放課程，Karpathy 曾經(jīng)表示，自己在當(dāng)時(shí)非常強(qiáng)烈地感覺(jué)到深度學(xué)習(xí)將會(huì)成為具有巨大革命性意義的技術(shù)，有望在社會(huì)的各方各面得到廣泛運(yùn)用，就像一把好用的錘子。
但是在當(dāng)年，很多人連錘子都“買不起”，更別提了解它的能力和掌握它的用法——是他決定站出來(lái)，做這個(gè)給大家免費(fèi)發(fā)放錘子的人。
這門課最有意思的體驗(yàn)，在于它沒(méi)有一個(gè)提前定好、絕不偏離的課程設(shè)置：
“別的科目上課，講的可能是19世紀(jì)的知識(shí)。在我們的課上，經(jīng)常今天講的論文是上周，甚至昨天剛剛發(fā)表的，”Karpathy 說(shuō)到，“我們講的不是核物理，不是上太空，你只需要基本的微積分和代數(shù)知識(shí)，就可以聽懂我們的課程，了解和掌握當(dāng)下正在發(fā)生的新事物。每次的課程都在改變，感受非常不一樣，但是大家都非常享受這樣的體驗(yàn)?！?/span>
由于創(chuàng)課當(dāng)時(shí) Karpathy 還是一位博士生，當(dāng)老師確實(shí)占用了他大量的時(shí)間和精力。每年教兩次，每次四個(gè)月，一到上課的那段時(shí)間，他都不得不開動(dòng)120%的精力，甚至博士學(xué)位的相關(guān)研究工作都不得不停擺。
“盡管如此，我還是覺(jué)得這門課是我讀博期間的高光時(shí)刻?！?/span>
Andrej Karpathy 圖片來(lái)源本人
如果簡(jiǎn)單瀏覽一遍 Karpathy 的履歷，一般人可能不會(huì)以為他是一個(gè)教學(xué)型的學(xué)者。但實(shí)際上他真的特別熱衷于傳道授業(yè)解惑，特別是給大家分享他本人的學(xué)習(xí)結(jié)果，和掌握技能的獨(dú)特經(jīng)驗(yàn)。
他曾經(jīng)以博士生過(guò)來(lái)人的身份寫過(guò)一些經(jīng)驗(yàn)談，發(fā)表在斯坦福官網(wǎng)以及個(gè)人播客上。比如對(duì)于本科生備戰(zhàn)考試，他真誠(chéng)告誡大家“熬夜不值”、“多找多換 TA”、“備考初期自學(xué)，考前多交流”等。而對(duì)于糾結(jié)是否讀博的學(xué)生，他專門寫過(guò)一篇“博士生存指南”萬(wàn)字文，從前期準(zhǔn)備、導(dǎo)師選擇、研究課題、著述發(fā)表、學(xué)術(shù)演講等諸多方面，分享了大量的指導(dǎo)思想和具體經(jīng)驗(yàn)……
圖片來(lái)源：Andrej Karpathy如果你以為他只講深度學(xué)習(xí)，那就太小看人家了：
對(duì)于非本專業(yè)的內(nèi)容，他也會(huì)用自己的業(yè)余時(shí)間，做長(zhǎng)期、系統(tǒng)性的研究和測(cè)試，然后寫成文章。比如他在 GitHub 賬號(hào)上曾經(jīng)寫過(guò)一篇“生物黑客”的文章，分享了自己在體育鍛煉、斷食、血液檢測(cè)、體能****物、睡眠研究等方面做過(guò)的測(cè)試經(jīng)驗(yàn)。
少為人知的是，Karpathy 還是一個(gè)專業(yè)的魔方老師……
在解魔方這件事上他有一個(gè) alter ego，名叫 Badmephisto。他有一個(gè)專門講授魔方知識(shí)的網(wǎng)站，做過(guò)一個(gè)教你如何解魔方的 app（iPhone & Android），還在 YouTube 上傳了大量教學(xué)視頻，總共有900多萬(wàn)觀看量……
老哥可真是上課上癮啊……
Karpathy 在谷歌實(shí)習(xí)期間內(nèi)部渠道搞到了一臺(tái) Google Glass，錄制了這段在自行車上解魔方的視頻 動(dòng)圖來(lái)源：Andrej Karpathy/ AI 大佬都愛(ài)講課 /
值得注意的是，不止 Karpathy，深度學(xué)習(xí)/AI 領(lǐng)域的大佬級(jí)別人物，都特別愛(ài)“講課”。
這么說(shuō)確實(shí)有點(diǎn)廢話文學(xué)了……因?yàn)檫@些大佬當(dāng)中，很多人本身就在知名院校有著常規(guī)或終身教職，一部分進(jìn)入工業(yè)界的人士，之前也有很強(qiáng)學(xué)術(shù)和教學(xué)背景。但他們即使現(xiàn)在在工業(yè)界身居高位忙到不行，仍然對(duì)深度學(xué)習(xí)知識(shí)的傳播和普及充滿熱情。
比如 Karpathy 在多倫多大學(xué)的老師 Geoff Hinton 教授。他是反向傳播等深度學(xué)習(xí)核心算法的發(fā)明人，深度學(xué)習(xí)領(lǐng)域的“三劍客”之一，圖靈獎(jiǎng)獲得者。有這樣一種對(duì)于他的評(píng)價(jià)：當(dāng)其他人還在質(zhì)疑機(jī)器/深度學(xué)習(xí)的時(shí)候，Hinton 在多倫多一邊默默地教書，一邊持續(xù)著研究推進(jìn)，終于以一己之力復(fù)活了機(jī)器學(xué)習(xí)研究和行業(yè)，堪稱深度學(xué)習(xí)之父。
自從創(chuàng)立的 DNNResearch 公司于2013年被谷歌收購(gòu)，Hinton 在谷歌一直有職位，但實(shí)際上他的主要研究工作還是在多倫多大學(xué)的計(jì)算機(jī)科學(xué)系。雖然近年來(lái)他已經(jīng)不怎么講常規(guī)課程了，但他仍然會(huì)花很多時(shí)間和精力，指導(dǎo)學(xué)生研究和參與論文寫作。并且，他也參與錄制了一些深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方面的免費(fèi)網(wǎng)課內(nèi)容。
截圖來(lái)源：Coursera“三劍客”的另外兩位成員 Yoshua Benjio 和 Yann LeCun，也有各自的教職。
Bengio 是蒙特利爾大學(xué)教授，也創(chuàng)辦了 Mila 人工智能研究所并擔(dān)任科學(xué)總監(jiān)。他至今仍在學(xué)校和 Mila 研究所帶領(lǐng)和指導(dǎo)著大量的研究生、博士生和博士后研究員。他經(jīng)常參加各種外部機(jī)構(gòu)的演講和授課邀請(qǐng)，之后的視頻也都會(huì)公開在網(wǎng)上。
LeCun 在 Meta 擔(dān)任副總裁兼首席AI科學(xué)家，還是紐約大學(xué)電氣和計(jì)算機(jī)工程系教授。他曾經(jīng)誠(chéng)懇地表示過(guò)，自己可能沒(méi)有辦法及時(shí)查收和回復(fù)學(xué)校郵箱和電話留言。不過(guò)，至少去年他還在紐約大學(xué)的數(shù)據(jù)科學(xué)中心 (NYU-CDS) 教深度學(xué)習(xí)的相關(guān)課程。另外因?yàn)橐咔榈仍颍?/span>NYU-CDS 的所有由 LeCun 教授的深度學(xué)習(xí)課程，在2020年也都完全線上化并免費(fèi)公開了：
視線轉(zhuǎn)回國(guó)內(nèi)，前幾年離職回校教書的原騰訊 AI Lab 主任張潼，也是一個(gè)有趣的例子。他是機(jī)器學(xué)習(xí)領(lǐng)域知名的國(guó)際專家，曾經(jīng)在美國(guó)大學(xué)拿到終身教職，在 IBM 研究院、雅虎研究院、百度 IDL 擔(dān)任研究和管理方面的高級(jí)別職位，還是 ICML、NIPS 等一系列國(guó)際頂級(jí)學(xué)術(shù)會(huì)議的主席或領(lǐng)域主席。然而可能是因?yàn)楦硎芙虝蛯W(xué)術(shù)界的環(huán)境，張潼在2019年初離開了騰訊 AI Lab，來(lái)到了港科大數(shù)學(xué)系和計(jì)算機(jī)科學(xué)工程系，直接就拿到了專為特別杰出且成就非凡的學(xué)者才設(shè)立的講席教授 (chair professor) 資格。
當(dāng)然他也沒(méi)有完全離開業(yè)界，在港科大和創(chuàng)新工場(chǎng)之間牽線搭橋，幫助兩家機(jī)構(gòu)成立了聯(lián)合實(shí)驗(yàn)室，專注于基礎(chǔ)科研?，F(xiàn)在的他，在港科大做研究、帶學(xué)生，這一學(xué)期還教了 COMP6211E 和 MATH6450J 兩個(gè)和機(jī)器學(xué)習(xí)優(yōu)化相關(guān)的課程。
這些熱愛(ài)傳道授業(yè)解惑的頂尖學(xué)者讓我們看到：即便在高度商業(yè)化的今天，一項(xiàng)技術(shù)、一種知識(shí)，仍然可以通過(guò)教育這種古典的形式，加上“免費(fèi)網(wǎng)課”的創(chuàng)新手段，來(lái)完成更高效、更具公益性的普及。
這樣的大佬們，請(qǐng)多來(lái)點(diǎn)，不要停。
注：封面圖來(lái)自于斯坦福大學(xué)網(wǎng)站，版權(quán)屬于原作者。如果不同意使用，請(qǐng)盡快聯(lián)系我們，我們會(huì)立即刪除。
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
