博客專欄

EEPW首頁(yè) > 博客 > 朱晨光:一個(gè)從不通宵的AI研究員(2)

朱晨光:一個(gè)從不通宵的AI研究員(2)

發(fā)布人:數(shù)據(jù)派THU 時(shí)間:2021-05-16 來(lái)源:工程師 發(fā)布文章

除了學(xué)習(xí),本科時(shí)期的朱晨光在科研上也取得了非常不錯(cuò)的成績(jī)。

姚班的培養(yǎng)模式是鼓勵(lì)學(xué)生走出教室,去世界頂級(jí)的高?;蜓芯繖C(jī)構(gòu)進(jìn)行學(xué)術(shù)交流、做科研。2009年,正在上大三的朱晨光去了微軟亞洲研究院的機(jī)器學(xué)習(xí)組實(shí)習(xí)。他在姚班所學(xué)到的機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘課程知識(shí),剛好派上用場(chǎng)。

為期一年的實(shí)習(xí)中,朱晨光主要從事搜索引擎相關(guān)的工作。在微軟,他一共發(fā)表了8篇學(xué)術(shù)論文,其中,他參與基于隨機(jī)梯度下降的SVM與Logistic回歸的工作(“Inverse Time Dependency in Convex Regularized Learning”)發(fā)表在ICDM 2009,并獲得當(dāng)年的最佳學(xué)生論文獎(jiǎng)亞軍。

與此同時(shí),朱晨光也沒有停止參加競(jìng)賽。他形容,競(jìng)賽就像練武術(shù),“從小開始練的功夫,長(zhǎng)大以后如果不偶爾打一下拳,就感覺全身放松不下來(lái)。”上了大學(xué)后,競(jìng)賽雖然不再是他生活中的主旋律,但已經(jīng)成為他生命中不可分割的部分。

在清華讀書時(shí),他的賽場(chǎng)從NOI轉(zhuǎn)到了ACM/ICPC,與朱澤園等人組隊(duì),曾在亞洲賽區(qū)獲得4枚金牌。讀博后,他代表斯坦福大學(xué)參加ACM/ICPC,曾獲得2011年ACM/ICPC太平洋西北賽區(qū)冠軍、2012年ACM/ICPC全球第13名。

除了ACM/ICPC,他還參加其他小的編程競(jìng)賽,比如斯坦福舉辦的編程競(jìng)賽與IEEE/GOOGLE算法比賽,都獲得了第一名。朱晨光告訴AI科技評(píng)論:“其實(shí)我現(xiàn)在都還在參加比賽,周末在網(wǎng)上刷一下比賽題目,已經(jīng)成為一種習(xí)慣了?!?/p>

據(jù)他所知,“樓教主”樓天城(2004年IOI金牌得主)到現(xiàn)在也還在參加比賽,“我做的題目可能沒他多,但也比較執(zhí)著。”

朱晨光稱,少年參加競(jìng)賽也許是為了獲得保送,但隨著年齡的增長(zhǎng),現(xiàn)在參賽更多是享受比賽的樂趣,“有種緊張感,很刺激。我喜歡那種緊張的感覺?!?/p>

在他的競(jìng)賽活動(dòng)中,信息學(xué)并不是唯一的內(nèi)容。他從小練習(xí)乒乓球,也經(jīng)常參加乒乓球比賽,曾獲得2010年清華大學(xué)馬杯乒乓球男子單打比賽季軍。2015年,讀博期間,他還獲得了美國(guó)國(guó)家乒乓球錦標(biāo)賽U2000 D分區(qū)的冠軍,號(hào)稱“斯坦福最杰出的乒乓球選手”。

3.jpg

圖注:朱晨光獲得2015年美國(guó)乒乓球錦標(biāo)賽U2000冠軍

科研之余抽時(shí)間打球、競(jìng)賽,朱晨光并不覺得累,反而認(rèn)識(shí)這是對(duì)生活的放松與調(diào)節(jié),因?yàn)閰⒓颖荣惻c平時(shí)跟朋友隨便打打球的氛圍完全不一樣。比賽是每分必爭(zhēng),給他一種只有競(jìng)爭(zhēng)才有的快感。

雖然學(xué)習(xí)、科研與競(jìng)賽同時(shí)進(jìn)行,看似分身乏術(shù),但朱晨光從小到大都沒有通宵過(guò)。即使是工作后,趕論文ddl與產(chǎn)品上線發(fā)布,他也絕不熬夜,到點(diǎn)就睡。

3 斯坦福讀博:“鴨子劃水”

大四那年,朱晨光申請(qǐng)美國(guó)讀博,拿到了斯坦福大學(xué)與卡內(nèi)基梅隆大學(xué)(CMU)的全獎(jiǎng)博士offer。CMU位于匹茲堡,工業(yè)氣息更重,而斯坦福位于舊金山灣區(qū),臨近硅谷,綜合學(xué)科實(shí)力更強(qiáng),于是他便選擇了斯坦福。

后來(lái)他覺得,當(dāng)初的選擇是對(duì)的。在博士最后一年,當(dāng)他因?yàn)檎n題研究需求而想要修一個(gè)統(tǒng)計(jì)學(xué)碩士時(shí),他發(fā)現(xiàn)斯坦福計(jì)算機(jī)系有一個(gè)政策,允許計(jì)算機(jī)博士免費(fèi)讀一個(gè)碩士,而且斯坦福的統(tǒng)計(jì)學(xué)專業(yè)排名全美第一,為他提供了很好的學(xué)習(xí)機(jī)會(huì)。

在斯坦福讀博的六年,雖然業(yè)余有參加競(jìng)賽和打球,但科研的壓力也是顯而易見的。

朱晨光形容,斯坦福學(xué)生的學(xué)習(xí)生活就像“鴨子劃水”:從水面上看,每只鴨子都在很悠閑地漂著,但到水底下一看,所有鴨子的腳都在嘩嘩地用力劃。斯坦福競(jìng)爭(zhēng)激烈,大家都是表面上看起來(lái)輕松,實(shí)則外松內(nèi)緊。

讀博期間,朱晨光跟著Balaji Prabhakar教授從事基于機(jī)器學(xué)習(xí)的交通優(yōu)化研究。他做過(guò)一個(gè)有趣的項(xiàng)目,叫“擁堵與停車激勵(lì)”(Congestion and Parking Relief Incentives,簡(jiǎn)稱“CAPRI”)系統(tǒng),通過(guò)現(xiàn)金激勵(lì)來(lái)改變?nèi)藗冊(cè)诟叻迤诘某鲂袝r(shí)間。

交通優(yōu)化的研究中,有一個(gè)重要的概念,叫“10%現(xiàn)象”,也就是說(shuō),如果能夠?qū)⒏叻迤趽矶侣范紊?0%的汽車出行時(shí)間偏離高峰期,那么交通堵塞情況就會(huì)得到明顯改善。以往的研究都是采取懲罰手段,但朱晨光所在的小組則轉(zhuǎn)向使用激勵(lì)手段,來(lái)吸引參與者改變自己的行為。

實(shí)驗(yàn)首先落在交通擁堵的斯坦福大學(xué)。他們將高峰期定義為早上8:00~9:00與晚上5:00~6:00。如果參與者在高峰期進(jìn)出學(xué)校則不得分,錯(cuò)峰出行則得分。積累到一定的分?jǐn)?shù)后,參與者可以抽獎(jiǎng)獲得數(shù)額不等的現(xiàn)金。

在抽獎(jiǎng)環(huán)節(jié),他們還引入社交網(wǎng)絡(luò),朋友之間可以觀察到對(duì)方的“好”行為。

4.png圖注:CAPRI系統(tǒng)的積分抽獎(jiǎng)頁(yè)面

統(tǒng)計(jì)表明,在交通優(yōu)化中引入激勵(lì)方法有利于改變?nèi)藗兊某鲂蟹绞?。他們觀察到,項(xiàng)目的參與者會(huì)將原先的出行時(shí)間推遲或提早幾分鐘,在原定的高峰期附近又形成一個(gè)更小的高峰。這有利于緩解通勤高峰期的交通擁堵情況。

他們的研究受到了《紐約時(shí)報(bào)》、《華爾街日?qǐng)?bào)》等多家媒體的報(bào)道。

朱晨光感覺,博士生不像是學(xué)生,而更像是一個(gè)上班族,每天去的也不是教室,而是實(shí)驗(yàn)室?!叭绻退固垢5谋究粕c碩士生交流,大家會(huì)很喜歡開玩笑;但博士生之間交流就會(huì)變得嚴(yán)肅、注意分寸?!?/p>

由于在本科期間已經(jīng)有科研經(jīng)驗(yàn),也發(fā)過(guò)頂會(huì)論文,所以來(lái)到美國(guó)后,朱晨光很快就進(jìn)入了博士生的角色,會(huì)主動(dòng)去尋找研究課題,然后獨(dú)立完成課題,而不是等著博士導(dǎo)師派發(fā)任務(wù)、跟在別人后面被動(dòng)學(xué)習(xí)。

六年讀博,除了變得更加獨(dú)立,朱晨光最大的收獲就是科研思路更清晰。這要?dú)w功于導(dǎo)師Balaji Prabhakar,“他教會(huì)了我如何有邏輯地將一件事情捋清楚。”他認(rèn)為,正是讀博期間的邏輯鍛煉,使得他在后來(lái)自己寫書、寫論文時(shí),能夠游刃有余,逐層推進(jìn)。

比如,2019年在寫《機(jī)器閱讀理解:算法與實(shí)踐》一書時(shí),動(dòng)筆之前,朱晨光在腦海里就已形成條理清晰的章節(jié)內(nèi)容。邏輯捋清楚,每天在完成微軟的正職工作之后,他就抽一個(gè)小時(shí)寫書,從字到句,從段到頁(yè),從節(jié)到章,雷打不動(dòng)地堅(jiān)持了3個(gè)月,便順利完成初稿。

雖然博士畢業(yè)后,朱晨光沒有繼續(xù)從事交通優(yōu)化研究,但對(duì)他來(lái)說(shuō),從博導(dǎo)那里學(xué)到的邏輯思路是伴隨一生的,即使跨領(lǐng)域也能有所裨益。

5.jpg

圖注:2016年斯坦福博士畢業(yè)典禮,朱晨光與導(dǎo)師Balaji Prabhakar合影

關(guān)于硅谷的印象,朱晨光認(rèn)為,就計(jì)算機(jī)行業(yè)而言,硅谷的科技規(guī)模、人才密度、科研創(chuàng)新能力是當(dāng)之無(wú)愧的世界第一。

此外,硅谷的創(chuàng)業(yè)氛圍非常濃厚?!叭绻ゲ宛^吃飯,你會(huì)經(jīng)常聽到旁邊桌子在討論創(chuàng)業(yè)想法、找投資。也有很多人在星巴克抱著電腦寫程序。”他談到,也有很多創(chuàng)業(yè)者來(lái)到斯坦福找技術(shù)人才,他周圍的許多博士同學(xué)就選擇了退學(xué)創(chuàng)業(yè)。

但博士畢業(yè)后,朱晨光卻沒有留在硅谷工作,而是去了位于西雅圖的微軟總部擔(dān)任研究員。

2012年暑假,他去了微軟雷德蒙研究院通訊與存儲(chǔ)組實(shí)習(xí),設(shè)計(jì)與執(zhí)行新的內(nèi)容感知SSD捕捉算法,研究結(jié)果被應(yīng)用于Windows Server 2012 R2。

在這次實(shí)習(xí)中,他覺得西雅圖更適合自己居住。朱晨光提到,他的皮膚比較敏感,加州的陽(yáng)光太強(qiáng)烈,一曬就容易發(fā)紅;而西雅圖的天氣比較濕潤(rùn),皮膚比較適應(yīng)。在西雅圖上班,從家里開車到公司,一路上能夠看到雪山與綠樹,也很符合他的審美。

4 企業(yè)科研:滿足需求是關(guān)鍵

“微軟讓我有一種家的感覺?!敝斐抗膺@樣形容。

從本科大三的第一份實(shí)習(xí)開始,微軟就成為了朱晨光唯一的首選職業(yè)目標(biāo)。最初他是因?yàn)檠瞿轿④泚喲械拿?hào)而去實(shí)習(xí),但在后來(lái)的交集中,他感覺微軟的工作氛圍非常自由,有許多施展個(gè)人能力的空間,也很有人情味。

博士剛畢業(yè)那會(huì),他去微軟面試,遇到了后來(lái)為《機(jī)器閱讀理解》一書寫序的黃學(xué)東老師。黃學(xué)東是微軟全球人工智能首席技術(shù)官,非常愛惜人才,了解到他是姚班、斯坦福畢業(yè)后,與他聊了很多,還涉及到他以后的職業(yè)規(guī)劃,讓他感覺很親切。而朱晨光的老板曾南山是原微軟亞洲互聯(lián)網(wǎng)工程院副院長(zhǎng),有著豐富的管理和研發(fā)經(jīng)驗(yàn),也給了他很多指導(dǎo)和啟發(fā)。因此,他義無(wú)反顧地再次選擇了微軟。

“微軟被稱為‘IT界的黃埔軍?!矣X得不是一件偶然的事。它的發(fā)展歷史已經(jīng)很悠久,但無(wú)論是從人才儲(chǔ)備、產(chǎn)業(yè)品牌,還是從未來(lái)創(chuàng)新研究來(lái)看,微軟都是現(xiàn)有互聯(lián)網(wǎng)大廠里的佼佼者之一?!?/p>

朱晨光認(rèn)為,微軟的最可貴之處在于,雖然規(guī)模大、歷史久,但微軟對(duì)研究方向的嗅覺十分靈敏,總是能夠掌握到科技與商業(yè)的前進(jìn)脈搏。從Windows與Office,到搜索,再到人工智能,微軟的發(fā)展總是緊跟風(fēng)向。

進(jìn)入微軟后,他的研究方向也隨著微軟的業(yè)務(wù)調(diào)整而轉(zhuǎn)變。本科實(shí)習(xí)時(shí),他在微軟亞研更多是做搜索,研究如何提高必應(yīng)的搜索質(zhì)量;博士畢業(yè)入職后,微軟的研究重心之一放在自然語(yǔ)言理解,他也從交通優(yōu)化轉(zhuǎn)到了NLP。換句話說(shuō),他與微軟是共同成長(zhǎng)。

在這一點(diǎn)上,他提到,微軟會(huì)針對(duì)不同的崗位設(shè)置培訓(xùn)課程,幫助大家適應(yīng)新的研究方向。比如,剛接觸NLP時(shí),朱晨光是跟著組里的人一起讀論文,自學(xué)深度學(xué)習(xí)的課程,以及參加微軟內(nèi)部的培訓(xùn)。

朱晨光在2016年1月入職微軟,2020年便升為了認(rèn)知服務(wù)研究部門知識(shí)與語(yǔ)言小組的首席研究經(jīng)理。

與高校做研究不同,朱晨光總結(jié),在企業(yè)做科研,要懂得靈活根據(jù)產(chǎn)品需求來(lái)調(diào)整自己的研究方向。

技術(shù)組與產(chǎn)品組的合作主要有兩種方式:一種是問(wèn)清楚需求,利用技術(shù)從根源解決需求,“這種研究只要做出來(lái),產(chǎn)品轉(zhuǎn)化率非常高?!绷硪环N是引領(lǐng)產(chǎn)品方向,走在產(chǎn)品組前面,幫他們提問(wèn)題,做出成果后,再去跟產(chǎn)品組談如何將業(yè)務(wù)系統(tǒng)化。

在這兩種模式下,科研往往既能體現(xiàn)科研價(jià)值,也能創(chuàng)造商業(yè)價(jià)值。這也許是朱晨光轉(zhuǎn)變研究方向,從頭開始,也能夠在4年內(nèi)晉升為首席研究經(jīng)理的原因之一。

“我覺得公司招聘我們過(guò)來(lái),看重的不是我們之前的研究經(jīng)歷,而是一種潛力,微軟稱之為‘growth mindset’(成長(zhǎng)型思維),能否將已有的經(jīng)驗(yàn)轉(zhuǎn)移到研究其他任務(wù)的能力。未來(lái)的研究是多變的,所以不會(huì)僅看當(dāng)下的能力匹配度?!敝斐抗饨忉尅?/p>

剛進(jìn)微軟時(shí),朱晨光的研究?jī)?nèi)容是客戶對(duì)話系統(tǒng)與機(jī)器閱讀理解。他曾領(lǐng)導(dǎo)小組在2017年斯坦福機(jī)器閱讀理解挑戰(zhàn)賽SQuAD中獲得全球第一名,2019年又在斯坦福對(duì)話閱讀理解挑戰(zhàn)賽CoQA中設(shè)計(jì)模型超越人類表現(xiàn)、獲得第一名,其在比賽中提出的FusionNet模型已被應(yīng)用于微軟Bing的問(wèn)答產(chǎn)品中。

他還在中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)原秘書長(zhǎng)杜子德的邀請(qǐng)下,將自己在機(jī)器閱讀理解上的學(xué)習(xí)與研究經(jīng)歷匯總成“機(jī)器閱讀理解:如何讓計(jì)算機(jī)讀懂文章 ”一文,發(fā)表在2019年2月的《中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊》上。

文章大火,于是朱晨光又在機(jī)械工業(yè)出版社的邀請(qǐng)下寫了《機(jī)器閱讀理解:算法與實(shí)踐》一書。杜子德老師欣然為此書作序。

6.jpg

圖注:《機(jī)器閱讀理解:算法與實(shí)踐》中英文雙版

2019年,隨著業(yè)務(wù)的調(diào)整,朱晨光又將研究重點(diǎn)轉(zhuǎn)向了文本總結(jié)與知識(shí)圖譜。

他認(rèn)為,在一個(gè)信息爆炸的時(shí)代,大家對(duì)信息獲取的速度與質(zhì)量有很高的要求,所以文本總結(jié)對(duì)吸引閱讀至關(guān)重要。于是,他開發(fā)了一種利用新聞的倒金字塔結(jié)構(gòu)訓(xùn)練大規(guī)模文本總結(jié)模型的方法,不用任何人工標(biāo)注的總結(jié),就可以達(dá)到很好的效果。這項(xiàng)研究發(fā)表在SIGIR 2021會(huì)議,并應(yīng)用于Microsoft News等產(chǎn)品上,不斷提升了用戶的閱讀體驗(yàn)。

而知識(shí)圖譜的研究是針對(duì)當(dāng)前許多深度學(xué)習(xí)模型的“黑盒”特性而缺少可解釋性,希望通過(guò)以圖的形式呈現(xiàn)人類知識(shí),供機(jī)器模型學(xué)習(xí),提高機(jī)器的智能程度。通過(guò)融入知識(shí),使得用戶可以手動(dòng)控制大規(guī)模模型的預(yù)測(cè),這使得整個(gè)模型決策的過(guò)程更加透明。他們團(tuán)隊(duì)的成果在CommonsenseQA、CommonGen等賽事中多次登上榜首,并發(fā)表在ACL, EMNLP, NAACL等頂級(jí)NLP會(huì)議上。

朱晨光提到,成績(jī)的取得與整個(gè)團(tuán)隊(duì)的努力是分不開的。他非??春矛F(xiàn)在負(fù)責(zé)的知識(shí)與語(yǔ)言研究組。朱晨光得意地稱,“我覺得我們是一個(gè)明星小組。組內(nèi)一共有8個(gè)研究員,3個(gè)畢業(yè)于斯坦福,2個(gè)畢業(yè)于CMU,還有2個(gè)是姚班的畢業(yè)生,都擁有自然語(yǔ)言處理方向的博士學(xué)歷?!?/p>

在管理研究組時(shí),他的主要工作是根據(jù)公司需求定下基本的研究方向,然后給研究員提供自由研究的空間,讓大家發(fā)揮各自的特長(zhǎng)?!胺较蚨ê煤螅扇∈裁捶椒ń鉀Q,他們自己選,然后我和他們一起討論?!?/p>

他幾乎可以肯定,在未來(lái)5年,他的研究方向會(huì)發(fā)生更大的改變,因?yàn)榧夹g(shù)的更新迭代非???。在不斷成長(zhǎng)的同時(shí),朱晨光也要求自己不斷學(xué)習(xí)。

比如,他堅(jiān)持每天至少閱讀一篇學(xué)術(shù)論文,以此來(lái)掌握NLP領(lǐng)域的最新知識(shí)與研究動(dòng)態(tài)。既是為了能夠及時(shí)調(diào)整自己的研究?jī)?nèi)容、以適應(yīng)產(chǎn)品的需求,也是為了緊跟潮流、不被時(shí)代淘汰。

5 寫在最后

雖然已離開校園多年,但朱晨光在少年時(shí)養(yǎng)成的“競(jìng)爭(zhēng)生存意識(shí)”仍在不斷驅(qū)使他繼續(xù)學(xué)習(xí)。他稱:“無(wú)論是公司還是個(gè)人,不進(jìn)步都會(huì)被淘汰?!?/p>

在微軟做科研,最忙碌的情況一般是頂會(huì)投稿截止時(shí)間逼近,以及產(chǎn)品準(zhǔn)備上線前夕。但總的來(lái)說(shuō),他在下班之后還是有時(shí)間看看書、充充電。

他看書的種類很廣,不只限于自然語(yǔ)言處理,還有統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、信息論等。他認(rèn)為,如果只關(guān)注自己的工作內(nèi)容本身,很快就會(huì)落后。而且,在帶組后,他不僅需要關(guān)注個(gè)人的科研,還要保證組內(nèi)的成員都走在正確的道路上,這就要求他走在前沿,當(dāng)一個(gè)合格的掌舵人。

在帶小組時(shí),他也要求組內(nèi)的成員至少同時(shí)進(jìn)行兩項(xiàng)工作,以備在一項(xiàng)工作沒有進(jìn)展時(shí)、隨時(shí)有另一項(xiàng)工作頂替,不至于一潰即散。

對(duì)于立志從事人工智能研究的學(xué)生,朱晨光提了三點(diǎn)建議:

首先,有三門課一定要學(xué)好,那就是數(shù)學(xué)、英語(yǔ)與計(jì)算機(jī)?!皩W(xué)計(jì)算機(jī)并非是只學(xué)編程,還要經(jīng)常閱讀前沿的研究成果,這就需要一定的英語(yǔ)能力;要弄清楚研究背后更深層次的原理,那就需要了解數(shù)據(jù)?!?/p>

其次,要勤于溝通,與前輩、師長(zhǎng)及同學(xué)多交流,避免方向出錯(cuò)。他提到,在申請(qǐng)學(xué)校、實(shí)習(xí)與做研究時(shí),他與競(jìng)賽時(shí)認(rèn)識(shí)的朋友、清華與斯坦福的同學(xué)與老師、微軟的領(lǐng)導(dǎo)與同事交流,他們都給了他很多指導(dǎo)與建議,讓他少走了很多彎路。

最后,一定要在廣泛涉獵的基礎(chǔ)上堅(jiān)持一個(gè)方向,比如機(jī)器學(xué)習(xí)。朱晨光說(shuō):“只要保持專注,堅(jiān)持不懈,成功一定在不遠(yuǎn)處?!?/p>

*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。



關(guān)鍵詞: AI

相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉