AI熱潮之下，今年的ACL備受關注。
文| Juny 編輯| VickyXiao
就在今天下午，自然語言處理領域的頂級學術會議、有NLP界奧斯卡之稱的ACL 2023 在加拿大多倫多揭曉了三篇”年度最佳“學術論文，其中有兩篇都有華人研究者的身影。
今年，除了最重磅的年度最佳論文由過去的一篇增至了三篇之外，ACL也大幅度增加了優(yōu)秀論文的獎項設置和獲獎比例，頒發(fā)了四大單項獎、39篇杰出論文和12大細分領域的最佳論文等獎項。ACL組委會表示，今年獲獎論文達到了總提交論文數(shù)的1.5-2.5%。
作為對比，去年ACL所有獲獎論文加總僅有12篇，獲獎數(shù)量還不到今年五分之一，由此可見今年的ACL有多熱鬧！很多人甚至形容今年的ACL就像是AI圈的“火人節(jié)”，來自世界各地的AI研究者們都激情四溢，從7月9日開始，在加拿大多倫多進行著一場為期5天的AI狂歡派對。
值得注意的是，不僅是最佳論文，在此次的所有獲獎論文中，有華人學者參與和由華人團隊領導的研究幾乎占據(jù)了半壁江山。｜華人研究者成為ACL的“中流砥柱”在39個杰出論文中，全部都由華人研究者組成的研究團隊達到了六個，有華人參與的杰出論文占一半以上。這些研究者所來自的中國機構(gòu)既有清華大學、復旦大學、南京理工大學等高校，也有華為、騰訊等大型企業(yè)。
在細分領域的主席獎中，來自清華大學和武漢大學的華人團隊摘得了“情感分析、文體分析和論點挖掘”領域的最佳論文，來自中科大、北京交通大學、微軟亞洲研究院的華人團隊摘得了“自然語言處理應用”領域的最佳論文。除了這兩個領域之外，其他4個的領域中也有華人研究者的身影。在最佳演示論文獎中，由中科大、清華大學、智譜AI、財智科技的研究者組成的團隊斬獲了唯一一篇最佳論文獎項。最佳學生研究獎項中，來自中國的學術團隊也位列其中。而在四個特別單項獎中，有華人研究者身影的獎項達到了三個。
總體來看，無論是作為參與者還是研究領導者，華人研究者這次在ACL的存在感都特別強。｜3篇年度最佳論文，分別都在研究什么？本次獲獎的三篇年度最佳論文包括：- Do Androids Laugh at Electric Sheep? Humor “Understanding” Benchmarks from The New Yorker Caption Contest
論文作者：Jack Hessel（艾倫人工智能研究所）, Ana Marasovic（猶他大學）, Jena D. Hwang（艾倫人工智能研究所）, Lillian Lee（康奈爾大學）, Jeff Da（華盛頓大學）, Rowan Zellers（華盛頓大學）, Robert Mankoff（Air Mail and Cartoon Collections） 和 Yejin Choi（華盛頓大學）篇論文主要探討了人工智能是否真正理解了幽默。研究者通過三個有關《紐約客》漫畫標題比賽的任務來挑戰(zhàn)AI模型，包括將笑話與漫畫配對、識別出贏得比賽的標題，以及解釋為什么贏得比賽的標題是有趣的。研究團隊表示，這三個任務的復雜度是逐漸進階的，關鍵點在于測試AI對于圖像和標題之間復雜性的理解，以及對人類經(jīng)驗和文化的模仿和應用。團隊在研究中使用了多模態(tài)和單一語言兩種模型進行測試，但最后研究發(fā)現(xiàn)，兩種類型的模型在所有三個任務上都存在困難。
圖片截自于論文正文例如，最好的多模態(tài)模型在匹配任務上的性能比人類低30個準確性點，即使提供了真實的視覺場景描述，人類編寫的解釋也在大于2/3的情況下優(yōu)于機器編寫的。但同時團隊也指出，這個研究結(jié)果是在比較少的GPT-4模型下所得出的。雖然這篇論文的作者分屬于不同機構(gòu)，但總體來看這也是一篇由OpenAI強參與的研究，論文作者中 Jeff Da, Rowan Zellers 和 Yejin Choi 都在 OpenAI 工作。- What the DAAM: Interpreting Stable Diffusion Using Cross Attention
論文作者：Raphael Tang（康卡斯特應用AI團隊）, Linqing Liu（倫敦大學學院）, Akshat Pandey（康卡斯特應用AI團隊）, Zhiying Jiang（滑鐵盧大學）, Gefei Yang（康卡斯特應用AI團隊）, Karun Kumar（（康卡斯特應用AI團隊）, Pontus Stenetorp（倫敦大學學院）, Jimmy Lin（滑鐵盧大學） 和 Ferhan Ture（康卡斯特應用AI團隊）這篇論文主要關注了大規(guī)模擴散神經(jīng)網(wǎng)絡在文本到圖像生成中的應用，研究團隊認為雖然目前文本到圖像模型已經(jīng)取得了重要的里程碑式成就，但從學術研究的角度人們對它們?nèi)匀蝗狈ι钊胝J知和可解釋性分析。為了解決這個問題，研究團隊基于最近很火的開源模型Stable Diffusion進行了文本-圖像歸因分析。他們提出了一種名為DAAM的方法，通過放大和聚合去噪子網(wǎng)絡中的交叉注意力單詞-像素得分，以生成像素級的歸因圖。
圖片截自于論文正文最后，他們使用DAAM研究了幾種語義現(xiàn)象，重點是特征糾纏，其中，他們發(fā)現(xiàn)共同詞素降低了生成質(zhì)量，而描述性形容詞關注得過于廣泛。研究團隊表示，他們的研究是首次從視覺語言角度來解釋大型擴散模型，這可能為未來的研究開辟了新的道路。該研究主要由全美最大有線電視、第二大互聯(lián)網(wǎng)服務提供商Comcast集團的AI研究團隊領導，在該研究團隊中，有一半以上的作者都是華人。- From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models
論文作者：Shangbin Feng（華盛頓大學）, Chan Young Park（卡耐基梅隆大學）, Yuhan Liu（西安交通大學） 和 Yulia Tsvetkov（華盛頓大學）這篇論文主要研究了預訓練語言模型（LMs）中的政治偏見，及其對下游自然語言處理（NLP）模型公平性的影響。研究團隊開發(fā)了新的方法來測量在多樣化的數(shù)據(jù)源（如新聞、論壇、書籍、在線百科全書等）上預訓練的LMs中的政治偏見，其中特別關注了仇恨言論和誤信息檢測這兩個高風險的社會導向任務。該研究的發(fā)現(xiàn)預訓練的語言模型確實存在政治傾向，不僅加強了語料庫中存在的極化，還將社會偏見傳播到了仇恨言論預測和誤信息檢測器中，論文討論了這些發(fā)現(xiàn)對NLP研究的重要影響，并提出未來的方向以減輕不公平性。其中，根據(jù)公開信息顯示，這篇文章的第一作者Shangbin Feng本科就讀于西安交通大學，于去年開始在華盛頓大學攻讀博士學位，師從Yulia Tsvetkov。｜NPL界的頂流大會，孕育無數(shù)AI新技術、新業(yè)態(tài)ACL（Association of Computational Linguistics）起源于1962年，源自美國一個小而專注的學術組織，其宗旨是推動計算語言學的發(fā)展。在當時，計算機科學才剛剛起步，人工智能更是還處于嬰兒階段的學術概念，但ACL早在60多年前就已經(jīng)預見了的科技的巨浪，今年已經(jīng)是第61屆大會。如今，在人工智能、特別是研究自然語言處理領域有四大頂級會議，分別是ACL、NAACL、EMNLP、COLING。而除了COLING 之外，其他三大會議均由ACL（Association of Computational Linguistics）主辦。幾十年來，隨著技術的進步和AI研究的深入，ACL逐漸發(fā)展成為全球最重要的自然語言處理領域的學術會議。作為AI領域里的“奧斯卡獎”一般的存在，ACL可以說是所有自然語言處理領域研究者們所向往和奮斗的方向。ACL會議每年都會產(chǎn)生大量的頂級研究論文，推動了自然語言處理技術的快速發(fā)展，這些新思想、新技術往往也會被業(yè)界快速應用和商業(yè)化。最重要的是，ACL培育了一代又一代的AI領袖和研究者，是全球AI領域最重要的人才池。ACL大會的舉辦地點在每年都會變化，遍及北美、歐洲、亞洲等地，以盡可能吸引全球各地的研究者參與，每年的會議地點都由ACL的組織委員會提前選定并公布。今年的舉辦地則放在了AI研究前沿、有“深度學習之父”Geoffrey Hinton坐鎮(zhèn)的加拿大多倫多。
Geoffrey Hinton在ACL開幕上發(fā)表演講，圖片來自推特或許是受AI浪潮的影響，今年的大會氛圍尤其熱烈。全球各地的AI研究者們前來“朝圣”和分享、交流，谷歌、微軟、亞馬遜、IBM等大型科技企業(yè)也都在ACL上設置了展位，跟研究者們進行面對面交流。知名的專家和研究者將進行一系列的主題演講，各國年輕的學者們也將對最新研究成果進行分享和研討，參會者能夠深入地參與特定主題。此外，ACL還設置了企業(yè)展示和招聘環(huán)節(jié)連接學術界和工業(yè)界，促進AI技術的落地轉(zhuǎn)化。
注：封面圖來自于Pexels，版權(quán)屬于原作者。如果不同意使用，請盡快聯(lián)系我們，我們會立即刪除。END
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。
加入技術交流群
