谷歌大神Jeff Dean領(lǐng)銜，萬字展望5大AI趨勢

以下文章來源于學(xué)術(shù)頭條 ，作者學(xué)術(shù)頭條

今天，由谷歌大神 Jeff Dean 領(lǐng)銜，這份總結(jié)雖遲但到。出于知識傳播目的，我們現(xiàn)將全文翻譯如下，以饗讀者：
在過去的幾十年里，我見證了機器學(xué)習(xí)（ML, Machine Learning）和計算機科學(xué)（CS, Computer Science）領(lǐng)域的變化和發(fā)展。

早期的方法往往存在某些缺陷導(dǎo)致了失敗，然而，通過在這些方法上的不斷研究和改進，最終產(chǎn)生了一系列的現(xiàn)代方法，目前這些方法已經(jīng)非常成功。按照這種長期的發(fā)展模式，在未來幾年內(nèi)，我認為我們將會看到一些令人欣喜的進展，這些進展最終將造福數(shù)十億人的生活，產(chǎn)生比以往任何時候都更大的影響。

這篇文章中，我將重點介紹 ML 中可能產(chǎn)生重大影響的五個領(lǐng)域。對于其中的每一項，我都會討論相關(guān)的研究（主要是從 2021 年開始），以及我們在未來幾年可能會看到的方向和進展。

• 趨勢1：更強大的通用 ML 模型
• 趨勢2：ML 的持續(xù)效率提高
• 趨勢3：ML 對個人和社會都越來越有益
• 趨勢4：ML 在科學(xué)、健康和可持續(xù)發(fā)展方面日益增長的效益
• 趨勢5：更深入和廣泛地理解 ML

研究人員正在訓(xùn)練比以往更大、更有能力的ML模型。
例如，僅在過去的幾年中，模型已經(jīng)在語言領(lǐng)域取得突破性進展，從數(shù)百億的數(shù)據(jù) tokens 中訓(xùn)練數(shù)十億個參數(shù)（如，11B 參數(shù) T5 模型），發(fā)展到數(shù)千億或上萬億的數(shù)據(jù) tokens 中訓(xùn)練高達數(shù)千億或上萬億的參數(shù)（如，密集模型，像 OpenAI 的 175 B 參數(shù) GPT3 模型、DeepMind 的 280B 參數(shù) Gopher 模型；稀疏模型，如谷歌的 600 B 參數(shù) GShard 模型、1.2T 參數(shù) GLaM 模型）。數(shù)據(jù)集和模型大小的增加導(dǎo)致了各種語言任務(wù)的準確性的顯著提高，這可以從標準自然語言處理（NLP, Natural Language Processing）基準測試任務(wù)的全面改進中觀察到，正如對語言模型和機器翻譯模型的神經(jīng)網(wǎng)絡(luò)縮放法則（neural scaling laws）的研究預(yù)測的那樣。
這些先進的模型中，有許多專注于單一但重要的書面語言模式上，并且在語言理解基準和開放式會話能力方面顯示出了最先進的成果，即是跨越一個領(lǐng)域的多個任務(wù)也是如此。除此之外，他們還表現(xiàn)出了令人興奮的能力，即僅用相對較少的訓(xùn)練數(shù)據(jù)便可以泛化新的語言任務(wù)。因為在某些情況下，對于一個新的任務(wù)，幾乎不存在訓(xùn)練示例。簡單舉例，如改進的長式問答（long-form question answering），NLP 中的零標簽學(xué)習(xí)，以及我們的 LaMDA 模型，該模型展示出了一種復(fù)雜的能力，可以進行開放式對話，并在多個對話回合中保持重要的上下文。

圖丨與 LaMDA 的對話模仿了威德爾海豹（Weddell sea）預(yù)設(shè)提示，“嗨，我是 Weddell sea。你有什么問題要問嗎？”該模型在很大程度上控制了角色中的對話。

Transformer 模型也對圖像、視頻和語音模型產(chǎn)生了重大影響，所有這些模型也都從縮放中受益，正如研究可視 Transformer 模型的縮放法則工作中預(yù)測的那樣。用于圖像識別和視頻分類的 Transformers 在許多基準上都取得了最先進的結(jié)果，我們還證明，與單獨使用視頻數(shù)據(jù)的模型相比，在圖像數(shù)據(jù)和視頻數(shù)據(jù)上的聯(lián)合訓(xùn)練模型可以提高視頻任務(wù)的性能。我們已經(jīng)為圖像和視頻 Transformers 開發(fā)了稀疏的軸向注意機制（axial attention mechanisms），從而更有效地使用計算，為視覺 Transformers 模型找到了更好的圖像標記方法，并通過與卷積神經(jīng)網(wǎng)絡(luò)相比，研究了視覺 Transformers 的操作方式，加深了我們對視覺 Transformers 方法的理解。將 Transformers 模型與卷積操作相結(jié)合，已在視覺和語音識別任務(wù)中展示出顯著的優(yōu)勢。
生成模型的輸出也在大幅提高。在過去幾年里取得了顯著的進步，尤其在圖像的生成模型中最為明顯。例如，最近的模型已經(jīng)證明了僅給定一個類別（如“irish setter”或“steetcar”）便可以創(chuàng)建逼真的圖像，可以“填充”一個低分辨率的圖像，以創(chuàng)建一個看起來十分自然的高分辨率匹配圖像，甚至可以構(gòu)建任意長度的自然場景。另一個例子是，可以將圖像轉(zhuǎn)換成一系列離散 tokens，然后使用自回歸生成模型以高保真度進行合成。
圖丨級聯(lián)擴散模型（cascade diffusion models）的例子，從一個給定的類別生成新的圖像，然后使用這些圖像作為種子來創(chuàng)建高分辨率的示例：第一個模型生成低分辨率圖像，其余的執(zhí)行向上采樣（upsampling）到最終的高分辨率圖像。

圖丨SR3 超分辨率擴散模型是以低分辨率圖像作為輸入，并從純噪聲中構(gòu)建相應(yīng)的高分辨率圖像。
鑒于這些強大的功能背后，潛藏著的是巨大的責(zé)任，所以我們不得不仔細審查，這類模型的潛在應(yīng)用是否違背我們的人工智能原則。
除了先進的單模態(tài)模型（single-modality models）外，大規(guī)模的多模態(tài)模型（multimodal models）也在陸續(xù)進入人們的視野。這些模型是迄今為止最前沿的模型，因為它們可以接受多種不同的輸入模式（例如，語言、圖像、語音、視頻），而且在某些情況下，還可以產(chǎn)生不同的輸出模式，例如，從描述性的句子或段落生成圖像，或用人類語言簡要描述圖像的視覺內(nèi)容。這是一個令人驚喜的研究方向，因為類似于現(xiàn)實世界，在多模態(tài)數(shù)據(jù)中更容易學(xué)習(xí)（例如，閱讀一些文章并看時輔以演示比僅僅閱讀有用得多）。因此，將圖像和文本配對可以幫助完成多種語言的檢索任務(wù)，并且更好地理解如何對文本和圖像輸入進行配對，可以對圖像字幕任務(wù)（image captioning tasks）帶來更好的改進效果。同樣，在視覺和文本數(shù)據(jù)上的聯(lián)合訓(xùn)練，也有助于提高視覺分類任務(wù)的準確性和魯棒性，而在圖像、視頻和音頻任務(wù)上的聯(lián)合訓(xùn)練則可以提高所有模式的泛化性能。還有一些誘人的跡象表明，自然語言可以作為圖像處理的輸入，告訴機器人如何與這個世界互動，以及控制其他軟件系統(tǒng)，這預(yù)示著用戶界面的開發(fā)方式可能會發(fā)生變化。這些模型處理的模式將包括語音、聲音、圖像、視頻和語言，甚至可能擴展到結(jié)構(gòu)化數(shù)據(jù)、知識圖和時間序列數(shù)據(jù)等等。

圖丨基于視覺的機器人操作系統(tǒng)的例子，能夠泛化到新的任務(wù)。左圖：機器人正在執(zhí)行一項用自然語言描述為“將葡萄放入陶瓷碗中”的任務(wù)，而不需要對模型進行特定的訓(xùn)練。右圖：和左圖一樣，但是有“把瓶子放在托盤里”的新的任務(wù)描述。
這些模型通常使用自監(jiān)督學(xué)習(xí)（Self-supervised learning）的訓(xùn)練，在這種方法中，模型從觀察到的“原始”數(shù)據(jù)中學(xué)習(xí)，而這些數(shù)據(jù)沒有被整理或標注。例如，GPT-3 和 GLaM 使用的語言模型，自監(jiān)督的語音模型 BigSSL，視覺對比學(xué)習(xí)模型 SimCLR，以及多模態(tài)對比模型 VATT。自監(jiān)督學(xué)習(xí)允許大型語音識別模型匹配之前的語音搜索中的自動語音識別技術(shù)（Automatic Speech Recognition）的基準精度，同時僅使用 3% 的標注訓(xùn)練數(shù)據(jù)。這些趨勢是令人興奮的，因為它們可以大大減少為特定任務(wù)啟用 ML 所需的努力。而且，它們使得在更有代表性的數(shù)據(jù)上訓(xùn)練模型變得更容易，這些數(shù)據(jù)可以更好地反映不同的亞種群、地區(qū)、語言或其他重要的表示維度。
所有這些趨勢都指向訓(xùn)練能夠處理多種數(shù)據(jù)模式并解決數(shù)千或數(shù)百萬任務(wù)的高能力通用模型的方向。通過構(gòu)建稀疏性模型，使得模型中唯一被給定任務(wù)激活的部分是那些針對其優(yōu)化過的部分，由此一來，這些多模態(tài)模型可以變得更加高效。在未來的幾年里，我們將在名為“Pathways”的下一代架構(gòu)和綜合努力中追求這一愿景。隨著我們把迄今為止的許多想法結(jié)合在一起，我們期望在這一領(lǐng)域看到實質(zhì)性的進展。

圖丨Parthway：我們正在朝著單一模型的描述而努力，它可以在數(shù)百萬個任務(wù)中進行泛化。
趨勢2：ML 的持續(xù)效率提高
由于計算機硬件設(shè)計、ML 算法和元學(xué)習(xí)（meta-learning）研究的進步，效率的提高正在推動 ML 模型向更強的能力發(fā)展。ML 管道的許多方面，從訓(xùn)練和執(zhí)行模型的硬件到 ML 體系結(jié)構(gòu)的各個組件，都可以在保持或提高整體性能的同時進行效率優(yōu)化。這些不同的線程中的每一個都可以通過顯著的乘法因子來提高效率，并且與幾年前相比，可以將計算成本降低幾個數(shù)量級。這種更高的效率使許多關(guān)鍵的進展得以實現(xiàn)，這些進展將繼續(xù)顯著地提高 ML 的效率，使更大、更高質(zhì)量的 ML 模型能夠以更有效的成本開發(fā)，并進一步普及訪問。我對這些研究方向感到非常興奮！
ML加速器性能的持續(xù)改進：

每一代ML加速器都在前幾代的基礎(chǔ)上進行了改進，使每個芯片的性能更快，并且通常會增加整個系統(tǒng)的規(guī)模。其中，擁有大量芯片的 pods，這些芯片通過高速網(wǎng)絡(luò)連接在一起，可以提高大型模型的效率。

當(dāng)然，移動設(shè)備上的 ML 能力也在顯著增加。Pixel 6 手機配備了全新的谷歌張量處理器（Google Tensor processor），集成了強大的ML加速器，以更好地支持重要的設(shè)備上功能。

我們使用 ML 來加速各種計算機芯片的設(shè)計（下面將詳細介紹），這也帶來了好處，特別是在生產(chǎn)更好的 ML 加速器方面。

持續(xù)改進的 ML 編譯和 ML 工作負載的優(yōu)化：

即使在硬件沒有變化的情況下，對于 ML 加速器的編譯器和系統(tǒng)軟件的其他優(yōu)化也可以顯著提高效率。例如，“自動調(diào)優(yōu)多通道機器學(xué)習(xí)編譯器的靈活方法”展示了如何使用 ML 來執(zhí)行編譯設(shè)置的自動調(diào)優(yōu)，從而在相同的底層硬件上為一套 ML 程序?qū)崿F(xiàn) 5-15%（有時高達 2.4 倍的改進）的全面性能改進。GSPMD 描述了一個基于 XLA 編譯器的自動并行化系統(tǒng)，該系統(tǒng)能夠擴展大多數(shù)深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)，超出加速器的內(nèi)存容量，并已應(yīng)用于許多大型模型，如 GShard-M4、LaMDA、BigSSL、ViT、MetNet-2 和 GLaM 等等，在多個領(lǐng)域上帶來了最先進的結(jié)果。

圖丨在 150 ML 模型上使用基于 ML 的編譯器自動調(diào)優(yōu)，可以加快端到端模型的速度。包括實現(xiàn) 5% 或更多改進比例的模型。條形顏色代表了優(yōu)化不同模型組件的相對改進程度。

人類創(chuàng)造力驅(qū)動的更高效模型架構(gòu)的發(fā)現(xiàn)：

模型體系結(jié)構(gòu)的不斷改進，大大減少了許多問題達到給定精度水平所需的計算量。例如，我們在 2017 年開發(fā)的 Transformer 結(jié)構(gòu)，能夠在幾個 NLP 任務(wù)和翻譯基準上提高技術(shù)水平。與此同時，可以使用比各種其他流行方法少 10 倍甚至百倍的計算來實現(xiàn)這些結(jié)果，例如作為 LSTMs 和其他循環(huán)架構(gòu)。類似地，視覺 Transformer 能夠在許多不同的圖像分類任務(wù)中顯示出改進的最新結(jié)果，盡管使用的計算量比卷積神經(jīng)網(wǎng)絡(luò)少 4 到 10 倍。

更高效模型架構(gòu)的機器驅(qū)動發(fā)現(xiàn)：

神經(jīng)體系結(jié)構(gòu)搜索（NAS, Neural Architecture Search）可以自動發(fā)現(xiàn)對于給定的問題域更有效、新穎的 ML 體系結(jié)構(gòu)。NAS 的主要優(yōu)勢是，它可以大大減少算法開發(fā)所需的工作量，因為 NAS 在每個搜索空間和問題域組合中只需要一次性的工作。此外，雖然最初執(zhí)行 NAS 的工作可能在計算上很昂貴，但由此產(chǎn)生的模型可以大大減少下游研究和生產(chǎn)環(huán)境中的計算，從而大大減少整體資源需求。例如，為了發(fā)現(xiàn)演化 Transformer（Evolved Transformer）而進行的一次性搜索只產(chǎn)生了 3.2 噸的 CO2e，但是生成了一個供 NLP 社區(qū)中的任何人使用的模型，該模型比普通的 Transformer 模型的效率高 15-20%。最近對 NAS 的使用發(fā)現(xiàn)了一種更高效的體系結(jié)構(gòu) Primer（開源），與普通的 Transformer 模型相比，它降低了4倍的訓(xùn)練成本。通過這種方式，NAS 搜索的發(fā)現(xiàn)成本通?？梢酝ㄟ^使用發(fā)現(xiàn)的更高效的模型體系結(jié)構(gòu)得到補償，即使它們只應(yīng)用于少數(shù)下游任務(wù)。

圖丨與普通的 Transformer 模型相比，NAS 發(fā)現(xiàn)的 Primer 架構(gòu)的效率是前者的4倍。這幅圖（紅色部分）顯示了 Primer 的兩個主要改進：深度卷積增加了注意力的多頭投影和 squared ReLU 的激活（藍色部分表示原始 Transformer）。

NAS 還被用于發(fā)現(xiàn)視覺領(lǐng)域中更有效的模型。EfficientNetV2 模型體系結(jié)構(gòu)是神經(jīng)體系結(jié)構(gòu)搜索的結(jié)果，該搜索聯(lián)合優(yōu)化了模型精度、模型大小和訓(xùn)練速度。在 ImageNet 基準測試中，EfficientNetV2 提高了 5 到 11 倍的訓(xùn)練速度，同時大大減少了先前最先進模型的尺寸。CoAtNet 模型架構(gòu)是通過一個架構(gòu)搜索創(chuàng)建的，該架構(gòu)搜索采用了視覺 Transformer 和卷積網(wǎng)絡(luò)的想法，以創(chuàng)建一個混合模型架構(gòu)，其訓(xùn)練速度比視覺 Transformer 快 4 倍，并取得了新的 ImageNet 技術(shù)水平。
圖丨與之前的 ImageNet 分類模型相比，EfficientNetV2 獲得了更好的訓(xùn)練效率。
搜索的廣泛應(yīng)用有助于改進 ML 模型體系結(jié)構(gòu)和算法，包括強化學(xué)習(xí)（RL，Reinforcement Learning）和進化技術(shù)（evolutionary techniques）的使用，激勵了其他研究人員將這種方法應(yīng)用到不同的領(lǐng)域。為了幫助其他人創(chuàng)建他們自己的模型搜索，我們有一個開源的模型搜索平臺，可以幫助他們探索發(fā)現(xiàn)其感興趣的領(lǐng)域的模型搜索。除了模型架構(gòu)之外，自動搜索還可以用于發(fā)現(xiàn)新的、更有效的強化學(xué)習(xí)算法，這是在早期 AutoML-Zero 工作的基礎(chǔ)上進行的，該工作演示了自動化監(jiān)督學(xué)習(xí)算法發(fā)現(xiàn)的方法。

稀疏的使用：

稀疏性是算法的另一個重要的進步，它可以極大地提高效率。稀疏性是指模型具有非常大的容量，但對于給定的任務(wù)、示例或 token，僅激活模型的某些部分。2017 年，我們推出了稀疏門控專家混合層（Sparsely-Gated Mixture-of-Experts Layer），在各種翻譯基準上展示了更好的性能，同時在計算量上也保持著一定的優(yōu)勢，比先前最先進的密集 LSTM 模型少 10 倍。最近，Switch Transformer 將專家混合風(fēng)格的架構(gòu)與 Transformer 模型架構(gòu)結(jié)合在一起，在訓(xùn)練時間和效率方面比密集的 T5-Base Transformer 模型提高了 7 倍。GLaM 模型表明，Transformer 和混合專家風(fēng)格的層可以組合在一起，可以產(chǎn)生一個新的模型。該模型在 29 個基準線上平均超過 GPT-3 模型的精度，使用的訓(xùn)練能量減少 3 倍，推理計算減少 2 倍。稀疏性的概念也可以用于降低核心 Transformer 架構(gòu)中注意力機制的成本。

圖丨BigBird 稀疏注意模型由全局 tokens（用于處理輸入序列的所有部分）、局部 tokens（用于處理輸入序列的所有部分）和一組隨機 tokens 組成。從理論上看，這可以解釋為在 Watts-Strogatz 圖上添加了一些全局 tokens。

就計算效率而言，在模型中使用稀疏性顯然是一種具有很高潛在收益的方法，而就在這個方向上進行嘗試的研究想法而言，我們只是觸及了表面。
這些提高效率的方法中的每一種都可以結(jié)合在一起，這樣，與美國平均使用 P100 GPUs 訓(xùn)練的基線 Transformer 模型相比，目前在高效數(shù)據(jù)中心訓(xùn)練的等效精度語言模型的能源效率提高了 100 倍，產(chǎn)生的 CO2e 排放量減少了 650 倍。這甚至還沒有考慮到谷歌的碳中和（carbon neutral），100% 的可再生能源抵消。

隨著 ML 和硅硬件（如 Pixel 6 上的 Google Tensor 處理器）的創(chuàng)新，許多新體驗成為可能，移動設(shè)備能夠更持續(xù)有效地感知上下文和環(huán)境。這些進步提高了設(shè)備的可訪問性和易用性，同時計算能力也有提升，這對于移動攝影、實時翻譯等流行功能至關(guān)重要。值得注意的是，最近的技術(shù)進步還為用戶提供了更加個性化的體驗，同時加強了隱私保護。
人們比以往任何時候都依賴他們的手機攝像頭來記錄日常生活和創(chuàng)作靈感。機器學(xué)習(xí)在計算攝影中的巧妙應(yīng)用提升了手機相機的功能，使它們更易于使用，產(chǎn)生了更高質(zhì)量的圖像。一些先進的技術(shù)，如改進的 HDR+，在弱光下的拍攝能力，更好的人像處理功能，及更大的包容性使得手機攝像可以更真實地反映拍攝對象。Google Photos 中基于機器學(xué)習(xí)的強大工具如 Magic Eraser 等還能進一步優(yōu)化照片。


除了用手機進行創(chuàng)造外，許多人還依賴手機與他人實時跨語言溝通，例如在打電話時使用 Live Translate 和 Live Caption。由于自我監(jiān)督學(xué)習(xí)（self-supervised learning）和有噪音的學(xué)生訓(xùn)練（noisy student training）等技術(shù)，語音識別準確率持續(xù)改善。對有口音的語音、嘈雜的語音或重疊語音等有明顯的改善。在文本到語音合成的進步基礎(chǔ)上，人們可以使用谷歌朗讀技術(shù) Read Aloud 在越來越多的平臺上收聽網(wǎng)頁和文章，使獲取信息更加便宜，跨越了模態(tài)和語言的障礙。通過穩(wěn)定生成的即時翻譯，谷歌翻譯（Google Translate）的實時語音翻譯水平顯著改善。高質(zhì)量的語音翻譯在多語言交流時提供了更好的用戶體驗。在 Lyra 語音編****和 Soundstream 音頻編****中，機器學(xué)習(xí)與傳統(tǒng)編****方法相結(jié)合使語音、音樂和其他聲音能夠以低得多的比特率保真地傳送。


智能文本選擇（Smart Text Selection）等工具得到了改進，它可以自動選擇電話號碼或地址等信息，以便復(fù)制和粘貼。此外，Screen Attention 可以防止手機屏幕變暗，凝視識別技術(shù)有所的改進。機器學(xué)習(xí)還讓人們的生活更加安全。例如， Suspicious Message Alerts 對可能的網(wǎng)絡(luò)釣魚攻擊提出預(yù)警，Safer Routing 提出更加安全的替代路線。

考慮到這些功能使用數(shù)據(jù)的敏感性，把它們默認設(shè)置為不共享是很重要的。以上提到的許多功能都在 Android的Private Compute Core 中運行。這是一個開源的、安全的環(huán)境，與操作系統(tǒng)的其余部分隔離開。Android 確保未經(jīng)用戶同意，不會將在 Private Compute Core 中的數(shù)據(jù)共享給任何應(yīng)用程序。Android 還阻止 Private Compute Core 的任何功能直接訪問網(wǎng)絡(luò)。功能通過一小部分開源 API 與 Private Compute Services 進行通信，這樣就能剔除身份敏感信息并使用聯(lián)邦學(xué)習(xí)、聯(lián)邦分析和私人信息檢索等功能保護隱私。 

這些技術(shù)對于發(fā)展下一代計算和交互范例至關(guān)重要，個人或公共設(shè)備需要在不損害隱私的情況下學(xué)習(xí)并幫助訓(xùn)練（算法）模型。聯(lián)邦的無人監(jiān)督學(xué)習(xí)方法，可以創(chuàng)造出越來越智能的系統(tǒng)。這些系統(tǒng)的交互更加直觀，更像是一個社交實體，而不是一臺機器。只有對我們的技術(shù)進行深刻變革，才有可能廣泛而公平地擁有這些智能系統(tǒng)，讓它們支持神經(jīng)計算。

近年來，我們看到機器學(xué)習(xí)在物理、生物等基礎(chǔ)科學(xué)科的影響越來越大，在可再生能源和醫(yī)學(xué)等領(lǐng)域也有許多令人興奮的應(yīng)用。計算機視覺模型對個人和全球問題都有所功效。它們可以幫助醫(yī)生進行工作，擴大我們對神經(jīng)生理學(xué)的理解，還可以提供更好的天氣預(yù)報，加快救災(zāi)工作。其他類型的機器學(xué)習(xí)模型能發(fā)現(xiàn)減少碳排放和提高替代能源產(chǎn)量的方法，在應(yīng)對氣候變化方面至關(guān)重要。這樣的模型甚至可以作為藝術(shù)家的創(chuàng)作工具！隨著機器學(xué)習(xí)變得更加強?。敯簦┖屯晟?，它在的應(yīng)用潛力繼續(xù)擴大，有助于解決我們面臨的一些最具挑戰(zhàn)性的問題。

計算機視覺提供新的洞察力：

在過去的十年里，計算機視覺的進步使計算機能夠完成不同科學(xué)領(lǐng)域的各種任務(wù)。在神經(jīng)科學(xué)中，自動重建技術(shù)可以從腦組織薄片的高分辨率電子顯微鏡圖像中重現(xiàn)腦組織的神經(jīng)連接結(jié)構(gòu)。前些年，谷歌為研究果蠅、老鼠的大腦創(chuàng)造了這樣的資源，去年，我們與哈佛大學(xué)的利希特曼實驗室（Lichtman Lab）合作，進行了第一次大規(guī)模的人類皮質(zhì)突觸連接研究。該研究跨越了所有皮層的多個細胞類型。這項工作的目標是幫助神經(jīng)科學(xué)家研究令人驚嘆的人類大腦。例如，下圖顯示了成人大腦中約 860 億個神經(jīng)元中的 6 個。

計算機視覺技術(shù)還提供了強大的工具來應(yīng)對全球挑戰(zhàn)?；谏疃葘W(xué)習(xí)的天氣預(yù)報方法用衛(wèi)星和雷達圖像作為輸入，結(jié)合其他大氣數(shù)據(jù)，產(chǎn)生比傳統(tǒng)的基于物理的模型更準確的天氣和降水預(yù)報，預(yù)報時間長達 12 小時。它們還可以比傳統(tǒng)方法更快地產(chǎn)生更新的預(yù)報，這在極端天氣時期可能是至關(guān)重要的。


擁有準確的建筑足跡記錄對于從人口估計和城市規(guī)劃到人道主義響應(yīng)和環(huán)境科學(xué)的一系列應(yīng)用都是至關(guān)重要的。在世界上的許多地方，包括非洲的大部分地區(qū)，這一信息以前是無法獲得的，但新的研究表明，將計算機視覺技術(shù)應(yīng)用于衛(wèi)星圖像可以幫助識別大陸范圍內(nèi)的建筑邊界。這一方法的結(jié)果已在開放建筑數(shù)據(jù)集中發(fā)布，這是一種新的開放獲取的數(shù)據(jù)資源，其中包含 5.16 億座覆蓋非洲大陸大部分地區(qū)的建筑的位置和占地面積。我們還能夠在與世界糧食計劃署的合作中使用這一獨特的數(shù)據(jù)集，通過 ML 的應(yīng)用提供自然災(zāi)害后的快速損失評估。


在健康領(lǐng)域的應(yīng)用：

除了推進基礎(chǔ)科學(xué)，人工智能還可以在更廣泛的范圍內(nèi)為醫(yī)學(xué)和人類健康做出貢獻。在健康領(lǐng)域利用計算機科學(xué)并不是什么新鮮事。但機器學(xué)習(xí)打開了新的大門，帶來了新的機遇和挑戰(zhàn)。

以基因組學(xué)領(lǐng)域為例。計算機從一開始就對基因組學(xué)很重要，但是機器學(xué)習(xí)增加了新的功能并顛覆了舊的模式。當(dāng)谷歌的研究人員探索這一領(lǐng)域的工作時，許多專家認為利用深度學(xué)習(xí)來推斷基因變異的想法是牽強的。如今，這種機器方法被認為是最先進的。谷歌發(fā)布的開源軟件 DeepConsensus 以及與加州大學(xué)洛杉磯分校（UCSC）合作的 Pepper-DeepVariant 提供了尖端的信息學(xué)支持。我們希望更多的快速測序可以在近期進入實際應(yīng)用領(lǐng)域，并對患者產(chǎn)生實際影響。

以基因組學(xué)領(lǐng)域為例。計算技術(shù)一直對基因組學(xué)非常重要，但機器學(xué)習(xí)方法改變了之前的舊模式，并增添了新的功能。最初，谷歌的研究人員使用機器學(xué)習(xí)在該領(lǐng)域展開研究時，許多專家認為使用深度學(xué)習(xí)技術(shù)從測序儀中推斷是否存在基因變異的想法是不可行的。但如今，機器學(xué)習(xí)是最先進的研究方法。并且未來機器學(xué)習(xí)將扮演更重要的角色，比如基因組學(xué)公司正在開發(fā)更精確、更快的新測序儀，它需要匹配更好的推理能力。我們也發(fā)布了 DeepConsensus 開源軟件，以及與 UCSC 合作的 PEPPER-DeepVariant，為這些新儀器提供最前沿的信息學(xué)支持。我們希望這些性能更強的測序儀可以盡快應(yīng)用在實際患者中并產(chǎn)生有益影響。
圖丨DeepConsensus 中的 Transformer 結(jié)構(gòu)示意圖，它可以糾正測序錯誤，提高準確率。
機器學(xué)習(xí)也可以在處理測序數(shù)據(jù)之外起作用，比如使用機器學(xué)習(xí)加速個性化健康的基因組信息建設(shè)。廣泛表型和測序個體的大型生物樣本庫的建立，可以徹底改變我們理解和管理疾病遺傳易感性的方式。基于機器學(xué)習(xí)的表型方法可以提高將大型圖像和文本數(shù)據(jù)集轉(zhuǎn)換為可用于遺傳相關(guān)研究表型的可擴展性，并且 DeepNull 也可以利用大型表型數(shù)據(jù)進行遺傳研究。我們也很高興將這兩種開源方法公布給科學(xué)界。
圖丨根據(jù)生物樣本庫中的基因組數(shù)據(jù)，生成的解剖學(xué)和疾病性狀的大規(guī)模量化過程。
正如機器學(xué)習(xí)可以幫助我們看到基因組數(shù)據(jù)中的隱藏特征一樣，它也可以幫助我們從其他健康數(shù)據(jù)類型中發(fā)現(xiàn)并收集新信息。疾病的診斷通常包括模式識別、關(guān)系量化和在大量類別中識別出新實例等任務(wù)，而這些都是機器學(xué)習(xí)擅長的。谷歌的研究人員已經(jīng)使用機器學(xué)習(xí)來解決各種各樣的問題，但也許沒有一個問題比它在醫(yī)學(xué)成像中的應(yīng)用有更大進展。

谷歌在 2016 年發(fā)表了一篇關(guān)于深度學(xué)習(xí)在糖尿病視網(wǎng)膜病變篩查中應(yīng)用的論文，被《美國醫(yī)學(xué)會雜志》（JAMA）的編輯選為十年來最具影響力的十大論文之一。這意味著它不僅在機器學(xué)習(xí)和健康方面具有廣泛影響力，并且也是十年來最具影響的 JAMA 論文之一。而且我們的研究影響并不僅限于對論文，而是擴展到現(xiàn)實世界中建立系統(tǒng)的能力。通過我們的全球合作伙伴網(wǎng)絡(luò)，該項目已經(jīng)幫助印度、泰國、德國和法國的數(shù)萬名患者進行疾病篩查，否則他們自己可能沒有能力接受這種威脅視力疾病的檢測。

我們希望看到更多機器學(xué)習(xí)輔助系統(tǒng)的部署，以應(yīng)用到改善乳腺癌篩查、檢測肺癌、加速癌癥放射治療、標記異常x光和對前列腺癌活檢分級上。機器學(xué)習(xí)為每個領(lǐng)域都提供了新的幫助。比如機器學(xué)習(xí)輔助的結(jié)腸鏡檢查，就是一個超越了原有基礎(chǔ)的例子。結(jié)腸鏡檢查不僅僅只是診斷結(jié)腸癌，還可以在手術(shù)過程中切除息肉，是阻止疾病發(fā)展和預(yù)防嚴重疾病的前沿陣地。在該領(lǐng)域中，我們已經(jīng)證明機器學(xué)習(xí)可以幫助確保醫(yī)生不遺漏息肉，幫助檢測難以發(fā)現(xiàn)的息肉，還可以增加維度來提高準確度，例如應(yīng)用同步定位和繪圖技術(shù)。在與耶路撒冷 Shaare Zedek Medical Center 醫(yī)療中心的合作中，實驗證明這些系統(tǒng)可以實時工作，平均每次手術(shù)可以檢測到一個可能會漏檢的息肉，而且每次手術(shù)的錯誤警報少于 4 次。

圖丨對（A）一般異常、（B）結(jié)核病和（C）COVID-19 的真陽性、假陽性以及真陰性、假陰性的胸部 X 光片（CXR）進行采樣。在每張 CXR 中，紅色的輪廓表示模型識別時關(guān)注的區(qū)域（即類激活圖），黃色的輪廓表示由放射科醫(yī)生認定的感興趣區(qū)域。

Care Studio 是另一個有潛力的醫(yī)療保健計劃，它使用最先進的機器學(xué)習(xí)和 NLP 技術(shù)來分析結(jié)構(gòu)化數(shù)據(jù)和醫(yī)療記錄，并在正確的時間為臨床醫(yī)生提供相關(guān)信息，幫助他們提供更積極和準確的治療。

盡管機器學(xué)習(xí)可能對擴大訪問量和提高臨床準確性很重要，但我們發(fā)現(xiàn)有新的趨勢正在出現(xiàn)：使用機器學(xué)習(xí)幫助人們的日常健康和幸福。我們?nèi)粘Ｊ褂玫脑O(shè)備都部署有強大的傳感器，可以幫助人們普及健康指標和信息，使人們可以對自己的健康做出更明智的決定。目前已經(jīng)有了可以評估心率和呼吸頻率的智能手機攝像頭，并且無需額外的硬件設(shè)備。Nest Hub 設(shè)備可以支持非接觸式睡眠感知，讓用戶更好地了解自己的夜間健康狀況。我們可以在自己的 ASR 系統(tǒng)中顯著提高無序語音識別的質(zhì)量，也可以使用機器學(xué)習(xí)幫助有語音障礙的人重塑聲音，使他們能夠用自己的聲音交流。也許，使用機器學(xué)習(xí)讓智能手機幫助人們更好地研究皮膚病狀況，或者幫助視力有限的人慢跑，并不是遙不可及的：這些機遇證明未來是光明的。

用于非接觸式睡眠感知的自定義機器學(xué)習(xí)模型可以有效地處理連續(xù)的3維雷達張量（匯總了一定距離、頻率和時間范圍內(nèi)的活動），從而自動計算出用戶清醒或睡著的可能性。

機器學(xué)習(xí)在氣候危機中的應(yīng)用：

氣候變化也是一個至關(guān)重要的領(lǐng)域，對人類來說具有非常緊迫的威脅。我們需要共同努力來扭轉(zhuǎn)有害排放的趨勢，以確保未來的安全和繁榮。而更好地了解不同選擇對氣候的影響，可以幫助我們用多種方式應(yīng)對這一挑戰(zhàn)。

為此，我們在谷歌地圖中推出了環(huán)保路線，預(yù)計該方法可以每年節(jié)省約 100 萬噸二氧化碳排放（相當(dāng)于在道路上減少 20 多萬輛汽車）。最近的實驗研究表明，在美國鹽湖城使用谷歌地圖導(dǎo)航可以實現(xiàn)更快、更環(huán)保的路線，節(jié)省了 1.7% 的二氧化碳排放量和 6.5% 的旅行時間。此外，還可以讓地圖軟件更好地適應(yīng)電動汽車，幫助緩解里程焦慮，鼓勵人們使用無排放的交通工具。我們還與世界各地的城市進行合作，利用匯總的歷史交通數(shù)據(jù)，幫助改善交通燈計時設(shè)置。在以色列和巴西進行的一項早期試點研究顯示，有檢查十字路口的燃油消耗和延誤時間減少了 10-20%。

圖丨采用谷歌地圖的環(huán)保路線，將會展示最快和最省油的路線，所以你可以選擇任意一條適合你的路線。

從長遠來看，核聚變有望成為一種改變世界方式的可再生能源。在與 TAE Technologies 的長期合作中，我們通過設(shè)置 1000 多個相關(guān)控制參數(shù)，使用機器學(xué)習(xí)來幫助聚變反應(yīng)堆保持穩(wěn)定的等離子體。通過我們的合作，TAE 實現(xiàn)了 Norman 反應(yīng)堆的主要目標，這離我們實現(xiàn)平衡的核聚變又近了一步。這臺機器能在 3000 萬開爾文的溫度下保持穩(wěn)定的等離子體 30 毫秒，這是系統(tǒng)可用功率范圍的極限。目前他們已經(jīng)設(shè)計完成了一個更強大的核聚變機器，并希望該機器能在十年內(nèi)展示出實現(xiàn)核聚變平衡的必要條件。
并且，我們還得努力應(yīng)對越來越常見的火災(zāi)和洪水（像數(shù)百萬加州人一樣不得不適應(yīng)定期的“火災(zāi)季節(jié)”）。去年，我們發(fā)布了一份由衛(wèi)星數(shù)據(jù)支持的火災(zāi)邊界地圖，幫助美國人輕松地在自己設(shè)備上了解火災(zāi)的大致規(guī)模和位置。我們還將谷歌上所有的火災(zāi)信息進行整合，并在全球范圍內(nèi)進行推出。我們也一直在應(yīng)用圖形優(yōu)化算法來幫助優(yōu)化火災(zāi)疏散路線，以幫助人們安全逃離快速推進的火災(zāi)。2021 年，我們的洪水預(yù)報計劃的預(yù)警系統(tǒng)覆蓋范圍擴大到 3.6 億人，是前一年的三倍以上，并向面臨洪災(zāi)風(fēng)險人群的移動設(shè)備直接發(fā)送了 1.15 億多條通知。我們還首次在現(xiàn)實世界系統(tǒng)中部署了基于 LSTM（長短時記憶網(wǎng)絡(luò)）的預(yù)測模型和 Manifold 模型，并分享了系統(tǒng)中所有組件的詳細信息。

圖丨谷歌地圖中的火災(zāi)圖在緊急情況下為人們提供關(guān)鍵信息。
我們也在努力完善可持續(xù)發(fā)展計劃。谷歌在 2007 年成為第一家實現(xiàn)碳中和的大型公司，也在 2017 年成為第一家使用 100% 可再生能源的公司。我們運營著行業(yè)中最清潔的全球云，也是世界上最大的可再生能源企業(yè)采購商。在 2020 年，我們成為第一家承諾在全球所有數(shù)據(jù)中心和校園中全天候運行無碳能源的大型公司。這比將能源使用與可再生能源相匹配的傳統(tǒng)方法更具挑戰(zhàn)性，但我們希望能在 2030 年前完成這一目標。目前，機器學(xué)習(xí)模型訓(xùn)練的碳排放是該領(lǐng)域關(guān)注的主要問題，而在模型架構(gòu)、數(shù)據(jù)中心和機器學(xué)習(xí)加速器方面做出正確的選擇，可以減少約 100-1000 倍的碳足跡訓(xùn)練量。

隨著機器學(xué)習(xí)在技術(shù)產(chǎn)品和社會中的應(yīng)用越來越廣泛，為了確保它被公平和公正地應(yīng)用，我們必須繼續(xù)開發(fā)新技術(shù)，以確保它惠及更多人。這是我們“負責(zé)任人工智能和以人為本技術(shù)”（Responsible AI and Human-Centered Technology）研究小組的主要研究重點，也是我們對各種責(zé)任相關(guān)主題進行研究的領(lǐng)域。

基于用戶在線產(chǎn)品活動的推薦系統(tǒng)是研究的重點領(lǐng)域。由于這些推薦系統(tǒng)通常由多個不同部分組成，理解它們的公平性往往需要深入了解單個部分以及各個部分組合在一起時的行為。最近的研究工作揭示了提高單個部分和整個推薦系統(tǒng)的公平性的方法，有助于更好地理解這些關(guān)系。此外，當(dāng)從用戶的隱藏活動中學(xué)習(xí)時，推薦系統(tǒng)以一種無偏差的方式進行學(xué)習(xí)。因為從以前用戶所展示的項目中直接學(xué)習(xí)的方法中會表現(xiàn)出很明顯的偏差。并且如果不對這種偏差進行糾正，推薦產(chǎn)品被展示的位置越顯眼，它們就越容易被頻繁推薦給未來的用戶。

與推薦系統(tǒng)一樣，上下文環(huán)境在機器翻譯中也很重要。因為大多數(shù)機器翻譯系統(tǒng)都是獨立地翻譯單個句子，并沒有額外的上下文環(huán)境。在這種情況下，它們往往會加強與性別、年齡或其他領(lǐng)域有關(guān)的偏見。為此，我們長期以來一直在研究如何減少翻譯系統(tǒng)中的性別偏見。為了幫助翻譯界研究，去年我們基于維基百科傳記的翻譯來研究翻譯中的性別偏見，并發(fā)布了一個數(shù)據(jù)集。

部署機器學(xué)習(xí)模型的另一個常見問題是分布轉(zhuǎn)移：如果訓(xùn)練模型的數(shù)據(jù)統(tǒng)計分布與輸入模型的數(shù)據(jù)統(tǒng)計分布不一致，那么有時模型的行為是不可預(yù)測的。最近的研究中，我們使用 Deep Bootstrap 框架來比較現(xiàn)實世界和“理想世界”（ideal world）的區(qū)別，前者的訓(xùn)練數(shù)據(jù)是有限的，而后者擁有無限的數(shù)據(jù)。更好地理解模型在這兩種情況下（真實與理想）的行為，可以幫助我們開發(fā)出更適用于新環(huán)境的模型，并減少在固定訓(xùn)練數(shù)據(jù)集上的偏差。

盡管人們對機器學(xué)習(xí)算法和模型開發(fā)的工作有極大的關(guān)注，但研究者們對于數(shù)據(jù)收集和數(shù)據(jù)集的管理往往關(guān)注較少，但這些研究也非常重要，因為機器學(xué)習(xí)模型所訓(xùn)練的數(shù)據(jù)可能是下游應(yīng)用中出現(xiàn)偏見和公平性問題的潛在原因。分析機器學(xué)習(xí)中的數(shù)據(jù)級聯(lián)可以幫助我們識別機器學(xué)習(xí)項目生命周期中，可能對結(jié)果產(chǎn)生重大影響的環(huán)節(jié)。這項關(guān)于數(shù)據(jù)級聯(lián)的研究已經(jīng)在修訂后的 PAIR 指南中為數(shù)據(jù)收集和評估提供了證據(jù)支持，該指南主要面向的是機器學(xué)習(xí)的開發(fā)人員和設(shè)計人員。

圖丨不同顏色的箭頭表示各種類型的數(shù)據(jù)級聯(lián)，每個級聯(lián)通常起源于上游部分，在機器學(xué)習(xí)開發(fā)過程中復(fù)合，并體現(xiàn)在下游部分。

更好地理解數(shù)據(jù)是機器學(xué)習(xí)研究的一個重要部分。我們對一些方法進行研究，來更好地理解特定的訓(xùn)練實例對機器學(xué)習(xí)模型的影響，這可以幫助我們發(fā)現(xiàn)和調(diào)查異常數(shù)據(jù)，因為錯誤標記的數(shù)據(jù)或其他類似的問題可能會對整個模型行為產(chǎn)生巨大的影響。同時，我們還建立了“了解你的數(shù)據(jù)”（Know Your Data）工具，以幫助機器學(xué)習(xí)研究人員和從業(yè)人員更好地了解數(shù)據(jù)集的屬性。去年，我們還進行了案例研究，教你如何使用“了解你的數(shù)據(jù)”工具來探索數(shù)據(jù)集中的性別偏見和年齡偏見等問題。

圖丨“了解你的數(shù)據(jù)”截圖顯示了描述吸引力和性別詞匯之間的關(guān)系。例如，“有吸引力的”和“男性/男人/男孩”同時出現(xiàn) 12 次，但我們預(yù)計偶然出現(xiàn)的次數(shù)約為 60 次（比例為 0.2 倍）。另一方面，“有吸引力的”和“女性/女人/女孩”同時出現(xiàn)的概率是 2.62 倍，超過預(yù)計偶然出現(xiàn)的情況。

因為動態(tài)使用基準測試數(shù)據(jù)集在機器學(xué)習(xí)作領(lǐng)域中扮演著核心角色，了解它也很重要。盡管對單個數(shù)據(jù)集的研究已經(jīng)變得越來越普遍，但對整個領(lǐng)域的動態(tài)使用數(shù)據(jù)集的研究仍然沒有得到充分探索。在最近的研究工作中，我們第一個發(fā)表了關(guān)于動態(tài)的數(shù)據(jù)集創(chuàng)建、采用和重用的大規(guī)模經(jīng)驗性分析。這項研究工作為實現(xiàn)更嚴格的評估，以及更公平和社會化的研究提供了見解。

對每個人來說，創(chuàng)建更具包容性和更少偏見的公共數(shù)據(jù)集是幫助改善機器學(xué)習(xí)領(lǐng)域的一個重要方法。2016 年，我們發(fā)布了開放圖像（Open Images）數(shù)據(jù)集，它包含了約 900 萬張圖片，這些圖片用圖像標簽標注，涵蓋了數(shù)千個對象類別和 600 類的邊界框標注。

去年，我們在開放圖像擴展（Open Images Extended）集合中引入了包容性人物標注（MIAP）數(shù)據(jù)集。該集合包含更完整人類層次結(jié)構(gòu)的邊界框標注，每個標注都帶有與公平性相關(guān)的屬性，包括感知的性別和年齡范圍。隨著人們越來越致力于減少不公平的偏見，作為負責(zé)任的人工智能（Responsible AI）研究的一部分，我們希望這些標注能夠鼓勵已經(jīng)使用開放圖像數(shù)據(jù)集的研究人員在他們的研究中納入公平性分析。

我們的團隊并不是唯一一個創(chuàng)建數(shù)據(jù)集來改善機器學(xué)習(xí)效果的團隊，我們還創(chuàng)建了“數(shù)據(jù)集搜索”（Dataset Search）方法，使得無論來自哪里的用戶都可以在我們的幫助下發(fā)現(xiàn)新的和有用的數(shù)據(jù)集。

谷歌非常重視應(yīng)對網(wǎng)絡(luò)暴力問題，包括使用極端語言，發(fā)表仇恨言論和散播虛假信息等。能夠可靠、高效和大規(guī)模地檢測到這些行為，對于確保平臺安全至關(guān)重要，同時也能避免機器學(xué)習(xí)通過無監(jiān)督學(xué)習(xí)的方式從網(wǎng)絡(luò)上大量復(fù)制這些負面信息。在這方面，谷歌開創(chuàng)了領(lǐng)先的 Perspective API 工具。但是如何在大規(guī)模場景中精準地檢測出有害信息仍然是一個復(fù)雜的問題。在最近，我們與不同的學(xué)術(shù)伙伴合作，引入了一個全面的分類法來應(yīng)對不斷變化的網(wǎng)絡(luò)仇恨和網(wǎng)絡(luò)騷擾情況。谷歌還對如何發(fā)現(xiàn)隱蔽性網(wǎng)絡(luò)暴力，如微歧視進行了研究。通常，微歧視在網(wǎng)絡(luò)暴力的問題中容易被忽視。我們發(fā)現(xiàn)，對微歧視這種主觀概念進行數(shù)據(jù)注釋的傳統(tǒng)方法很可能將少數(shù)族裔邊緣化。因此谷歌提出用多任務(wù)框架來解決問題的新的分類建模方法。此外，谷歌的 Jigsaw 團隊與喬治華盛頓大學(xué)（George Washington University）的研究人員合作，通過定性研究和網(wǎng)絡(luò)層面的內(nèi)容分析，研究了極端的仇恨群體如何在社交媒體平臺上散播虛假信息。

另一個潛在的問題是，機器學(xué)習(xí)算法生成的模型有時會產(chǎn)生缺乏證據(jù)支持的結(jié)果。為了在問題回答、總結(jié)和對話中解決這一問題，谷歌開發(fā)了一個新的框架來衡量算法結(jié)果是否可以歸因于特定的來源。我們發(fā)布了注釋指南，并證明可以使用這項可靠的技術(shù)來對候選模型進行評估。

模型的交互式分析和調(diào)試仍然是負責(zé)任地使用機器學(xué)習(xí)語言的關(guān)鍵。谷歌對 Language Interpretability Tool 的技術(shù)和功能進行了更新。更新包括對圖像和表格數(shù)據(jù)的支持，從 What-If Tool 中繼承下來的各種功能，以及 Testing with Concept Activation Vectors 技術(shù)對公平性分析的內(nèi)置支持。機器學(xué)習(xí)系統(tǒng)的可解釋性也是谷歌提出的“負責(zé)任的 AI 愿景”（Responsible AI vision）的關(guān)鍵部分。在與 DeepMind 的合作下，谷歌開始了解自我訓(xùn)練的AlphaZero國際象棋系統(tǒng)是如何獲取人類的象棋概念的。

谷歌還在努力拓寬“負責(zé)任的人工智能”的視角和格局，使其超越西方的局限。一項最近的研究提出在非西方背景下，基于西方機構(gòu)和基建的算法公平概念并不適用。研究為印度的算法公平研究提供了新方向和新途徑。谷歌正在幾大洲積極開展調(diào)查，以更好地了解人們對人工智能的看法和偏好。西方視角下的算法公平研究傾向于只關(guān)注少數(shù)幾個問題，因此導(dǎo)致很多非西方背景下的算法偏見問題被忽略。為了解決這一差距，我們與密歇根大學(xué)（University Of Michigan）合作，開發(fā)了一種弱監(jiān)督薄的自然語言處理（NLP）模型，以便在更廣泛的地理文化語境中檢測出語言偏見，反映人類在不同的地理環(huán)境中對攻擊性和非攻擊性語言的判斷。

此外，谷歌還探索了機器學(xué)習(xí)在發(fā)展中國家的應(yīng)用，包括開發(fā)一個以農(nóng)民為中心的機器學(xué)習(xí)研究方案。通過這項工作，我們希望鼓勵人工智能領(lǐng)域更多思考如何將機器學(xué)習(xí)支持的解決方案帶給千萬小農(nóng)戶，以改善他們的生活和社區(qū)。

讓整個社會的利益相關(guān)方參與到機器學(xué)習(xí)研發(fā)部署的各階段是谷歌正在努力的方向，這讓谷歌牢記什么才是最需要解決的問題。本著這一原則，我們和非營利組織負責(zé)人、政府和非政府組織代表以及其他專家之間舉行了健康公平研究峰會（Health Equity Research Summit），討論如何將更多的公平帶入整個機器學(xué)習(xí)的生態(tài)系統(tǒng)，使公平原則從最初的解決問題貫穿到結(jié)果評估的最后一步。

從社會出發(fā)的研究方法讓谷歌在機器學(xué)習(xí)的系統(tǒng)中就思考數(shù)字福利和種族平等問題。谷歌希望更多了解非洲裔美國人對 ASR 系統(tǒng)的體驗。谷歌也在更廣泛地聽取公眾的意見，以了解機器學(xué)習(xí)如何在重大生活事件中提供幫助，例如提供家庭照顧。

隨著機器學(xué)習(xí)能力的提高和在許多領(lǐng)域的影響，機器學(xué)習(xí)中的隱私保護是一個研究重點。沿著這個思路，我們力求解決大型模型中的隱私問題。谷歌既強調(diào)訓(xùn)練數(shù)據(jù)可以從大型模型中提取，也指出了如何在大型模型（例如 BERT）中實現(xiàn)隱私保護。除了上面提到的聯(lián)邦學(xué)習(xí)和分析技術(shù)，我們還一直在使用其他原則性和實用性的機器學(xué)習(xí)技術(shù)來保護隱私。例如私有聚類、私有個性化、私有矩陣補全、私有加權(quán)采樣、私有分位數(shù)、半空間的私有穩(wěn)健學(xué)習(xí)，以及私有 PAC 學(xué)習(xí)。此外，我們一直在擴展可針對不同應(yīng)用和威脅模型定制的隱私概念，包括標簽隱私和用戶與項目級別隱私。

數(shù)據(jù)集：
谷歌認識到開放數(shù)據(jù)集對機器學(xué)習(xí)和相關(guān)研究領(lǐng)域的普遍價值，我們繼續(xù)擴大我們的開源數(shù)據(jù)集和資源，并在 Google DataSet Search 中增加了開放數(shù)據(jù)集的全球索引。今年，我們發(fā)布了一系列各個研究領(lǐng)域的數(shù)據(jù)集和工具：


總結(jié)

學(xué)術(shù)研究往往要經(jīng)歷多年才能在現(xiàn)實世界產(chǎn)生影響。人工智能領(lǐng)域先驅(qū)的工作現(xiàn)在對現(xiàn)在的谷歌產(chǎn)品和全世界都產(chǎn)生了戲劇性的影響。對 TPU 等機器學(xué)習(xí)加速器和 TensorFlow、JAX 等軟件的開發(fā)經(jīng)取得了豐碩成果。谷歌在自己的產(chǎn)品中正越來越多地使用機器學(xué)習(xí)模型，因為它功能強大，在性能關(guān)鍵型的實驗和生產(chǎn)中表現(xiàn)優(yōu)異。在創(chuàng)建 Seq2Seq、Inception、EfficientNet 和 Transformer 等模型的過程中對模型結(jié)構(gòu)的研究正在推動語言理解、視覺、語音識別等領(lǐng)域的進步。語言、視覺和語音識別等領(lǐng)域?qū)鉀Q問題具有變革性，因此，這類型的機器學(xué)習(xí)模型被廣泛部署用于許多產(chǎn)品中，包括 Search, Assistant, Ads, Cloud, Gmail, Maps, YouTube, Workspace, Android, Pixel, Nest 和 Translate。
對機器學(xué)習(xí)和計算機科學(xué)來說，這是一個激動人心的時代。通過處理語言、視覺和聲音，計算機理解周圍的世界并與之互動的能力在不斷提高。同時計算機也在不斷為人類開拓新疆界貢獻力量。前文所述的五個方面正是這漫長旅程中的許多進步的節(jié)點！

原文鏈接：

https://ai.googleblog.com/2022/01/google-research-themes-from-2021-and.html