主動(dòng)學(xué)習(xí)（Active Learning）概述及最新研究

學(xué)校 | 香港中文大學(xué)研究方向 | 機(jī)器人、醫(yī)療圖像、主動(dòng)學(xué)習(xí)

我將我對(duì)主動(dòng)學(xué)習(xí)的理解和最新研究的感悟都整理為這篇文章，主要目的是供大家參考、討論，一起學(xué)習(xí)和交流主動(dòng)學(xué)習(xí)的技術(shù)。同時(shí)，我以后還會(huì)繼續(xù)閱讀主動(dòng)學(xué)習(xí)領(lǐng)域的文章，有不錯(cuò)和值得推薦的文章，我會(huì)實(shí)時(shí)更新到我的 github 里，大家可以通過這個(gè) list 最快地閱讀最新最重要的文章，也歡迎大家向我推薦一些文章和一起交流。
Awesome Active Learning:https://github.com/baifanxxx/awesome-active-learning
Note：前 1、2、3 節(jié)都是一些主動(dòng)學(xué)習(xí)基礎(chǔ)內(nèi)容，也有很多文章做過類似的整理和介紹，如果你已經(jīng)很了解了，可以直接跳到 4 節(jié)以后閱讀。

主動(dòng)學(xué)習(xí)是一種通過主動(dòng)選擇最有價(jià)值的樣本進(jìn)行標(biāo)注的機(jī)器學(xué)習(xí)或人工智能方法。其目的是使用盡可能少的、高質(zhì)量的樣本標(biāo)注使模型達(dá)到盡可能好的性能。也就是說，主動(dòng)學(xué)習(xí)方法能夠提高樣本及標(biāo)注的增益，在有限標(biāo)注預(yù)算的前提下，最大化模型的性能，是一種從樣本的角度，提高數(shù)據(jù)效率的方案，因而被應(yīng)用在標(biāo)注成本高、標(biāo)注難度大等任務(wù)中，例如醫(yī)療圖像、無(wú)人駕駛、異常檢測(cè)、基于互聯(lián)網(wǎng)大數(shù)據(jù)的相關(guān)問題。
▲ The pool-based active learning cycle. (Burr Settles, 2010)
Settles, Burr 的 Active Learning Literature Survey 文章為經(jīng)典的主動(dòng)學(xué)習(xí)工作進(jìn)行了總結(jié)。上圖是經(jīng)典的基于池的主動(dòng)學(xué)習(xí)框架。在每次的主動(dòng)學(xué)習(xí)循環(huán)中，根據(jù)任務(wù)模型和無(wú)標(biāo)簽數(shù)據(jù)的信息，查詢策略選擇最有價(jià)值的樣本交給專家進(jìn)行標(biāo)注并將其加入到有標(biāo)簽數(shù)據(jù)集中繼續(xù)對(duì)任務(wù)模型進(jìn)行訓(xùn)練。因?yàn)橹鲃?dòng)學(xué)習(xí)的過程中存在人的標(biāo)注，所以主動(dòng)學(xué)習(xí)又屬于 Human-in-the-Loop Machine Learning 的一種。
主動(dòng)學(xué)習(xí)為什么是有用的？下面通過一個(gè)直觀的小例子讓大家感受一下。
▲ (a) 一個(gè)由 400 個(gè)實(shí)例組成的數(shù)據(jù)集，從兩類高斯分布均勻采用。實(shí)例表示為二維特征空間中的點(diǎn)。(b) 從問題域中隨機(jī)抽取 30 個(gè)標(biāo)記實(shí)例，訓(xùn)練一個(gè)邏輯回歸模型。這條藍(lán)線代表了分類器的決策邊界（70% 的準(zhǔn)確率）。(c) 使用不確定性抽樣對(duì) 30 個(gè)主動(dòng)查詢實(shí)例進(jìn)行訓(xùn)練的邏輯回歸模型（90%）。（Burr Settles, 2010）
由此說明，樣本對(duì)模型的貢獻(xiàn)并不是一樣的，選擇更有價(jià)值的樣本具有實(shí)際意義。當(dāng)然，如何確定和評(píng)估樣本的價(jià)值也是主動(dòng)學(xué)習(xí)研究的一個(gè)重點(diǎn)。

根據(jù)應(yīng)用場(chǎng)景，主動(dòng)學(xué)習(xí)的方法可以被分為 membership query synthesis, stream-based and pool-based 三種類型。其中，pool-based 是最常見的場(chǎng)景，并且由于深度學(xué)習(xí)基于 batch 訓(xùn)練的機(jī)制，使得 pool-based 的方法更容易與其契合。
在membership query synthesis 的場(chǎng)景中，算法可能挑選整個(gè)無(wú)標(biāo)簽數(shù)據(jù)中的任何一個(gè)交給 oracle 標(biāo)注，典型的假設(shè)是包括算法自己生成的數(shù)據(jù)。但是有時(shí)候，算法生成的數(shù)據(jù)無(wú)法被 oracle 識(shí)別，例如生成的手寫字圖像太奇怪，oracle 也不能識(shí)別它屬 于 0~9？或者生成的音頻數(shù)據(jù)不存在語(yǔ)義信息，讓 oracle 也無(wú)法識(shí)別。
在 stream-based 的場(chǎng)景中，每次只給算法輸入一個(gè)無(wú)標(biāo)簽樣本，由算法決定到底是交給 oracle 標(biāo)注還是直接拒絕。有點(diǎn)類似流水線上的次品檢測(cè)員，過來(lái)一個(gè)產(chǎn)品就需要立刻判斷是否為次品，而不能在開始就根據(jù)這一批產(chǎn)品的綜合情況來(lái)考量。
在 pool-based 的場(chǎng)景中，每次給算法輸入一個(gè)批量的無(wú)標(biāo)簽樣本，然后算法根據(jù)策略挑選出一個(gè)或幾個(gè)樣本交給 oracle 進(jìn)行標(biāo)注。這樣的場(chǎng)景在生活中更容易出現(xiàn)，算法也可以根據(jù)這一批量樣本進(jìn)行互相比較和綜合考慮。

在主動(dòng)學(xué)習(xí)框架中，最重要的就是如何設(shè)計(jì)一個(gè)查詢策略來(lái)判斷樣本的價(jià)值，即是否值得被 oracle 標(biāo)注。而樣本的價(jià)值并不是一成不變的，它不僅與樣本自身有關(guān)，還和任務(wù)和模型等因素有關(guān)。一個(gè)簡(jiǎn)單的例子，在貓狗二分類問題中，一張長(zhǎng)得像貓的狗的照片，對(duì)分類模型的訓(xùn)練往往是有價(jià)值，因?yàn)樗y以分辨。
但是，同樣是這張照片，出現(xiàn)在動(dòng)植物二分類問題中，就變得不那么重要了，因?yàn)槟Ｐ拖敕直嫠⒉浑y。因此，查詢策略的設(shè)計(jì)并不是簡(jiǎn)單和一成不變的，需要根據(jù)具體環(huán)境、問題和需要進(jìn)行設(shè)定。這樣就產(chǎn)生了各種各樣的查詢策略，下面，我介紹一些基本的查詢策略供大家參考。
不確定性采樣（Uncertainty Sampling）：也許是最簡(jiǎn)單直接也最常用的策略。算法只需要查詢最不確定的樣本給 oracle 標(biāo)注，通常情況下，模型通過學(xué)習(xí)不確定性強(qiáng)的樣本的標(biāo)簽?zāi)軌蜓杆偬嵘约旱男阅?。例如，學(xué)生在刷題的時(shí)候，只做自己愛出錯(cuò)的題肯定比隨機(jī)選一些題來(lái)做提升得快。對(duì)于一些能預(yù)測(cè)概率的模型，例如神經(jīng)網(wǎng)絡(luò)，可以直接利用概率來(lái)表示不確定性。比如，直接用概率值，概率值排名第一和第二的差值，熵值等等。
多樣性采樣（Diversity Sampling） ：是從數(shù)據(jù)的分布考慮的常用策略。算法根據(jù)數(shù)據(jù)分布確保查詢的樣本能夠覆蓋整個(gè)數(shù)據(jù)分布以保證標(biāo)注數(shù)據(jù)的多樣性。例如，老師在出考試題的時(shí)候，會(huì)盡可能得出一些有代表性的題，同時(shí)盡可能保證每個(gè)章節(jié)都覆蓋到，這樣才能保證題目的多樣性全面地考察學(xué)生的綜合水平。同樣地，在多樣性采用的方法中，也主要分為以下幾種方式：
基于模型的離群值——采用使模型低激活的離群樣本，因?yàn)楝F(xiàn)有數(shù)據(jù)缺少這些信息；
代表性采樣——選擇一些最有代表性的樣本，例如采用聚類等簇的方法獲得代表性樣本和根據(jù)不同域的差異找到代表性樣本；
真實(shí)場(chǎng)景多樣性——根據(jù)真實(shí)場(chǎng)景的多樣性和樣本分布，公平地采樣。
預(yù)期模型改變（Expected Model Change）：EMC 通常選擇對(duì)當(dāng)前模型改變最大、影響最大的樣本給 oracle 標(biāo)注，一般來(lái)說，需要根據(jù)樣本的標(biāo)簽才能反向傳播計(jì)算模型的改變量或梯度等。在實(shí)際應(yīng)用中，為了弱化需要標(biāo)簽這個(gè)前提，一般根據(jù)模型的預(yù)測(cè)結(jié)果作為偽標(biāo)簽然后再計(jì)算預(yù)期模型改變。當(dāng)然，這種做法存在一定的問題，偽標(biāo)簽和真實(shí)標(biāo)簽并不總是一致的，他與模型的預(yù)測(cè)性能有關(guān)。
委員會(huì)查詢（Query-By-Committee）：QBC 是利用多個(gè)模型組成的委員會(huì)對(duì)候選的數(shù)據(jù)進(jìn)行投****，即分別作出決策，最終他們選擇最有分歧的樣本作為最有信息的數(shù)據(jù)給 oracle 標(biāo)注。
此外，有些研究者將多種查詢策略結(jié)合起來(lái)使用混合策略進(jìn)行查詢，例如即考慮不確定性又考慮多樣性的。還有一些其他的查詢策略，例如預(yù)期誤差減少、方差減少、密度加權(quán)法等。

下面我給大家分享幾個(gè)經(jīng)典的主動(dòng)學(xué)習(xí)方法，這些方法經(jīng)常被拿來(lái)作對(duì)比。在自己以后的文章里也可以考慮和以下經(jīng)典的方法進(jìn)行比較。
Entropy可直接根據(jù)預(yù)測(cè)的概率分布計(jì)算熵值，選擇熵值最大的樣本來(lái)標(biāo)注。

BALDDeep Bayesian Active Learning with Image Data
https://arxiv.org/abs/1703.02910
BGADLBayesian Generative Active Deep Learninghttps://arxiv.org/abs/1904.11643
Core-setActive Learning for Convolutional Neural Networks: A Core-Set Approachhttps://openreview.net/forum?id=H1aIuk-RW

LLALLearning Loss for Active Learninghttps://arxiv.org/abs/1905.03677?context=cs.CV
VAALVariational Adversarial Active Learninghttps://arxiv.org/abs/1904.00370

由于主動(dòng)學(xué)習(xí)解決的是如何從無(wú)標(biāo)簽數(shù)據(jù)中選擇價(jià)值高的樣本進(jìn)行標(biāo)注，所以在數(shù)據(jù)標(biāo)簽難以獲得、標(biāo)注成本大的場(chǎng)景和實(shí)際問題中被廣泛應(yīng)用。
互聯(lián)網(wǎng)大數(shù)據(jù)相關(guān)的應(yīng)用：在互聯(lián)網(wǎng)的大數(shù)據(jù)場(chǎng)景中，無(wú)標(biāo)簽的數(shù)據(jù)不計(jì)其數(shù)，但是又不可能把所有的數(shù)據(jù)都打上標(biāo)簽。在有限的資金和時(shí)間下，最有效的方法就是利用主動(dòng)學(xué)習(xí)挑選最有價(jià)值的樣本交給人去打標(biāo)簽。例如，
阿里巴巴淘系技術(shù)https://www.zhihu.com/question/265479171/answer/1495497483
中科智云全球首發(fā)全新主動(dòng)學(xué)習(xí)算法框架，顛覆傳統(tǒng)大量樣本和人力標(biāo)注模式https://www.ofweek.com/ai/2021-07/ART-201713-8210-30509389.html
在安全風(fēng)控異常檢測(cè)等領(lǐng)域，異常數(shù)據(jù)遠(yuǎn)遠(yuǎn)少于正常的數(shù)據(jù)，而對(duì)網(wǎng)絡(luò)上的大量數(shù)據(jù)都進(jìn)行標(biāo)注也是極其不合理的，但是主動(dòng)學(xué)習(xí)能夠選擇性地標(biāo)注這些數(shù)據(jù)。
無(wú)人駕駛等機(jī)器人領(lǐng)域的應(yīng)用：在很多機(jī)器人領(lǐng)域，都需要收集大量的有標(biāo)簽數(shù)據(jù)來(lái)訓(xùn)練。尤其是非?；鸬臒o(wú)人駕駛領(lǐng)域。在無(wú)人駕駛領(lǐng)域，無(wú)人駕駛汽車對(duì)環(huán)境的感知尤為重要，感知的好壞直接影響決策的質(zhì)量，對(duì)無(wú)人駕駛汽車的安全性有至關(guān)重要的作用。
感知模型多用深度學(xué)習(xí)構(gòu)建，數(shù)據(jù)的重要性不言而喻，尤其是標(biāo)注數(shù)據(jù)。而真實(shí)場(chǎng)景的無(wú)人駕駛環(huán)境種類多、復(fù)雜，為了保證模型性能，大多數(shù)公司需要利用汽車在實(shí)際場(chǎng)景中運(yùn)行收集到的圖像、點(diǎn)云等數(shù)據(jù)進(jìn)行訓(xùn)練。面對(duì)這樣龐大的數(shù)據(jù)量，給每一個(gè)樣本都打上標(biāo)簽幾乎是不可能實(shí)現(xiàn)的任務(wù)，而利用主動(dòng)學(xué)習(xí)選擇最有價(jià)值的樣本（可能是當(dāng)前模型預(yù)測(cè)的不確定性大）再人工標(biāo)注，繼續(xù)訓(xùn)練模型，從而盡可能地提高模型的性能，提高了穩(wěn)定性和安全性。例如，特斯拉等
特斯拉挑戰(zhàn)視覺極限https://www.bilibili.com/read/cv7621643
主動(dòng)學(xué)習(xí)如何改善自動(dòng)駕駛夜間行人檢測(cè)【NVIDIA】https://www.bilibili.com/video/BV1xV411o72V/
Waymo和特斯拉背后的訓(xùn)練系統(tǒng)究竟有什么特別之處？https://zhuanlan.zhihu.com/p/400834629
智能醫(yī)療診斷等領(lǐng)域：在醫(yī)療領(lǐng)域，深度學(xué)習(xí)的發(fā)展為包括診斷在內(nèi)的多個(gè)方面帶來(lái)了革命性的發(fā)展。數(shù)據(jù)驅(qū)動(dòng)的方法必然需求大量的有標(biāo)注數(shù)據(jù)，而標(biāo)注醫(yī)療圖像不僅耗時(shí)耗力，而且需要特定的專業(yè)知識(shí)，所以利用主動(dòng)學(xué)習(xí)選擇模型難以預(yù)測(cè)的樣本進(jìn)行選擇地標(biāo)注是非常有實(shí)際意義的。
有很多論文在研究主動(dòng)學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用，但在實(shí)際應(yīng)用和落地中，醫(yī)療診斷面臨的最首要的問題還是精度和泛化性能。由于醫(yī)療數(shù)據(jù)是小樣本，這些最重要和最基本的問題沒有被徹底解決，所以主動(dòng)學(xué)習(xí)的熱度并不大。但是還是有一些公司在應(yīng)用，例如騰訊 AI Lab 使用主動(dòng)學(xué)習(xí)和難例挖掘方案
中國(guó)首款智能顯微鏡獲批進(jìn)入臨床：病理診斷 AI 化，騰訊 AI Lab 打造https://new.qq.com/omn/20200409/20200409A0BGWI00.html
在我看來(lái)，醫(yī)療數(shù)據(jù)獲得的量本身就少的話，就沒必要應(yīng)用主動(dòng)學(xué)習(xí)了，因?yàn)樵谟邢薜臉颖鞠拢词苟紭?biāo)注都很難達(dá)到一個(gè)滿意的性能，更別說去做選擇了。但是真正有需求的場(chǎng)景是，
1. 有大量的無(wú)標(biāo)簽醫(yī)療數(shù)據(jù)，需要從中選擇有價(jià)值的進(jìn)行標(biāo)注，例如從視頻數(shù)據(jù)（胃腸鏡視頻）標(biāo)注圖像進(jìn)行檢測(cè)等；
2. 真正實(shí)現(xiàn)基本性能，能夠落地部署后，仍需要長(zhǎng)期在使用過程中收集數(shù)據(jù)，進(jìn)行標(biāo)注，但是由于這個(gè)過程是一直持續(xù)下去，長(zhǎng)久的工作，所以對(duì)于這樣大量的無(wú)標(biāo)簽數(shù)據(jù)也需要進(jìn)行主動(dòng)學(xué)習(xí)選擇標(biāo)注。
總之，主動(dòng)學(xué)習(xí)應(yīng)用的場(chǎng)景是針對(duì)有大量無(wú)標(biāo)簽數(shù)據(jù)（至少不缺），如何節(jié)省標(biāo)注工作量使得模型達(dá)到滿意的性能。在深度學(xué)習(xí)爆炸的時(shí)代，各種任務(wù)和應(yīng)用都考慮采用數(shù)據(jù)驅(qū)動(dòng)的 learning 的方法來(lái)解決，這就對(duì)數(shù)據(jù)的需求更高了。實(shí)際應(yīng)用中，既不可能完全放棄標(biāo)簽，也不可能放棄無(wú)標(biāo)注數(shù)據(jù)，而主動(dòng)學(xué)習(xí)恰恰能夠提供一個(gè)較合理的權(quán)宜之計(jì)，既要標(biāo)注有價(jià)值的數(shù)據(jù)，又不需要全部標(biāo)注，選擇性地標(biāo)注。
七、實(shí)際應(yīng)用可能存在的問題

雖然考慮到主動(dòng)學(xué)習(xí)的出發(fā)點(diǎn)和要解決的問題都比較實(shí)際，但是目前的主動(dòng)學(xué)習(xí)方法在實(shí)際應(yīng)用的話還是存在一些問題。
性能不穩(wěn)定：制約主動(dòng)學(xué)習(xí)最大的問題就是性能不穩(wěn)定。主動(dòng)學(xué)習(xí)是根據(jù)自己指定的選擇策略從樣本中挑選，那么這個(gè)過程中策略和數(shù)據(jù)樣本就是影響性能的兩個(gè)很重要的因素。對(duì)于非常冗余的數(shù)據(jù)集，主動(dòng)學(xué)習(xí)往往會(huì)比隨機(jī)采樣效果要好，但是對(duì)于樣本數(shù)據(jù)非常多樣，冗余性較低的數(shù)據(jù)集，主動(dòng)學(xué)習(xí)有的時(shí)候會(huì)存在比隨機(jī)采樣還差的效果。數(shù)據(jù)樣本的分布還影響不同主動(dòng)學(xué)習(xí)的方法，比如基于不確定性的方法和基于多樣性的方法，在不同數(shù)據(jù)集上的效果并不一致，這種性能的不穩(wěn)定是制約人們應(yīng)用主動(dòng)學(xué)習(xí)的一個(gè)重要因素。
在實(shí)際應(yīng)用中，需要先根據(jù)主動(dòng)學(xué)習(xí)進(jìn)行數(shù)據(jù)選擇和標(biāo)注，如果此時(shí)的策略還不如隨機(jī)采樣，人們并不能及時(shí)改變或者止損，因?yàn)閿?shù)據(jù)已經(jīng)被標(biāo)注了，沉沒成本已經(jīng)產(chǎn)生了。而優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和性能的這些方法就不存在這個(gè)問題，人們可以一直嘗試不同的方法和技巧使得性能達(dá)到最好，修改和嘗試的損失很小。
而主動(dòng)學(xué)習(xí)被要求得更加苛刻，幾乎需要將設(shè)計(jì)好的策略拿來(lái)直接應(yīng)用就必須要 work 才行，如果不 work，那些被選擇的樣本還是被標(biāo)注了，還是損失時(shí)間和金錢?？量痰囊蠛筒环€(wěn)定的性能導(dǎo)致人們還不如省下這個(gè)精力，直接采用隨機(jī)的標(biāo)注方式。
臟數(shù)據(jù)的挑戰(zhàn)：現(xiàn)在幾乎所有的論文都在公開的數(shù)據(jù)集、現(xiàn)成的數(shù)據(jù)集上進(jìn)行測(cè)試和研究。而這些數(shù)據(jù)集其實(shí)已經(jīng)被選擇和篩選過了，去除了極端的離群值，甚至?xí)紤]到樣本平衡，人為的給少樣本的類別多標(biāo)注一些，多樣本的類別少標(biāo)注一些。而實(shí)際應(yīng)用中，數(shù)據(jù)的狀況和這種理想數(shù)據(jù)集相差甚遠(yuǎn)。主動(dòng)學(xué)習(xí)常用不確定性的選擇策略，不難想象，噪聲較大的樣本甚至離群值總會(huì)被選擇并標(biāo)注，這種樣本可能不僅不會(huì)提升模型的性能，甚至還會(huì)使性能變差。
實(shí)際中還存在 OOD（out of distribution）的問題，例如想訓(xùn)練一個(gè)貓狗分類器，直接從網(wǎng)絡(luò)中按關(guān)鍵字搜索貓狗收集大量圖片，里邊可能存在一些老虎、獅子、狼等不在貓狗類別的無(wú)關(guān)樣本，但是他們的不確定性是非常高的，被選中的話，并不會(huì)提升模型的性能。
難以遷移：主動(dòng)學(xué)習(xí)是一種數(shù)據(jù)選擇策略，那么實(shí)際應(yīng)用中必然需求更通用、泛化性更好的主動(dòng)學(xué)習(xí)策略。而目前的主動(dòng)學(xué)習(xí)策略難以在不同域、不同任務(wù)之間進(jìn)行遷移，比如設(shè)計(jì)了一個(gè)貓狗分類任務(wù)的主動(dòng)學(xué)習(xí)策略，基于不確定性或多樣性，達(dá)到了較好的性能，現(xiàn)在需要做一個(gè)新的雞鴨分類的任務(wù)，那么是否還需要重新設(shè)計(jì)一個(gè)策略？如果任務(wù)是病變組織的分類呢？
由于不同任務(wù)的數(shù)據(jù)分布特點(diǎn)可能不一樣，不同任務(wù)的難易不一樣，無(wú)法保證主動(dòng)學(xué)習(xí)的策略能夠在不同數(shù)據(jù)不同任務(wù)中通用，往往需要針對(duì)固定的任務(wù)設(shè)計(jì)一個(gè)主動(dòng)學(xué)習(xí)策略。這樣就耗費(fèi)了精力，如果能有一個(gè)通用性好的主動(dòng)學(xué)習(xí)策略，那么就可以被不同任務(wù)遷移，被更廣泛地應(yīng)用，甚至直接將其部署為通用標(biāo)注軟件，為各種任務(wù)、數(shù)據(jù)集，提供主動(dòng)選擇和標(biāo)注功能。
交互不便：數(shù)據(jù)選擇策略與標(biāo)注過程聯(lián)系緊密，理想的流程是，有一個(gè)整合的軟件能夠提供主動(dòng)數(shù)據(jù)選擇，然后提供交互界面進(jìn)行標(biāo)注，這就是將主動(dòng)學(xué)習(xí)流程與標(biāo)注軟件結(jié)合。僅有高效的主動(dòng)學(xué)習(xí)策略，而不方便標(biāo)注交互，也會(huì)造成額外的精力浪費(fèi)。在流程上，現(xiàn)在主動(dòng)學(xué)習(xí)普遍是選擇出一批待標(biāo)注的樣本后，交給人們?nèi)?biāo)注，而期望人們能盡快標(biāo)注交給模型，模型繼續(xù)訓(xùn)練后再次選擇。
人們標(biāo)注的時(shí)候，模型既不能訓(xùn)練，主動(dòng)學(xué)習(xí)也不進(jìn)行其他操作，是個(gè)串行的過程，需求等待人工標(biāo)注結(jié)束后，才能進(jìn)行接下來(lái)的訓(xùn)練。這樣的流程就不那么方便和高效，想象把主動(dòng)學(xué)習(xí)+標(biāo)注的系統(tǒng)給醫(yī)生應(yīng)用，策略先選出了一些樣本，醫(yī)生僅標(biāo)注這些樣本就標(biāo)注了幾天，然后再給模型訓(xùn)練，模型訓(xùn)練一段時(shí)間后，又選擇出一些樣本給醫(yī)生，醫(yī)生和模型互相等待對(duì)方的操作，降低了效率和便利性。

下面我介紹一些主動(dòng)學(xué)習(xí)目前最新的閱讀價(jià)值較高的論文，供大家把握研究方向和熱點(diǎn)。如果大家有興趣，可以持續(xù)關(guān)注我 github 上的 awesome-active-learning paper list，我會(huì)實(shí)時(shí)更新有價(jià)值的主動(dòng)學(xué)習(xí)方面的工作，供大家學(xué)習(xí)和交流。 8.1 主動(dòng)學(xué)習(xí)問題和方法的探究
目前主動(dòng)學(xué)習(xí)的基本方法和問題還存在一些不足，有一些最新的方法試圖解決這些問題。
Mind Your Outliers! Investigating the Negative Impact of Outliers on Active Learning for Visual Question Answering （作者之一，李飛飛）https://arxiv.org/abs/2107.02331
主動(dòng)學(xué)習(xí)有望緩解監(jiān)督式機(jī)器學(xué)習(xí)的海量數(shù)據(jù)需求：它已成功地將樣本效率提高了一個(gè)數(shù)量級(jí)，例如主題分類和對(duì)象識(shí)別等傳統(tǒng)任務(wù)。然而，作者發(fā)現(xiàn)與這一現(xiàn)象形成鮮明對(duì)比的是：在視覺問答任務(wù)的 5 個(gè)模型和 4 個(gè)數(shù)據(jù)集中，各種各樣的主動(dòng)學(xué)習(xí)方法未能勝過隨機(jī)選擇。為了理解這種差異，作者在每個(gè)示例的基礎(chǔ)上分析了 8 種主動(dòng)學(xué)習(xí)方法，并將問題確定為集體異常值——主動(dòng)學(xué)習(xí)方法更喜歡獲取但模型無(wú)法學(xué)習(xí)的一組示例（例如，詢問文本的問題在圖像中或需要外部知識(shí)）。
通過系統(tǒng)的消融實(shí)驗(yàn)和定性可視化，作者驗(yàn)證了集體異常值是導(dǎo)致基于池的主動(dòng)學(xué)習(xí)退化的普遍現(xiàn)象。值得注意的是，作者表明，隨著主動(dòng)學(xué)習(xí)池中集體異常值的數(shù)量減少，主動(dòng)學(xué)習(xí)樣本效率顯著提高。

Contrastive Coding for Active Learning Under Class Distribution Mismatch：https://openaccess.thecvf.com/content/ICCV2021/html/Du_Contrastive_Coding_for_Active_Lea

基于以下假設(shè)：標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)是從同一類分布中獲得的，主動(dòng)學(xué)習(xí) (AL) 是成功的。然而，它的性能在類別分布不匹配的情況下會(huì)惡化，其中未標(biāo)記的數(shù)據(jù)包含許多標(biāo)記數(shù)據(jù)的類分布之外的樣本。為了有效地處理類分布不匹配下的AL問題，作者提出了一種基于對(duì)比編碼的 AL 框架，名為 CCAL。
與現(xiàn)有的 AL 方法專注于選擇信息量最大的樣本進(jìn)行標(biāo)注不同，CCAL 通過對(duì)比學(xué)習(xí)提取語(yǔ)義和獨(dú)特的特征，并將它們組合在查詢策略中，以選擇具有匹配類別的信息量最大的未標(biāo)記樣本。理論上，作者證明了 CCAL 的 AL 誤差具有嚴(yán)格的上限。
LADA: Look-Ahead Data Acquisition via Augmentation for Active Learning：https://arxiv.org/abs/2011.04194
在主動(dòng)學(xué)習(xí)的獲取過程中尚未考慮從數(shù)據(jù)增強(qiáng)產(chǎn)生的虛擬實(shí)例的潛在收益。在數(shù)據(jù)獲取的過程中，數(shù)據(jù)增強(qiáng)將選擇并生成對(duì)訓(xùn)練模型提供信息的數(shù)據(jù)實(shí)例。因此，作者提出了通過增強(qiáng)或 LADA 的前瞻數(shù)據(jù)采集來(lái)集成數(shù)據(jù)采集和數(shù)據(jù)增強(qiáng)。在獲取過程之前，LADA 考慮 1）選擇未標(biāo)記的數(shù)據(jù)實(shí)例和 2）通過數(shù)據(jù)增強(qiáng)生成的虛擬數(shù)據(jù)實(shí)例。此外，為了增強(qiáng)虛擬數(shù)據(jù)實(shí)例的信息量，LADA 優(yōu)化了數(shù)據(jù)增強(qiáng)策略以最大化預(yù)測(cè)獲取分?jǐn)?shù)，從而產(chǎn)生了 InfoMixup 和 InfoSTN 的提議。由于 LADA 是一個(gè)可推廣的框架，作者試驗(yàn)了各種采集和增強(qiáng)方法的組合。

8.2 主動(dòng)學(xué)習(xí)與半監(jiān)督學(xué)習(xí)結(jié)合
由于半監(jiān)督學(xué)習(xí)展示出了優(yōu)異的性能，在標(biāo)簽不足的情況下，如果能將主動(dòng)學(xué)習(xí)與半監(jiān)督學(xué)習(xí)結(jié)合，將會(huì)取得更優(yōu)異的性能。
Semi-Supervised Active Learning for Semi-Supervised Models: Exploit Adversarial Examples With Graph-Based Virtual Labels：https://openaccess.thecvf.com/content/ICCV2021/html/Guo_Semi-Supervised_Active_Learnin
盡管當(dāng)前主流方法開始結(jié)合 SSL 和 AL（SSL-AL）來(lái)挖掘未標(biāo)記樣本的多樣化表示，但這些方法的全監(jiān)督任務(wù)模型仍然僅使用標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練。此外，這些方法的 SSL-AL 框架存在不匹配問題。在這里，作者提出了一個(gè)基于圖的 SSL-AL 框架來(lái)釋放 SSL 模型的能力并進(jìn)行有效的 SSL-AL 交互。
在該框架中，SSL 利用基于圖的標(biāo)簽傳播為未標(biāo)記的樣本提供偽標(biāo)簽，渲染 AL 樣本的結(jié)構(gòu)分布并提升 AL。AL 在決策邊界附近找到樣本，利用對(duì)抗性示例幫助 SSL 執(zhí)行更好的標(biāo)簽傳播。閉環(huán)中的信息交換實(shí)現(xiàn)了SSL和AL的相互增強(qiáng)。

8.3 主動(dòng)學(xué)習(xí)與無(wú)監(jiān)督域自適應(yīng)結(jié)合
無(wú)監(jiān)督域自適應(yīng)要對(duì)齊目標(biāo)域與源域，使模型利用源域的數(shù)據(jù)和標(biāo)簽，在無(wú)標(biāo)簽的目標(biāo)域上取得較好的性能。目前出現(xiàn)一些工作考慮源域和目標(biāo)域的關(guān)系，設(shè)計(jì)了主動(dòng)學(xué)習(xí)策略提升模型在目標(biāo)域的性能。
Multi-Anchor Active Domain Adaptation for Semantic Segmentation：https://arxiv.org/abs/2108.08012
將目標(biāo)域的分布無(wú)條件地與源域?qū)R可能會(huì)扭曲目標(biāo)域數(shù)據(jù)的特有的信息。為此，作者提出了一種新穎的基于多錨點(diǎn)的主動(dòng)學(xué)習(xí)策略，以協(xié)助域自適應(yīng)語(yǔ)義分割任務(wù)。通過創(chuàng)新地采用多個(gè)點(diǎn)而不是單個(gè)質(zhì)心，可以更好地將源域表征為多模態(tài)分布，實(shí)習(xí)從目標(biāo)域中選擇更具代表性和互補(bǔ)性的樣本。手動(dòng)注釋這些樣本的工作量很小，可以有效緩解目標(biāo)域分布的失真，從而獲得較大的性能增益。另外還采用多錨策略來(lái)對(duì)目標(biāo)分布進(jìn)行建模。通過軟對(duì)齊損失，對(duì)多個(gè)錨點(diǎn)周圍緊湊的目標(biāo)樣本的潛在表示進(jìn)行正則化，可以實(shí)現(xiàn)更精確的分割。


8.4 主動(dòng)學(xué)習(xí)與知識(shí)蒸餾結(jié)合
知識(shí)蒸餾過程中，teacher 給 student 傳遞知識(shí)，但是什么樣的樣本能夠幫助這一過程，也是主動(dòng)學(xué)習(xí)可以研究的一個(gè)方向。
Active Learning for Lane Detection: A Knowledge Distillation Approach：https://openaccess.thecvf.com/content/ICCV2021/html/Peng_Active_Learning_for_Lane_Detection_A_
作者發(fā)現(xiàn)現(xiàn)有的主動(dòng)學(xué)習(xí)方法在車道檢測(cè)方面表現(xiàn)不佳，原因是兩方面的。一方面，大多數(shù)方法基于熵來(lái)評(píng)估數(shù)據(jù)不確定性，這在車道檢測(cè)中是不可取的，因?yàn)樗膭?lì)選擇車道很少甚至根本沒有車道的圖像。另一方面，現(xiàn)有的方法沒有意識(shí)到車道標(biāo)注的噪聲，這是由嚴(yán)重遮擋和車道標(biāo)記不清晰引起的。
在本文中，作者構(gòu)建了一個(gè)新穎的知識(shí)蒸餾框架，并基于 student 模型所學(xué)的知識(shí)評(píng)估圖像的不確定性。作者表明，所提出的不確定性度量克服了上述兩個(gè)問題。為了減少數(shù)據(jù)冗余，作者研究了圖像樣本的影響集（influence set），并提出了一種新的多樣性度量。最后，作者結(jié)合了不確定性和多樣性指標(biāo)，提出了一種用于數(shù)據(jù)選擇的貪婪算法。

8.5 主動(dòng)學(xué)習(xí)與對(duì)比學(xué)習(xí)結(jié)合
對(duì)比學(xué)習(xí)最近勢(shì)頭比較猛，最近也有主動(dòng)學(xué)習(xí)與對(duì)比學(xué)習(xí)結(jié)合解決對(duì)比學(xué)習(xí)的問題，大家可以欣賞一下。
Active Contrastive Learning of Audio-Visual Video Representations：https://arxiv.org/abs/2009.09805
對(duì)比學(xué)習(xí)已被證明可以通過最大化實(shí)例的不同視圖之間的互信息（MI）的下限來(lái)生成音頻和視覺數(shù)據(jù)的可概括表示。然而，獲得嚴(yán)格的下限需要 MI 中的樣本大小指數(shù)，因此需要大量的負(fù)樣本。我們可以通過構(gòu)建一個(gè)大型的基于隊(duì)列的字典來(lái)合并更多的樣本，但是即使有大量的負(fù)樣本，性能提升也存在理論上的限制。
作者假設(shè)隨機(jī)負(fù)采樣導(dǎo)致高度冗余的字典，導(dǎo)致下游任務(wù)的次優(yōu)表示。在本文中，作者提出了一種主動(dòng)對(duì)比學(xué)習(xí)方法，該方法構(gòu)建了一個(gè) actively sampled 字典，其中包含多樣化和信息豐富的樣本，從而提高了負(fù)樣本的質(zhì)量，并提高了數(shù)據(jù)中互信息量高的任務(wù)的性能，例如，視頻分類。

8.6 利用強(qiáng)化學(xué)習(xí)進(jìn)行主動(dòng)學(xué)習(xí)
Reinforced active learning for image segmentation：https://arxiv.org/abs/2002.06583
基于學(xué)習(xí)的語(yǔ)義分割方法有兩個(gè)固有的挑戰(zhàn)。首先，獲取像素級(jí)標(biāo)簽既昂貴又耗時(shí)。其次，現(xiàn)實(shí)的分割數(shù)據(jù)集是高度不平衡的：某些類別比其他類別豐富得多，使性能偏向于最具代表性的類別。在本文中，作者感興趣的是基于池的方式進(jìn)行人工標(biāo)記工作，最大限度地減少這種工作，同時(shí)最大限度地提高分割模型在測(cè)試集上的性能。作者提出了一種新的基于深度強(qiáng)化學(xué)習(xí)（RL）的語(yǔ)義分割主動(dòng)學(xué)習(xí)策略。
智能體學(xué)習(xí)一種策略，從未標(biāo)記的數(shù)據(jù)池中選擇一小部分信息豐富的圖像區(qū)域進(jìn)行標(biāo)記。區(qū)域選擇決策是基于被訓(xùn)練的分割模型的預(yù)測(cè)和不確定性做出的。作者的方法提出了一種用于主動(dòng)學(xué)習(xí)的 DQN，使其能適應(yīng)大規(guī)模的語(yǔ)義分割問題。作者在  CamVid 和大規(guī)模數(shù)據(jù)集 Cityscapes 中測(cè)試。
在 Cityscapes 上，在相同性能下，作者的基于深度強(qiáng)化學(xué)習(xí)的區(qū)域的 DQN 方法比最具競(jìng)爭(zhēng)力的基線減少大約 30% 的額外標(biāo)記數(shù)據(jù)。此外，作者發(fā)現(xiàn)與基線相比，作者的方法選擇了更多代表性不足的類別標(biāo)簽，從而提高它們的性能并有助于減輕類別不平衡。

8.7 主動(dòng)學(xué)習(xí)在點(diǎn)云方面
點(diǎn)云比圖像的標(biāo)注時(shí)間更長(zhǎng)更費(fèi)精力，尤其是像素級(jí)的點(diǎn)云標(biāo)注。近期主動(dòng)學(xué)習(xí)在點(diǎn)云方面的工作漸漸嶄露頭角，而且效果非常驚人，值得期待。下面我介紹一篇有代表性的點(diǎn)云語(yǔ)義分割的工作。
ViewAL: Active Learning with Viewpoint Entropy for Semantic Segmentation：https://arxiv.org/abs/1911.11789
作者提出了 ViewAL，這是一種新穎的語(yǔ)義分割主動(dòng)學(xué)習(xí)策略，它利用了多視圖數(shù)據(jù)集中的視點(diǎn)一致性。作者的核心思想是，跨視點(diǎn)的模型預(yù)測(cè)的不一致提供了非常可靠的不確定性度量，并鼓勵(lì)模型在不考慮觀察對(duì)象的視點(diǎn)的情況下表現(xiàn)良好。
為了結(jié)合這種不確定性度量，作者引入了一種新的視點(diǎn)熵公式，這是作者主動(dòng)學(xué)習(xí)策略的基礎(chǔ)。此外，作者提出了超像素級(jí)別的不確定性計(jì)算，它利用了分割任務(wù)中固有的局部信息，直接降低了注釋成本。視點(diǎn)熵和超像素的聯(lián)合使用有效地選擇了具有高度信息量的樣本。

8.8 主動(dòng)學(xué)習(xí)在目標(biāo)檢測(cè)方面
最新也有一些主動(dòng)學(xué)習(xí)的文章開始結(jié)合到目標(biāo)檢測(cè)中，針對(duì)目標(biāo)檢測(cè)定義策略。目標(biāo)檢測(cè)不僅存在分類還存在定位，所以對(duì)于圖像的不確定性定義和建模更加多樣，使得更容易創(chuàng)新自己的主動(dòng)學(xué)習(xí)方法，大家可以嘗試做做這方面的工作。
Multiple instance active learning for object detection：https://arxiv.org/abs/2104.02324
盡管用于圖像識(shí)別的主動(dòng)學(xué)習(xí)取得了實(shí)質(zhì)性進(jìn)展，但仍然缺乏指定用于目標(biāo)檢測(cè)的實(shí)例級(jí)主動(dòng)學(xué)習(xí)方法。在本文中，作者提出了多實(shí)例主動(dòng)目標(biāo)檢測(cè)（MI-AOD），通過觀察實(shí)例級(jí)的不確定性來(lái)選擇信息量最大的圖像進(jìn)行檢測(cè)器訓(xùn)練。MI-AOD 定義了一個(gè)實(shí)例不確定性學(xué)習(xí)模塊，它利用在標(biāo)記集上訓(xùn)練的兩個(gè)對(duì)抗性實(shí)例分類器的差異來(lái)預(yù)測(cè)未標(biāo)記集的實(shí)例不確定性。
MI-AOD 將未標(biāo)記的圖像視為實(shí)例包，將圖像中的特征錨點(diǎn)視為實(shí)例，并通過以多實(shí)例學(xué)習(xí)（MIL）方式重新加權(quán)實(shí)例來(lái)估計(jì)圖像的不確定性。反復(fù)迭代實(shí)例不確定性學(xué)習(xí)和重加權(quán)有助于抑制噪聲實(shí)例，彌合實(shí)例不確定性和圖像級(jí)不確定性之間的差距。

九、總結(jié)
總而言之，主動(dòng)學(xué)習(xí)現(xiàn)在還有很多點(diǎn)可以繼續(xù)研究，包括但不限于：
1. 從主動(dòng)學(xué)習(xí)基本理論和問題出發(fā)，完善和改進(jìn)；2. 與其他 learning 方法或概念結(jié)合，改進(jìn)主動(dòng)學(xué)習(xí)或該方法，例如半監(jiān)督、域自適應(yīng)、知識(shí)蒸餾和強(qiáng)化學(xué)習(xí)等等；3. 應(yīng)用到新的背景和任務(wù)（和主動(dòng)學(xué)習(xí)結(jié)合的 paper 少的）中，例如點(diǎn)云分類分割、醫(yī)療圖像、目標(biāo)檢測(cè)等等。4. ......
既可以在現(xiàn)有的方法的基礎(chǔ)上改進(jìn)，又可以針對(duì)新的特定任務(wù)和具體問題設(shè)計(jì)自己的主動(dòng)學(xué)習(xí)策略。無(wú)論是哪方面，主動(dòng)學(xué)習(xí)都是存在很多繼續(xù)研究的點(diǎn)。
主動(dòng)學(xué)習(xí)既有重要的應(yīng)用價(jià)值又還存在著一些問題，是學(xué)術(shù)界和工業(yè)界都可以進(jìn)行研究的點(diǎn)。希望對(duì)主動(dòng)學(xué)習(xí)感興趣的朋友，可以一起多多討論和交流。我以后也會(huì)在知乎和 awesome-active-learning 上持續(xù)為大家更新一些主動(dòng)學(xué)習(xí)領(lǐng)域優(yōu)異的工作。