認(rèn)識(shí)人和魚的AI，能識(shí)別美人魚嗎？阿里CVPR論文試用因果推理方法解答

學(xué)過(guò)人類照片和魚類照片的 AI，第一次見(jiàn)到美人魚的照片會(huì)作何反應(yīng)？人臉和魚身它都很熟悉，但它無(wú)法想象一個(gè)從沒(méi)見(jiàn)過(guò)的事物。近期，阿里巴巴達(dá)摩院將因果推理方法引入計(jì)算機(jī)視覺(jué)領(lǐng)域，嘗試克服機(jī)器學(xué)習(xí)方法的缺陷，讓 AI 想象從未見(jiàn)過(guò)的事物，相關(guān)論文已被計(jì)算機(jī)視覺(jué)頂會(huì) CVPR 2021 收錄。

論文鏈接：https://arxiv.org/pdf/2103.00887.pdf

代碼鏈接：https://github.com/yue-zhongqi/gcm-cf

計(jì)算機(jī)視覺(jué)（CV，Computer Vision）是研究如何讓機(jī)器「看」的科學(xué)，通過(guò)將非結(jié)構(gòu)化的圖像和視頻數(shù)據(jù)進(jìn)行結(jié)構(gòu)化的特征表達(dá)，讓 AI 理解視覺(jué)信息。深度學(xué)習(xí)出現(xiàn)后，AI 在 CV 領(lǐng)域的很多任務(wù)上表現(xiàn)出了超越人類的能力。不過(guò)，比起人類的視覺(jué)理解能力，AI 仍是非常「低維」的存在。

通過(guò)人和魚的形象來(lái)想象美人魚，對(duì)人來(lái)說(shuō)輕而易舉，AI 卻極有可能把美人魚胡亂歸入「人」或「魚」中的一類。因?yàn)樗鼈內(nèi)狈Α赶胂蟆惯@一高級(jí)別認(rèn)知能力?，F(xiàn)階段的機(jī)器學(xué)習(xí)技術(shù)本質(zhì)是通過(guò)觀測(cè)數(shù)據(jù)進(jìn)行擬合，這導(dǎo)致 AI 只認(rèn)得學(xué)過(guò)的事物，遇到超越訓(xùn)練數(shù)據(jù)的對(duì)象，往往容易陷入「人工智障」。

圖靈獎(jiǎng)得主、因果關(guān)系演算法創(chuàng)立者朱迪 · 珀?duì)栒J(rèn)為，人類的想象能力源于我們自帶因果推理技能的大腦。人類善問(wèn)「為什么」，也就是尋求事物的因果關(guān)系。借助這套認(rèn)知系統(tǒng)，我們用「小數(shù)據(jù)」就能處理現(xiàn)實(shí)世界無(wú)限的「大任務(wù)」。而 AI 卻只能用「大數(shù)據(jù)」來(lái)處理「小任務(wù)」，如果 AI 能夠?qū)W會(huì)因果推理，就有望打破「智商天花板」，甚至通向強(qiáng)人工智能。

因果推理理論極大地啟發(fā)了研究者，其與機(jī)器學(xué)習(xí)的結(jié)合日益受到關(guān)注。在工業(yè)界，達(dá)摩院城市大腦實(shí)驗(yàn)室最早將因果推理方法引入 CV 領(lǐng)域，用因果推理模型賦能機(jī)器學(xué)習(xí)模型，讓視覺(jué) AI 更智能。今年，該團(tuán)隊(duì)與南洋理工大學(xué)合作了《反事實(shí)的零次和開(kāi)集識(shí)別》（Counterfactual Zero-Shot and Open-Set Visual Recognition）等三篇采用因果推理方法的論文，均被 CVPR 2021 收錄。

左為現(xiàn)有方法的 AI「想象」結(jié)果，中為達(dá)摩院論文提出的算法核心，右為基于達(dá)摩院框架完成的想象結(jié)果。在左右二圖中，紅色代表訓(xùn)練集里面的樣本，藍(lán)色是 AI 未見(jiàn)過(guò)類別的樣本，綠色是 AI 對(duì)未見(jiàn)過(guò)類別的想象。

零次學(xué)習(xí)是指讓機(jī)器分類沒(méi)見(jiàn)過(guò)的對(duì)象類別，開(kāi)集識(shí)別要求讓機(jī)器把沒(méi)見(jiàn)過(guò)的對(duì)象類別標(biāo)成「不認(rèn)識(shí)」，兩個(gè)任務(wù)都依賴想象能力?！斗词聦?shí)的零次和開(kāi)集識(shí)別》提出了一種基于反事實(shí)的算法框架，通過(guò)解耦樣本特征（比如對(duì)象的姿勢(shì)）和類別特征（比如是否有羽毛），再基于樣本特征進(jìn)行反事實(shí)生成。在常用數(shù)據(jù)集上，該算法的準(zhǔn)確率超出現(xiàn)有頂尖方法 2.2% 到 4.3%。論文作者岳中琪指出，AI 認(rèn)知智能的進(jìn)化剛剛開(kāi)始，業(yè)界的探索仍處在早期階段，今后他們將不斷提升和優(yōu)化相關(guān)算法。

城市大腦實(shí)驗(yàn)室介紹稱，數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)模型普遍面臨數(shù)據(jù)不均衡問(wèn)題，「以城市為例，它的信息呈長(zhǎng)尾分布，相比海量的正常信息，交通事故、車輛違規(guī)、突發(fā)災(zāi)害等異常信息的發(fā)生概率很小，樣本稀少，盡管可以通過(guò)大量增加少見(jiàn)樣本的辦法來(lái)部分解決問(wèn)題，但這么做成本高、效率低?！?/p>

基于自研算法，只需使用正常信息樣本，就能讓 AI 獲得無(wú)偏見(jiàn)的異常檢測(cè)結(jié)果。一旦出現(xiàn)緊急情況，比如某輛車和某個(gè)行人發(fā)生異常交互，城市大腦不必不懂裝懂或視而不見(jiàn)，而是可以實(shí)時(shí)識(shí)別和反饋信息。」未來(lái)，這一技術(shù)有望應(yīng)用于城市基礎(chǔ)視覺(jué)算法體系優(yōu)化、極少樣本城市異常事件感知能力優(yōu)化乃至多模態(tài)語(yǔ)義搜索、智能圖文生成等領(lǐng)域。

CVPR 是計(jì)算機(jī)視覺(jué)領(lǐng)域三大頂會(huì)之一，CVPR 2021 會(huì)議將于 6 月 19 日至 25 日在線舉行。今年大會(huì)收錄論文 1663 篇，接受率 27%。阿里巴巴集團(tuán)入選論文 41 篇，是 2020 年的 2.6 倍。

在下文中，《反事實(shí)的零次和開(kāi)集識(shí)別》論文一作岳中琪對(duì)他們的論文進(jìn)行了解析。

《反事實(shí)的零次和開(kāi)集識(shí)別》論文解析

現(xiàn)有的零次學(xué)習(xí)和開(kāi)集識(shí)別中，見(jiàn)過(guò)和未見(jiàn)過(guò)類別間識(shí)別率嚴(yán)重失衡，我們發(fā)現(xiàn)這種失衡是由于對(duì)未見(jiàn)過(guò)類別樣本失真的想象。由此，我們提出了一種反事實(shí)框架，通過(guò)基于樣本特征的反事實(shí)生成保真，在各個(gè)評(píng)估數(shù)據(jù)集下取得了穩(wěn)定的提升。這項(xiàng)工作的主要優(yōu)勢(shì)在于：

我們提出的 GCM-CF 是一個(gè)見(jiàn)過(guò) / 未見(jiàn)過(guò)類別的二元分類器，二元分類后可以適用任何監(jiān)督學(xué)習(xí)（在見(jiàn)過(guò)類別上）和零次學(xué)習(xí)算法（在未見(jiàn)過(guò)類別上）；

我們提出的反事實(shí)生成框架適用于各種生成模型，例如基于 VAE、GAN 或是 Flow 的；

我們提供了一種易于實(shí)現(xiàn)的兩組概念間解耦的算法

接下來(lái)我會(huì)具體介紹我們針對(duì)的任務(wù)、提出的框架和對(duì)應(yīng)的算法。

零次學(xué)習(xí)和開(kāi)集識(shí)別

很多人都認(rèn)識(shí)羚羊和貘這兩種動(dòng)物（如上圖所示），那么一個(gè)鼻子像貘的羚羊長(zhǎng)什么樣呢？可能大家能想象出一個(gè)類似于圖右的動(dòng)物（它叫高鼻羚羊）。在上面的過(guò)程中，我們就是在做零次學(xué)習(xí)(Zero-Shot Learning, ZSL)：雖然我們沒(méi)見(jiàn)過(guò)高鼻羚羊，但是通過(guò)現(xiàn)有的關(guān)于羚羊和貘的知識(shí)，我們就能想象出來(lái)這個(gè)未見(jiàn)類別的樣子，相當(dāng)于認(rèn)識(shí)了這個(gè)動(dòng)物。事實(shí)上，這種將已有知識(shí)泛化到未見(jiàn)事物上的能力，正是人能夠快速學(xué)習(xí)的一個(gè)重要原因。

我們?cè)賮?lái)看一個(gè)路牌的例子，我們很容易就認(rèn)出左邊的兩個(gè)路牌是熟悉的、見(jiàn)過(guò)的，而右邊的則是一個(gè)很奇怪的沒(méi)見(jiàn)過(guò)的路牌。人類很容易就能完成這樣的開(kāi)集識(shí)別(Open-Set Recognition, OSR)，因?yàn)槲覀儾粌H熟悉見(jiàn)過(guò)的樣本，也有對(duì)未知世界的認(rèn)知能力，使得我們知道見(jiàn)過(guò)和未見(jiàn)之間的邊界。

在機(jī)器學(xué)習(xí)當(dāng)中，這兩個(gè)任務(wù)的定義如上圖所示。零次學(xué)習(xí)訓(xùn)練集提供類別集合 S。對(duì)于上面的圖片，除了每張圖片的類別標(biāo)簽，每個(gè)類別還額外有一個(gè)屬性特征 (attribute) 來(lái)描述這個(gè)類的特點(diǎn)（比如有翅膀，圓臉等等）。測(cè)試的時(shí)候有兩種設(shè)定：在 Conventional ZSL 下全部是未見(jiàn)類別 U 中的圖片（S∩U=?），并且測(cè)試的時(shí)候也會(huì)給定 U 類別的 dense label。而在 Generalized ZSL 中，測(cè)試集會(huì)有 S 和 U 中的圖片。開(kāi)集識(shí)別的訓(xùn)練集則和普通的監(jiān)督學(xué)習(xí)沒(méi)有差別，只是在測(cè)試的時(shí)候會(huì)有訓(xùn)練未見(jiàn)過(guò)類別的樣本。分類器除了正確識(shí)別見(jiàn)過(guò)的類，還要將未見(jiàn)過(guò)的類標(biāo)成「未知」。

現(xiàn)有的 ZSL 和 OSR 的主要方法是基于生成的，比如 ZSL 中用未見(jiàn)類別的屬性特征生成圖片，然后在 image space 中進(jìn)行比較。然而，生成模型會(huì)自然地偏向見(jiàn)過(guò)的訓(xùn)練集，使得對(duì)于未見(jiàn)類別的想象失真了（這其實(shí)是因?yàn)閷傩蕴卣鞯?entanglement，這里我不詳細(xì)展開(kāi)，大家可以參考一下論文）。比如訓(xùn)練的時(shí)候見(jiàn)過(guò)大象的長(zhǎng)鼻子，而去想象沒(méi)見(jiàn)過(guò)的貘的長(zhǎng)鼻子的時(shí)候，就會(huì)想象成大象的鼻子。左邊的圖展現(xiàn)了這種失真：紅色是訓(xùn)練集里面的樣本，藍(lán)色是 ground-truth 的未見(jiàn)過(guò)類別的樣本，綠色是現(xiàn)有方法對(duì)未見(jiàn)過(guò)類別的想象，這些想象已經(jīng)脫離了樣本空間，既不像見(jiàn)過(guò)的類，也不像沒(méi)見(jiàn)過(guò)的類（綠色的點(diǎn)偏離了藍(lán)色和紅色的點(diǎn)）。這就解釋了為什么見(jiàn)過(guò)和未見(jiàn)過(guò)類別的識(shí)別率會(huì)失衡了：用綠色和紅色樣本學(xué)習(xí)的分類器（黑色虛線）犧牲了未見(jiàn)過(guò)類的 recall 來(lái)提高見(jiàn)過(guò)類的 recall。

反事實(shí)生成框架

那么如何在想像的時(shí)候保真？我們來(lái)思考一下人是怎么想像的：在想像一個(gè)古代生物的樣子時(shí)，我們會(huì)基于它的化石骨架（圖左）；在想象動(dòng)畫世界的一個(gè)場(chǎng)景時(shí)，我們會(huì)參考現(xiàn)實(shí)世界（圖右）。這些想象的本質(zhì)其實(shí)是一種反事實(shí)推理（counterfactual inference），給定這樣的化石（fact），如果它還活著（counterfact），會(huì)是什么樣子呢？給定現(xiàn)實(shí)世界的某個(gè)場(chǎng)景，如果這個(gè)場(chǎng)景到了動(dòng)畫世界，它是什么樣子呢？我們的想象，通過(guò)建立在 fact 的基石上，就變得合情合理而非天馬行空。

那么可否在 ZSL 和 OSR 當(dāng)中利用反事實(shí)產(chǎn)生合理的想象呢？我們首先為這兩個(gè)任務(wù)構(gòu)建了一個(gè)基于因果的生成模型 Generative Causal Model (GCM)，我們假設(shè)觀測(cè)到的圖片 X 是由樣本特征 Z（和類別無(wú)關(guān)，比如物體的 pose 等）和類別特征 Y（比如有羽毛，圓臉等）生成的?，F(xiàn)有的基于生成的方法其實(shí)在學(xué)習(xí) P(X|Z,Y)，然后把 Y 的值設(shè)為某個(gè)類的特征（比如 ZSL 中的 dense label），把 Z 設(shè)成高斯噪聲，就可以生成很多這個(gè)類的樣本了。

反事實(shí)生成和現(xiàn)有生成模型的最大區(qū)別就是基于特定的樣本特征 Z=z（fact）來(lái)進(jìn)行生成，而非高斯噪聲。具體過(guò)程如上圖所示，對(duì)于一個(gè)圖片 x，我們通過(guò) encoder z(?)拿到這個(gè)圖片的樣本特征 Z=z(x)（比如 front-view，walking 等），基于這個(gè)樣本特征 Z（fact）和不同的類別特征 Y（counterfact），我們可以生成不同類別的反事實(shí)圖片 x ?（front-view,walking 的貓，羊和雞等等）。直覺(jué)上我們知道，因?yàn)榉词聦?shí)生成的貓、羊和雞的圖片和 x 不像，x 肯定不屬于這三個(gè)類別。這種直覺(jué)其實(shí)是有理論支持的 --- 叫做反事實(shí)一致性（Counterfactual Consistency Rule），通俗的解釋就是 counterfact 和 fact 重合時(shí)，得到的結(jié)果就是 factual 的結(jié)果，比如 fact 是昨天吃冰淇凌拉肚子，那么反事實(shí)問(wèn)題「如果我昨天吃冰淇凌會(huì)怎么樣呢？」的答案就是拉肚子。那么如何通過(guò) consistency rule 解決 ZSL 和 OSR 呢？

GCM-CF 算法

我們的 GCM-CF 算法流程如上圖所示，它本質(zhì)上是一個(gè)基于 consistency rule 的二元分類器，去判斷某個(gè)樣本是屬于見(jiàn)過(guò)還是沒(méi)見(jiàn)過(guò)的類。

訓(xùn)練的時(shí)候我們學(xué)習(xí)一個(gè) GCM。測(cè)試的時(shí)候，對(duì)于每個(gè)樣本 X=x，我們用上一節(jié)介紹的步驟進(jìn)行反事實(shí)生成：用這個(gè)樣本自己的 Z=z(x)，拼上不同的類別特征 Y=y，然后用 P(X|Z=z(x),Y=y)生成 x ?。這樣生成的樣本可以證明是「保真」（Counterfactual Faithful）的，也就是在樣本空間里面，那么我們就能夠用樣本空間當(dāng)中的量度去比較 x 和生成的 x ?，從而用 consistency rule 判斷 x 是屬于見(jiàn)過(guò)的還是沒(méi)見(jiàn)過(guò)的類。

具體到任務(wù)中，在 ZSL 里面，我們用未見(jiàn)過(guò)類別的 attribute（圖中 Y_U）生成反事實(shí)樣本，然后用訓(xùn)練集的樣本（見(jiàn)過(guò)的類）和生成的樣本（未見(jiàn)過(guò)的類）訓(xùn)練一個(gè)線性分類器，對(duì)輸入樣本 X=x 進(jìn)行分類后，我們?nèi)∫?jiàn)過(guò)類和未見(jiàn)過(guò)類概率的 top-K 的平均值。如果未見(jiàn)過(guò)類上的平均值較小，我們就認(rèn)為樣本 X=x 不像未見(jiàn)過(guò)的類（not consistent），把這個(gè)樣本標(biāo)注成屬于見(jiàn)過(guò)的類，并使用在見(jiàn)過(guò)類的樣本上面監(jiān)督學(xué)習(xí)的分類器來(lái)分類（這其實(shí)是基于 consistency rule 的換質(zhì)位推理，具體見(jiàn)論文）；反之如果 consistent，就標(biāo)注為為見(jiàn)過(guò)的類，然后用任何 Conventional ZSL 的算法對(duì)其分類。在 OSR 里面，因?yàn)闆](méi)有未見(jiàn)類別的信息，我們用見(jiàn)過(guò)類的 one-hot label（圖中 Y_S）作為 Y 生成反事實(shí)樣本，如果 x 和生成的樣本在歐式距離下都很遠(yuǎn)（not consistent），就認(rèn)為 x 屬于未見(jiàn)過(guò)的類，并標(biāo)為「未知」，反之則用監(jiān)督學(xué)習(xí)的分類器即可。

可以看到，算法的核心要求是生成保真的樣本，這樣才能用 consistency rule 做推理。這個(gè)性質(zhì)可以由 Counterfactual Faithfulness Theorem 來(lái)保證，簡(jiǎn)單來(lái)說(shuō)就是：保真生成的充要條件是樣本特征和類別特征之間解耦（disentangle）。我們通過(guò)三個(gè) loss 實(shí)現(xiàn)：

β-VAE loss：這個(gè) loss 要求 encode 得到的 Z=z(x)，和樣本自己的 Y=y，可以重構(gòu)樣本 X=x，并且 encode 出來(lái)的 Z 要非常符合 isotropic Gaussian 分布。這樣通過(guò)使 Z 的分布和 Y 無(wú)關(guān)實(shí)現(xiàn)解耦；

Contrastive loss：反事實(shí)生成的樣本中，x 只和自己類別特征生成的樣本像，和其他類別特征生成的樣本都遠(yuǎn)。這個(gè)避免了生成模型只用 Z 里面的信息進(jìn)行生成而忽略了 Y，從而進(jìn)一步把 Y 的信息從 Z 里解耦；

GAN loss：這個(gè) loss 直接要求反事實(shí)生成的樣本被 discriminator 認(rèn)為是真實(shí)的，通過(guò)充要條件，用保真來(lái)進(jìn)一步解耦。

實(shí)驗(yàn)

在介紹實(shí)驗(yàn)前，值得注意的是 ZSL 常用的 Proposed Split 官方給的數(shù)據(jù)集之前有一個(gè)數(shù)據(jù)泄露的 bug，這使得一些方法在見(jiàn)過(guò)類別（S）的表現(xiàn)特別高。去年的時(shí)候官方網(wǎng)站上放出了 Proposed Split V2，解決了這個(gè) bug。我們下面的實(shí)驗(yàn)都是在改過(guò)的數(shù)據(jù)集上跑的。

減輕見(jiàn)過(guò)和未見(jiàn)過(guò)類別識(shí)別率的失衡

下面的 tsne 顯示了反事實(shí)生成的結(jié)果，可以看到通過(guò) condition 樣本特征（藍(lán)星是未見(jiàn)類的樣本，紅星是見(jiàn)過(guò)的），生成的未見(jiàn)類別的樣本確實(shí)保真了（在藍(lán)點(diǎn)中間），得到的 decision boundary（黑線）也 balanced 了。這在 ZSL 的 4 個(gè)常用數(shù)據(jù)集上也體現(xiàn)了出來(lái)，我們的方法大幅提高了未見(jiàn)類別 (U) 的準(zhǔn)確率，從而使得整體的準(zhǔn)確率 H(harmonic mean)提高了，達(dá)到了 SOTA 的表現(xiàn)?，F(xiàn)有的方法其實(shí)也有一個(gè)簡(jiǎn)單的解決失衡的辦法，就是直接調(diào)整見(jiàn)過(guò)類別的 logits，通過(guò)改變調(diào)整的幅度，我們可以得到一個(gè)見(jiàn)過(guò)類別和未見(jiàn)過(guò)類別的曲線，可以看到我們的方法（紅線）在各個(gè)調(diào)整幅度下都更高，說(shuō)明它能從根本上減輕失衡，這是簡(jiǎn)單的調(diào)整所不能完成的。

強(qiáng)大的見(jiàn)過(guò) / 未見(jiàn)過(guò)類別的分類器

我們的方法能夠適用任何的 conventional ZSL 算法，我們測(cè)試了 inference-based 的 RelationNet，和三個(gè)基于不同生成網(wǎng)絡(luò)的 generation-based 的方法，發(fā)現(xiàn)加上我們的方法都獲得了提高，并且超過(guò)了用現(xiàn)在 SOTA 的 TF-VAEGAN 作為見(jiàn)過(guò) / 未見(jiàn)過(guò)的分類器的表現(xiàn)。

強(qiáng)大的開(kāi)集分類器

我們?cè)诔Ｓ玫膸讉€(gè)數(shù)據(jù)集上做了開(kāi)集識(shí)別的實(shí)驗(yàn)（用的 F1 指標(biāo)），并取得了 SOTA 的表現(xiàn)。因?yàn)殚_(kāi)集識(shí)別中未見(jiàn)過(guò)類別的數(shù)量是未知的，所以好的分類器必須在數(shù)量少和多的情況下都好。在右圖中我們畫了 F1 分?jǐn)?shù)和未見(jiàn)過(guò)類別的數(shù)量（從少到多）的曲線，我們的方法（藍(lán)色）在每個(gè)情況下都是最好，并且在未見(jiàn)類別測(cè)試中，很多時(shí)候（藍(lán)色曲線末尾）F1 基本沒(méi)有下降，體現(xiàn)了較強(qiáng)的魯棒性。

結(jié)語(yǔ)

這篇工作是我們對(duì)于解耦表示（disentangled representation）的一點(diǎn)點(diǎn)探究和摸索，把難以實(shí)現(xiàn)的所有 factor full disentangle，放寬成為兩組概念（樣本特征和類別特征）之間的 disentangle，并借著 disentangle 帶來(lái)的 faithfulness 性質(zhì)，使我們提出的反事實(shí)生成框架變?yōu)榭赡?。這也從一個(gè)側(cè)面反映了解耦是因果推理的一個(gè)重要的前提，當(dāng)不同的概念被區(qū)分開(kāi)（比如解耦的表示）時(shí)，我們就可以基于它們之間的因果關(guān)系進(jìn)行推理，得到魯棒、穩(wěn)定、可泛化的結(jié)論。

我也看到一些對(duì)于解耦的悲觀和質(zhì)疑。確實(shí)，目前就連解耦的定義都沒(méi)有定論，更不要說(shuō)方法、evaluation 等等了。但這些困難也是可預(yù)見(jiàn)的：解耦在幫助機(jī)器跨越一個(gè)層級(jí)，從學(xué)習(xí)觀測(cè)到的數(shù)據(jù)中的規(guī)律，到探究這些數(shù)據(jù)產(chǎn)生的原因 --- 就像人知道太陽(yáng)每天會(huì)升起的規(guī)律是容易的，但明白為什么太陽(yáng)會(huì)升起卻花了幾千年。這里也鼓勵(lì)大家多多關(guān)注、探索解耦這個(gè)領(lǐng)域，說(shuō)不定帶來(lái)下一個(gè)突破的就是你啊。

最后附上我們論文的引用：

@inproceedings{yue2021counterfactual,
  title={Counterfactual Zero-Shot and Open-Set Visual Recognition},
  author={Yue, Zhongqi and Wang, Tan and Zhang, Hanwang and Sun, Qianru and Hua, Xian-Sheng},
  booktitle= {CVPR},
  year={2021}
}