IJCAI 2021 | 不確定性感知小樣本圖像分類(lèi)模型，實(shí)現(xiàn)SOTA性能

編者按：小樣本圖像分類(lèi)是小樣本學(xué)習(xí)研究領(lǐng)域中的一個(gè)熱點(diǎn)問(wèn)題，對(duì)其展開(kāi)應(yīng)用和研究，有十分重大的現(xiàn)實(shí)意義?；诙攘繉W(xué)習(xí)的方法在該領(lǐng)域中得到了廣泛應(yīng)用，并且取得了顯著效果。但是在應(yīng)用這種方法時(shí)，由于觀測(cè)噪聲的存在，所以網(wǎng)絡(luò)模型對(duì)于不同輸入對(duì)應(yīng)的特征表達(dá)具有不同的置信度。對(duì)不確定度的建模和利用，對(duì)于提升優(yōu)化效率十分重要。

因此，微軟亞洲研究院的研究員們提出了不確定性感知小樣本圖像分類(lèi)方法。相關(guān)研究論文“Uncertainty-Aware Few-Shot Image Classification”已被國(guó)際人工智能聯(lián)合會(huì)議 IJCAI 2021 收錄。歡迎感興趣的讀者點(diǎn)擊閱讀原文，查看論文全文。

小樣本學(xué)習(xí)可以降低機(jī)器學(xué)習(xí)算法的數(shù)據(jù)依賴(lài)性，對(duì)于實(shí)際應(yīng)用意義重大。其中，小樣本圖像分類(lèi)旨在從少量標(biāo)注樣本中學(xué)習(xí)識(shí)別新的類(lèi)別。在該領(lǐng)域中，基于度量學(xué)習(xí)的方法得到了廣泛研究并取得了顯著效果。具體而言，這種方法是按照特征空間相似度將待分類(lèi)樣本與支持集合中最近鄰的類(lèi)中心進(jìn)行匹配，進(jìn)而實(shí)現(xiàn)分類(lèi)的。但是，由于觀測(cè)噪聲的存在，網(wǎng)絡(luò)模型對(duì)于不同輸入對(duì)應(yīng)的特征表達(dá)具有不同的置信度。對(duì)不確定度的建模和利用，對(duì)于提升小樣本學(xué)習(xí)的優(yōu)化效率十分重要，但這在以前卻經(jīng)常被忽略。

因此，微軟亞洲研究院的研究員們提出了不確定性感知小樣本圖像分類(lèi)方法。該方法將“樣本-類(lèi)中心”對(duì)的相似度從原來(lái)的確定性表征轉(zhuǎn)變?yōu)楦怕驶碚?，并且將相似度的不確定性在該概率化表征中進(jìn)行參數(shù)化。同時(shí)該方法還利用圖模型，聯(lián)合預(yù)測(cè)每個(gè)樣本與支撐集中所有的類(lèi)中心相似度的不確定性，以實(shí)現(xiàn)不確定性感知優(yōu)化。最后，研究員們還基于強(qiáng)基線模型對(duì)該方法進(jìn)行了性能驗(yàn)證。相對(duì)于該強(qiáng)基線模型，本文提出方法的性能得到了顯著提升，并超過(guò) SOTA 方法。相關(guān)研究論文“Uncertainty-Aware Few-Shot Image Classification”已被國(guó)際人工智能聯(lián)合會(huì)議 IJCAI 2021 收錄。

論文鏈接：https://arxiv.org/pdf/2010.04525.pdf

方法簡(jiǎn)介

在基于度量學(xué)習(xí)的小樣本圖像分類(lèi)中，“樣本-類(lèi)中心”對(duì)的相似度由樣本和類(lèi)中心在特征空間中的表征共同決定。因此與之前的工作不同，本文的方法不再對(duì)特征表征的不確定性建模，而是對(duì)特征相似度的不確定性進(jìn)行建模。（如圖1）

圖1：不確定性感知圖像分類(lèi)的流程圖

不確定度建模：研究員們首先對(duì)待分類(lèi)樣本（query）和支持集（support）中的樣本進(jìn)行特征提取，將每個(gè)樣本用一個(gè)特征向量表示。同時(shí)對(duì)支撐集中每個(gè)類(lèi)別的不同樣本的特征向量進(jìn)行平均，進(jìn)而得到類(lèi)中心。然后，研究員們將每個(gè)樣本和類(lèi)中心之間的相似度建模成一個(gè)由均值 μ 和方差 σ 參數(shù)化的高斯分布。其中，均值 μ 表示根據(jù)確定性方式計(jì)算得到的相似度度量，并以此代表最有可能的相似度度量值；方差 σ 則表示該相似度的不確定程度。

不確定度估計(jì)：考慮到基于相似度的圖像分類(lèi)，是將待分類(lèi)樣本與所有的類(lèi)中心進(jìn)行相似度計(jì)算，從而對(duì)應(yīng)于一個(gè)“聯(lián)合決策”過(guò)程。因此，研究員們提出：基于全局上下文信息，利用圖模型聯(lián)合估計(jì)所有“樣本-類(lèi)中心”對(duì)的相似度不確定性。對(duì)于一個(gè)給定的待分類(lèi)樣本，可將其對(duì)應(yīng)的所有“樣本-類(lèi)中心”對(duì)作為圖模型中的節(jié)點(diǎn)，進(jìn)而利用圖模型進(jìn)行全局范圍內(nèi)的信息傳遞。該圖模型對(duì)應(yīng)節(jié)點(diǎn)的輸出即為對(duì)應(yīng)于“樣本-類(lèi)中心”對(duì)相似度的不確定性估計(jì)結(jié)果。

基于圖模型的不確定性預(yù)測(cè)器具有兩個(gè)優(yōu)點(diǎn)：（1）對(duì)參與分類(lèi)任務(wù)的類(lèi)別數(shù)有可伸縮性，使得可以在網(wǎng)絡(luò)訓(xùn)練的不同階段對(duì)不確定性預(yù)測(cè)器進(jìn)行訓(xùn)練；（2）可以利用全局上下文信息進(jìn)行不確定性預(yù)測(cè)。

不確定性感知優(yōu)化：通過(guò)上述對(duì)于相似度不確定性的建模，研究員們將相似度從確定性表征轉(zhuǎn)變成概率化表征。此時(shí)，分類(lèi)的 logits 將從一個(gè)概率分布變成一個(gè)聯(lián)合概率分布，其每一維由一個(gè)高斯分布建模。由于該聯(lián)合概率分布的期望的解析解難以得到，所以研究員們采用了 Monte Carlo 積分，對(duì)該聯(lián)合分布期望進(jìn)行近似估計(jì)，從而實(shí)現(xiàn)不確定性感知優(yōu)化。

實(shí)驗(yàn)結(jié)果

基線模型：本文工作基于一個(gè)強(qiáng)基線模型進(jìn)行性能驗(yàn)證。該強(qiáng)基線模型的訓(xùn)練分兩個(gè)階段進(jìn)行：

（1）全局分類(lèi)訓(xùn)練階段。對(duì)訓(xùn)練集中的所有類(lèi)別，通過(guò)一個(gè)由全連接層構(gòu)建的分類(lèi)器，利用交叉熵?fù)p失函數(shù)，對(duì)特征提取器和分類(lèi)器進(jìn)行模型訓(xùn)練。

（2）回合制訓(xùn)練階段。在該階段，每次隨機(jī)采樣 N 個(gè)類(lèi)別，每個(gè)類(lèi)別隨機(jī)采樣 K 個(gè)樣本，從而組成一個(gè)“N-way，K-shot”的支撐集，進(jìn)而計(jì)算待分類(lèi)樣本與支撐集合中所有類(lèi)中心在特征空間的相似度。最后，利用交叉熵?fù)p失函數(shù)進(jìn)行基于相似度的分類(lèi)訓(xùn)練。

性能驗(yàn)證實(shí)驗(yàn)：首先驗(yàn)證不確定性建模對(duì)于不同訓(xùn)練階段優(yōu)化的有效性，實(shí)驗(yàn)結(jié)果如表1所示。其中“w/o U”表示不使用不確定性感知優(yōu)化；“w U”表示使用本文提出的不確定性感知優(yōu)化；“no”表示不進(jìn)行對(duì)應(yīng)階段的訓(xùn)練。

表1：相似度不確定性建模對(duì)于不同訓(xùn)練階段的有效性分析

由表1可知，在不同階段中使用本文提出的不確定感知優(yōu)化方法，對(duì)于小樣本圖像分類(lèi)任務(wù)的準(zhǔn)確率均有明顯提升。除此以外，在第一個(gè)階段中對(duì)不確定性預(yù)測(cè)器進(jìn)行預(yù)訓(xùn)練，可以使模型取得更優(yōu)的實(shí)驗(yàn)結(jié)果。這得益于圖模型構(gòu)建的不確定性預(yù)測(cè)器，從而使其對(duì)于參與分類(lèi)任務(wù)的類(lèi)別數(shù)具有可伸縮性。

不同建模方式的對(duì)照實(shí)驗(yàn)：在該實(shí)驗(yàn)中，研究員們將對(duì)相似度及樣本的特征表達(dá)進(jìn)行不確定性建模和實(shí)驗(yàn)對(duì)比。同時(shí)，研究員們還對(duì)比了不確定性預(yù)測(cè)器不同的結(jié)構(gòu)設(shè)計(jì)，實(shí)驗(yàn)結(jié)果如表2所示。其中，“SampleU”表示對(duì)樣本表征進(jìn)行不確定性建模；“SimiU”表示對(duì)“樣本-類(lèi)中心”對(duì)相似度進(jìn)行不確定性建模。“Conv-based”表示基于卷積模型的不確定性預(yù)測(cè)器；“Graph-based”表示基于圖模型的不確定性預(yù)測(cè)器。實(shí)驗(yàn)結(jié)果表明，本文提出的相似度不確定性建模方法和基于圖模型的不確定性預(yù)測(cè)器具有較好的實(shí)驗(yàn)性能。

表2：不同不確定性的建模和預(yù)測(cè)方式對(duì)比實(shí)驗(yàn)

與 SOTA 方法的性能對(duì)比：研究員們?cè)?mini-ImageNet、tiered-ImageNet、CIFAR-FS 和 FC-100 四個(gè)通用小樣本圖像分類(lèi)數(shù)據(jù)集上，將所提出的不確定性感知小樣本圖像分類(lèi)模型與 SOTA 方法進(jìn)行性能對(duì)比，實(shí)驗(yàn)結(jié)果如表3所示。實(shí)驗(yàn)證明了本文提出的方法在大多數(shù)情況下均能超過(guò)已有 SOTA 方法。

表3：與 SOTA 方法的性能對(duì)比。其中“l(fā)1-l2-l3-l4”表示由四層卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成的 Backbone 模型，各層的卷積核數(shù)目分別為 l1，l2，l3 和 l4。

結(jié)論

在本文中，研究員們提出了不確定性感知小樣本圖像分類(lèi)方法。利用數(shù)據(jù)獨(dú)立的不確定性建模，來(lái)降低觀測(cè)噪聲對(duì)于小樣本學(xué)習(xí)的不良影響。研究員們首先將“樣本-類(lèi)中心”對(duì)的相似度從確定性建模方式轉(zhuǎn)變?yōu)楦怕驶７绞剑蝗缓笤O(shè)計(jì)了一個(gè)基于圖模型的不確定性預(yù)測(cè)器，利用全局范圍的上下文信息對(duì)“樣本-類(lèi)中心”對(duì)的相似度不確定性進(jìn)行聯(lián)合預(yù)測(cè)，從而實(shí)現(xiàn)不確定性感知優(yōu)化。與此同時(shí)，通過(guò)實(shí)驗(yàn)對(duì)比，還驗(yàn)證了本文提出方法的有效性，并證明了該方法能夠在多個(gè)通用公開(kāi)數(shù)據(jù)集上取得 SOTA 的實(shí)驗(yàn)性能。

本文作者：張直政