GPT理解的CV：基于Yolov5的半監(jiān)督目標檢測

主要貢獻是提出了一種名為“Efficient Teacher”的半監(jiān)督目標檢測算法。與傳統(tǒng)的監(jiān)督學習算法不同，Efficient Teacher利用無標簽數(shù)據(jù)進行訓練，并且在訓練過程中使用了半監(jiān)督學習的方法。這種方法可以有效地利用無標簽數(shù)據(jù)，減少過擬合的風險，并且可以提高模型的泛化能力。

注意：本文主要是GPT解讀，如有差異請在留言指出！

01

概要

半監(jiān)督目標檢測（SSOD）已經(jīng)成功地提高了R-CNN系列和無錨檢測器的性能。然而，一級基于錨的檢測器缺乏生成高質(zhì)量或靈活偽標簽的結(jié)構(gòu)，導致SSOD中存在嚴重的不一致性問題。在今天分享中，提出了一個高效的教師框架，用于可擴展和有效的基于單階段錨的SSOD訓練，該框架由密集檢測器、偽標簽分配器和Epoch適配器組成。Dense Detector是一個基線模型，它以YOLOv5為靈感，使用密集采樣技術(shù)擴展了RetinaNet。高效教師框架引入了一種新的偽標簽分配機制，稱為偽標簽分配器，它更精細地利用了密集檢測器中的偽標簽。

Epoch Adaptor是一種為密集探測器提供穩(wěn)定高效的端到端SSOD訓練計劃的方法。偽標簽分配器防止了在師生相互學習機制期間由大量低質(zhì)量偽標簽引起的可能干擾密集檢測器的偏差的發(fā)生，并且Epoch適配器利用域和分布自適應(yīng)來允許密集檢測器學習全局分布的一致特征，使得訓練與標記數(shù)據(jù)的比例無關(guān)。我們的實驗表明，高效教師框架在VOC、COCO標準和COCO附加方面取得了最先進的結(jié)果，使用的FLOP比以前的方法更少。據(jù)我們所知，這是將SSOD應(yīng)用于YOLOv5的第一次嘗試。

02

新框架

高效教師（Efficient Teacher）是一種新穎高效的半監(jiān)督目標檢測框架，它顯著提高了基于單級錨點的檢測器的性能。該框架基于師生相互學習的方法，如下圖所示，靈感來自以前的工作。提出的偽標簽分配器方法根據(jù)偽標簽的得分將其分為可靠和不確定的偽標簽，其中可靠的偽標簽用于默認監(jiān)督訓練，不確定的用于指導軟損失學生模型的訓練。Epoch-Adaptor方法通過在標記數(shù)據(jù)和未標記數(shù)據(jù)之間進行域自適應(yīng)，并計算每個歷元中偽標簽的閾值，來加速收斂。在整個培訓過程中，教師模型采用指數(shù)移動平均（EMA）技術(shù)進行更新。

比較RetinaNet和檢測聚類器的偽指標分布圖，發(fā)現(xiàn)：

（a）RetinaNet使用了更少的輸入數(shù)據(jù)，產(chǎn)生了更高的分辨率，暗色表示分數(shù)較低；
（b）檢測聚類器利用更多的輸入數(shù)據(jù)，根據(jù)物體特征和分類結(jié)果產(chǎn)生了更強健和更密集的反應(yīng)。

偽標簽過濾是 SSOD 中常用的一種方法，閾值設(shè)置太低會產(chǎn)生錯誤的偽標簽，而閾值設(shè)置太高則可能排除可靠的偽標簽，從而導致分配不佳，進而影響網(wǎng)絡(luò)訓練的效果。為了解決這個問題，我們提出了偽標簽分配器方法，該方法根據(jù)高低閾值將偽標簽分為可靠和不可靠的類別，分別為目標 L 提高單目標 SSOD 中偽標簽的質(zhì)量。

Main epoch 表示整個訓練期間不中斷，并且在執(zhí)行期間沒有任何新權(quán)重的加載。有效教師的訓練策略：（a）在標記數(shù)據(jù)上進行監(jiān)督訓練，然后在未標記數(shù)據(jù)上進行基于標記的 SSOD 訓練；（b）在標記數(shù)據(jù)上進行監(jiān)督訓練，并在未標記數(shù)據(jù)上進行基于標記的 SSOD 訓練以外的額外基于標記的 SSOD 訓練；（c）在標記數(shù)據(jù)和未標記數(shù)據(jù)上進行端到端訓練，并使用適應(yīng)域和分布的 Epoch 適配器以改進收斂和特征分布。

03

實驗

Experimental results on COCO-standard (AP50:95)

PASCAL-VOC的實驗結(jié)果。?表示使用ImageNet預(yù)訓練骨干來初始化高效教師