多尺度特征融合：為檢測學習更好的語義信息（附論文下載）

一、前言

本文提出了一種基于單模態(tài)語義分割的新型坑洼檢測方法。它首先使用卷積神經(jīng)網(wǎng)絡從輸入圖像中提取視覺特征，然后通道注意力模塊重新加權通道特征以增強不同特征圖的一致性。隨后，研究者采用了一個空洞空間金字塔池化模塊（由串聯(lián)的空洞卷積組成，具有漸進的擴張率）來整合空間上下文信息。

這有助于更好地區(qū)分坑洼和未損壞的道路區(qū)域。最后，使用研究者提出的多尺度特征融合模塊融合相鄰層中的特征圖，這進一步減少了不同特征通道層之間的語義差距。在Pothole-600數(shù)據(jù)集上進行了大量實驗，以證明提出的方法的有效性。定量比較表明，新提出的方法在RGB圖像和轉(zhuǎn)換后的視差圖像上均達到了最先進的 (SoTA) 性能，優(yōu)于三個SoTA單模態(tài)語義分割網(wǎng)絡。

二、前言

在最先進的（SoTA）語義分割CNN中，全卷積網(wǎng)絡(FCN)用卷積層替換了傳統(tǒng)分類網(wǎng)絡中使用的全連接層，以獲得更好的分割結果。上下文信息融合已被證明是一種有效的工具，可用于提高分割精度。ParseNet通過連接全局池化特征來捕獲全局上下文。PSPNet引入了空間金字塔池化(SPP)模塊來收集不同尺度的上下文信息。Atrous SPP(ASPP)應用不同的空洞卷積來捕獲多尺度上下文信息，而不會引入額外的參數(shù)。

三、新框架

給定道路圖像，坑洼可以具有不同的形狀和尺度。我們可以通過一系列的卷積和池化操作獲得頂層的特征圖。雖然特征圖具有豐富的語義信息，但其分辨率不足以提供準確的語義預測。不幸的是，直接結合低級特征圖只能帶來非常有限的改進。為了克服這個缺點，研究者設計了一個有效的特征融合模塊。

研究者提出的道路坑洼檢測網(wǎng)絡的架構如上圖所示。首先，采用預訓練的dilated ResNet-101作為主干來提取視覺特征，還在最后兩個ResNet-101塊中用空洞卷積替換下采樣操作，因此最終特征圖的大小是輸入圖像的1/8。

該模塊有助于在不引入額外參數(shù)的情況下保留更多細節(jié)。此外，采用Deeplabv3中使用的ASPP模塊來收集頂層特征圖中的上下文信息。然后，采用CAM重新加權不同通道中的特征圖。它可以突出一些特征，從而產(chǎn)生更好的語義預測。最后，將不同級別的特征圖輸入到MSFFM中，以提高坑洼輪廓附近的分割性能。

• Multi-scale feature fusion

頂部特征圖具有豐富的語義信息，但其分辨率較低，尤其是在坑洼邊界附近。另一方面，較低的特征圖具有低級語義信息但分辨率更高。為了解決這個問題，一些框架直接將不同層的特征圖組合起來。然而，由于不同尺度的特征圖之間的語義差距，他們?nèi)〉玫母倪M非常有限。

注意模塊已廣泛應用于許多工作中。受一些成功應用的空間注意力機制的啟發(fā)，研究者引入了MSFFM，它基于空間注意力來有效地融合不同尺度的特征圖。語義差距是特征融合的關鍵挑戰(zhàn)之一。

為了解決這個問題，MSFFM通過矩陣乘法計算不同特征圖中像素之間的相關性，然后將相關性用作更高級別特征圖的權重向量。

總之，研究者利用矩陣乘法來測量來自不同層的特征圖中像素的相關性，將來自較低特征圖的詳細信息整合到最終輸出中，從而提高了坑洞邊界的語義分割性能。在最后兩層之間應用這個模塊。

• Channel-wise feature reweighing

眾所周知，高級特征具有豐富的語義信息，每個通道圖都可以看作是一個特定類別的響應。每個響應都會在不同程度上影響最終的語義預測。因此，研究者利用CAM，如下圖所示，通過改變每個通道中的特征權重來增強每一層中特征圖的一致性。

CAM旨在根據(jù)每個特征圖的整體像素重新加權每個通道。首先采用全局平均池化層來壓縮空間信息。隨后，使用修正線性單元(ReLU)和sigmoid函數(shù)生成權重向量，最終通過逐元素乘法運算將權重向量與輸入特征圖組合以生成輸出特征圖。整體信息被整合到權重向量中，使得特征圖更可靠，坑洼檢測結果更接近GT實況。在最終的實驗中，在第4層和第5層使用了CAM。

四、實驗及可視化

*baseline network使用的是Deeplabv3

性能比較

坑洼檢測結果示例：(a) RGB圖像；(b)轉(zhuǎn)換后的視差圖像；(c)坑洼地面真相；(d)語義RGB圖像分割結果；(e)語義變換視差圖像分割結果。

在上圖中提供了提出的道路坑洼檢測方法的一些定性結果，其中可以觀察到CNN在轉(zhuǎn)換后的視差圖像上取得了準確的結果。從綜合實驗評估中獲得的結果證明了新提出的方法與其他SoTA技術相比的有效性和優(yōu)越性。由于提出了CAM和MSFFM，新方法在RGB和轉(zhuǎn)換后的視差圖像上實現(xiàn)了更好的坑洼檢測性能。