語(yǔ)義分割綜述（3）

FastFCN：重新思考語(yǔ)義分割主干中的擴(kuò)張卷積

論文：FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation (2019)

代碼：https://github.com/wuhuikai/FastFCN

本文提出了一個(gè)名為Joint Pyramid Upsampling（JPU）的聯(lián)合上采樣模塊來(lái)代替消耗大量時(shí)間和內(nèi)存的擴(kuò)張卷積。它的工作原理是將提取高分辨率地圖的功能制定為聯(lián)合上采樣問題。

該方法在 Pascal Context 數(shù)據(jù)集上實(shí)現(xiàn)了 53.13% 的 mIoU 性能，并且運(yùn)行速度提高了 3 倍。

該方法實(shí)現(xiàn)了一個(gè)全連接網(wǎng)絡(luò)（FCN）作為主干，同時(shí)應(yīng)用 JPU 對(duì)低分辨率的最終特征圖進(jìn)行上采樣，從而產(chǎn)生高分辨率的特征圖。用 JPU 替換擴(kuò)張卷積不會(huì)導(dǎo)致任何性能損失。

聯(lián)合采樣使用低分辨率目標(biāo)圖像和高分辨率引導(dǎo)圖像。然后通過傳輸引導(dǎo)圖像的結(jié)構(gòu)和細(xì)節(jié)來(lái)生成高分辨率的目標(biāo)圖像。

通過視頻傳播和標(biāo)簽松弛改進(jìn)語(yǔ)義分割

論文：FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation (2019)

代碼：https://github.com/NVIDIA/semantic-segmentation

本文提出了一種基于視頻的方法，通過合成新的訓(xùn)練樣本來(lái)擴(kuò)展訓(xùn)練集。這旨在提高語(yǔ)義分割網(wǎng)絡(luò)的準(zhǔn)確性。它探索了視頻預(yù)測(cè)模型預(yù)測(cè)未來(lái)幀以預(yù)測(cè)未來(lái)標(biāo)簽的能力。

該論文表明，在來(lái)自合成數(shù)據(jù)的數(shù)據(jù)集上訓(xùn)練分割網(wǎng)絡(luò)可以提高預(yù)測(cè)精度。本文提出的方法在 Cityscapes 上實(shí)現(xiàn)了 83.5% 的 mIoU，在 CamVid 上實(shí)現(xiàn)了 82.9%。

論文提出了兩種預(yù)測(cè)未來(lái)標(biāo)簽的方法：

標(biāo)簽傳播 (Label Propagation, LP) 通過將傳播的標(biāo)簽與原始未來(lái)幀配對(duì)來(lái)創(chuàng)建新的訓(xùn)練樣本

聯(lián)合圖像標(biāo)簽傳播 (Joint image-label Propagation, JP) 通過將傳播標(biāo)簽與相應(yīng)的傳播圖像配對(duì)來(lái)創(chuàng)建新的訓(xùn)練樣本

該論文有三個(gè)主要命題；利用視頻預(yù)測(cè)模型將標(biāo)簽傳播到直接相鄰幀，引入聯(lián)合圖像標(biāo)簽傳播來(lái)處理未對(duì)齊問題，并通過最大化沿邊界的類概率并集的可能性來(lái)放松單熱標(biāo)簽訓(xùn)練。

Gated-SCNN：用于語(yǔ)義分割的門控形狀 CNN

論文：Gated-SCNN: Gated Shape CNNs for Semantic Segmentation (2019)

代碼：https://nv-tlabs.github.io/GSCNN/

這篇論文是語(yǔ)義分割塊上的最新成果。作者提出了一種雙流 CNN 架構(gòu)。在此架構(gòu)中，形狀信息作為單獨(dú)的分支進(jìn)行處理。此形狀流僅處理與邊界相關(guān)的信息。這是由模型的門控卷積層 (GCL) 和本地監(jiān)督強(qiáng)制執(zhí)行的。

該模型在 mIoU 上比 DeepLab-v3+ 高 1.5%，在 F 邊界得分上高出 4%。該模型已使用 Cityscapes 基準(zhǔn)進(jìn)行評(píng)估。在更小更薄的物體上，該模型在 IoU 上實(shí)現(xiàn)了 7% 的改進(jìn)。

下表顯示了 Gated-SCNN 與其他模型相比的性能。

結(jié)論

我們現(xiàn)在應(yīng)該掌握一些最常見的——以及一些最近的——技術(shù)，用于在各種上下文中執(zhí)行語(yǔ)義分割。

在公眾號(hào)后臺(tái)回復(fù)關(guān)鍵字 “0009” 即可獲取以上論文

原文鏈接：

https://heartbeat.comet.ml/a-2019-guide-to-semantic-segmentation-ca8242f5a7fc

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。