CVPR2021 | PAConv：一種位置自適應(yīng)卷積，點(diǎn)云分類、分割任務(wù)表現(xiàn)SOTA

導(dǎo)讀：  

由香港大學(xué)CVMI Lab和牛津大學(xué)合作提出了一種點(diǎn)云上具有動(dòng)態(tài)內(nèi)核組裝的位置自適應(yīng)卷積——PAConv: Position Adaptive Convolution with Dynamic Kernel Assembling on Point Clouds，論文已被CVPR2021接收。

PAConv的卷積核由多個(gè)基本權(quán)重矩陣組裝而成，而在組裝過(guò)程中，這些權(quán)重矩陣的系數(shù)是通過(guò)點(diǎn)的位置關(guān)系自適應(yīng)學(xué)習(xí)得到的。這種以數(shù)據(jù)驅(qū)動(dòng)構(gòu)建卷積核的方式賦予了PAConv很強(qiáng)的靈活性，以更好地處理不規(guī)則和無(wú)序的點(diǎn)云數(shù)據(jù)。此外，與現(xiàn)有點(diǎn)云卷積高度工程化的網(wǎng)絡(luò)結(jié)構(gòu)不同，作者將PAConv直接集成到基于MLP的經(jīng)典點(diǎn)云網(wǎng)絡(luò)架構(gòu)中，而無(wú)需更改原有的網(wǎng)絡(luò)配置。即使建立在簡(jiǎn)單的網(wǎng)絡(luò)架構(gòu)上，PAConv仍然以很高的效率在點(diǎn)云分類、部件分割和場(chǎng)景分割的任務(wù)中表現(xiàn)SOTA。目前全部的代碼和模型都已開源，歡迎大家follow!

一、引言

近年來(lái)，深度學(xué)習(xí)在三維點(diǎn)云處理上取得了顯著進(jìn)步，但鑒于點(diǎn)云的稀疏性、不規(guī)則性和無(wú)序性，這仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)?，F(xiàn)有方法大致分為三類：第一類是對(duì)點(diǎn)云進(jìn)行體素化以便可以采用三維網(wǎng)格卷積處理，然而重要的幾何信息可能由于量化而丟失，體素化通常也會(huì)帶來(lái)額外的存儲(chǔ)和計(jì)算成本；第二類是用共享MLP處理所有點(diǎn)，這種方式難以表征點(diǎn)云空間復(fù)雜的變化關(guān)系；第三類則是設(shè)計(jì)可以直接處理點(diǎn)云的卷積核，現(xiàn)有方法亦受限于計(jì)算復(fù)雜度或靈活性，本文中也特別對(duì)現(xiàn)有的點(diǎn)云卷積與本文方法的關(guān)系和區(qū)別進(jìn)行了詳盡的討論。

本文提出了一種即插即用的位置自適應(yīng)卷積PAConv，通過(guò)動(dòng)態(tài)組裝基本權(quán)重矩陣來(lái)構(gòu)造內(nèi)核，這些權(quán)重矩陣的組合系數(shù)由ScoreNet自適應(yīng)地學(xué)習(xí)點(diǎn)的相對(duì)位置關(guān)系得到。PAConv以數(shù)據(jù)驅(qū)動(dòng)的方式靈活地對(duì)三維點(diǎn)云的復(fù)雜空間變化和幾何結(jié)構(gòu)進(jìn)行建模，同時(shí)保持很高的效率。另外值得一提的是，最近的點(diǎn)云卷積工作大多采用其量身定制的復(fù)雜網(wǎng)絡(luò)架構(gòu)，使得我們難以評(píng)估到底是其自身卷積操作還是網(wǎng)絡(luò)設(shè)計(jì)而帶來(lái)性能的提升。所以，作者直接將PAConv集成到最簡(jiǎn)單的MLP點(diǎn)云網(wǎng)絡(luò)中，旨在最大程度地降低網(wǎng)絡(luò)結(jié)構(gòu)的影響，以更好地評(píng)估PAConv本身的性能。

二、方法概述

接下來(lái)，作者設(shè)計(jì)了一個(gè)ScoreNet，根據(jù)點(diǎn)的位置關(guān)系學(xué)習(xí)一個(gè)系數(shù)向量以組合權(quán)重矩陣。具體地，ScoreNet的輸入為點(diǎn)云中某一個(gè)局部區(qū)域的中心點(diǎn)pi和其相鄰點(diǎn)pj之間的相對(duì)位置關(guān)系向量，作者在實(shí)驗(yàn)部分也探討了不同的輸入表征。輸出為一個(gè)歸一化的系數(shù)向量：

最終，通過(guò)將Weight Bank中的權(quán)重矩陣與ScoreNet預(yù)測(cè)出的相應(yīng)系數(shù)進(jìn)行組合，得出PAConv的卷積核函數(shù)：

PAConv以動(dòng)態(tài)數(shù)據(jù)驅(qū)動(dòng)的方式構(gòu)造卷積核，其中權(quán)重矩陣的系數(shù)是從點(diǎn)的位置關(guān)系自適應(yīng)學(xué)習(xí)的，該內(nèi)核組裝策略可以靈活地對(duì)點(diǎn)云的不規(guī)則幾何結(jié)構(gòu)進(jìn)行建模。

此外，由于權(quán)重矩陣是隨機(jī)初始化的并且可能會(huì)收斂為彼此非常相似，因此無(wú)法保證權(quán)重矩陣的多樣性。為了避免這種情況，作者設(shè)計(jì)了一個(gè)權(quán)重正則化函數(shù)來(lái)懲罰不同權(quán)重矩陣之間的相關(guān)性，其定義為：

從而不同的權(quán)重矩陣將更分散和獨(dú)立，進(jìn)一步確保了所生成卷積核的多樣性。

至此，本文還將PAConv與現(xiàn)有主流的幾種點(diǎn)云卷積PointCNN，PointConv和KPConv進(jìn)行了詳細(xì)的對(duì)比論述。

三、簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)

雖然最近的點(diǎn)云網(wǎng)絡(luò)結(jié)構(gòu)差異較大，但是大多數(shù)可以視為經(jīng)典的MLP點(diǎn)云網(wǎng)絡(luò)的不同變體。為了評(píng)估PAConv的有效性并最大程度地減少?gòu)?fù)雜網(wǎng)絡(luò)架構(gòu)的影響，作者針對(duì)不同的點(diǎn)云任務(wù)采用了三個(gè)基于MLP的經(jīng)典且簡(jiǎn)單的網(wǎng)絡(luò)主干來(lái)集成我們的PAConv，而不修改原始的網(wǎng)絡(luò)架構(gòu)（如網(wǎng)絡(luò)層數(shù)、特征通道數(shù)）。

對(duì)于物體分類和物體部件分割任務(wù)，作者直接使用PAConv替換了DGCNN中的EdgeConv 和PointNet編碼器中的MLP。而對(duì)于室內(nèi)場(chǎng)景分割任務(wù)，作者采用了PointNet++最簡(jiǎn)單的單尺度分組（SSG）版本，并用PAConv直接替換PointNet ++編碼器中的MLP。

四、實(shí)驗(yàn)

對(duì)于物體分類任務(wù)，作者采用了ModelNet40數(shù)據(jù)集，取得了現(xiàn)有方法中最高的分類準(zhǔn)確率，并且在不改變?cè)脊歉删W(wǎng)絡(luò)PointNet和DGCNN的結(jié)構(gòu)的情況下，分別帶來(lái)了明顯的提升。

其次，本文還在物體部件分割任務(wù)的數(shù)據(jù)集ShapeNet Part上對(duì)PAConv進(jìn)行了評(píng)估，同樣也給DGCNN帶來(lái)了顯著的提升。

最后，作者進(jìn)一步在大規(guī)模室內(nèi)場(chǎng)景分割數(shù)據(jù)集S3DIS上測(cè)試了PAConv的性能。值得一提的是，KPConv和PosPool都對(duì)輸入點(diǎn)云進(jìn)行了體素化（Grid-sampling）預(yù)處理以獲得更規(guī)則的輸入結(jié)構(gòu)和更多的背景信息來(lái)提升性能，然而這種方式不可避免地帶來(lái)更多的訓(xùn)練內(nèi)存開銷，所以作者直接參考PointNet++采用了更簡(jiǎn)單的塊采樣（Block-sampling）來(lái)進(jìn)行數(shù)據(jù)預(yù)處理。PAConv依然為骨干網(wǎng)絡(luò)PointNet++帶來(lái)了明顯的提升，并保持著較少的計(jì)算開銷（FLOPs）。

此外，論文還可視化了ScoreNet學(xué)到的系數(shù)在空間中的分布?？梢钥闯?，對(duì)于每個(gè)權(quán)重矩陣，其系數(shù)的分布是不同的，表明不同的權(quán)重矩陣捕獲了不同的點(diǎn)位置關(guān)系。

五、總結(jié)

本論文提出了PAConv，一種具有動(dòng)態(tài)內(nèi)核組裝的位置自適應(yīng)卷積，用于點(diǎn)云處理。PAConv通過(guò)結(jié)合Weight Bank中的基本權(quán)重矩陣以及通過(guò)ScoreNet從點(diǎn)位置學(xué)習(xí)的相關(guān)系數(shù)來(lái)構(gòu)造卷積核。通過(guò)將PAConv集成到簡(jiǎn)單的MLP點(diǎn)云網(wǎng)絡(luò)而無(wú)需修改網(wǎng)絡(luò)配置時(shí)，它依然可以表現(xiàn)SOTA，并且保持著很高的模型效率。大量的實(shí)驗(yàn)和可視化證明了PAConv的有效性。