0參數(shù)量 + 0訓(xùn)練，3D點(diǎn)云分析方法Point-NN刷新多項(xiàng)SOTA（1）

不引入任何可學(xué)習(xí)參數(shù)或訓(xùn)練，是否可以直接實(shí)現(xiàn) 3D 點(diǎn)云的分類(lèi)、分割和檢測(cè)？

• 論文鏈接：https://arxiv.org/pdf/2303.08134.pdf
• 代碼地址：https://github.com/ZrrSkywalker/Point-NN

本文提出了一個(gè)用于 3D 點(diǎn)云分析的非參數(shù)網(wǎng)絡(luò) Point-NN，它僅由純不可學(xué)習(xí)的組件組成：最遠(yuǎn)點(diǎn)采樣（FPS）、k 近鄰（k-NN）、三角函數(shù)（Trigonometric Functions）以及池化（Pooling）操作。不需要參數(shù)和訓(xùn)練，它能夠在各種 3D 任務(wù)上都取得不錯(cuò)的準(zhǔn)確率，甚至在 few-shot 分類(lèi)上可以大幅度超越現(xiàn)有的完全訓(xùn)練的模型。
基于 Point-NN 的非參數(shù)框架，這項(xiàng)研究對(duì)于當(dāng)前 3D 領(lǐng)域的貢獻(xiàn)如下：
1、首先，我們可以通過(guò)插入簡(jiǎn)單的線(xiàn)性層，來(lái)構(gòu)建 Point-NN 的參數(shù)化網(wǎng)絡(luò)，Point-PN。由于 Point-NN 具有強(qiáng)大的非參數(shù)基礎(chǔ)，所構(gòu)建出的 Point-PN 僅需要少量可學(xué)習(xí)參數(shù)就可以表現(xiàn)出優(yōu)秀的 3D 分類(lèi)和分割性能。
2、其次，由于 Point-NN 不需要訓(xùn)練的屬性，我們可以將其作為一個(gè)即插即用的增強(qiáng)模塊，去增強(qiáng)現(xiàn)有已經(jīng)訓(xùn)練好的 3D 模型。通過(guò)提供互補(bǔ)知識(shí)，Point-NN 可以在各種 3D 任務(wù)上提升原本的 SOTA 性能。
一、引言
1. 動(dòng)機(jī)
3D 點(diǎn)云的處理和分析是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，并且在學(xué)術(shù)界和工業(yè)界都取得了廣泛的關(guān)注。自從 PointNet++ 起，后續(xù)的 3D 模型為了提升性能，一方面設(shè)計(jì)了更加復(fù)雜的局部空間算子，一方面增大了網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)量。然而，除了不斷更新的可學(xué)習(xí)模塊，他們基本都沿用了同一套潛在的多尺度網(wǎng)絡(luò)框架，包括最遠(yuǎn)點(diǎn)采樣（FPS）、k 近鄰（k-NN）和池化（Pooling）操作。目前，還幾乎沒(méi)有研究去探索這些非參數(shù)組件的潛力；因此，本文提出并探索了以下問(wèn)題：這些非參數(shù)組件對(duì)于 3D 理解的貢獻(xiàn)有多大？?jī)H僅使用非參數(shù)組件，能否實(shí)現(xiàn)無(wú)需訓(xùn)練的 3D 點(diǎn)云分析？
2. 貢獻(xiàn)

為了解決以上問(wèn)題，本文首次提出了一個(gè)非參數(shù)化（Non-Parametric）的 3D 網(wǎng)絡(luò)，Point-NN，整體結(jié)構(gòu)如上圖所示。Point-NN 由一個(gè)用于 3D 特征提取的非參數(shù)編碼器（Non-Parametric Encoder）和一個(gè)用于特定任務(wù)識(shí)別的點(diǎn)云記憶庫(kù)（Point-Memory Bank）組成。非參數(shù)編碼器采用了多階段的結(jié)構(gòu)設(shè)計(jì)，使用了最遠(yuǎn)點(diǎn)采樣（FPS）、k 近鄰（k-NN）、三角函數(shù)（Trigonometric Functions）和池化（Pooling）來(lái)逐步聚合局部幾何圖形，為點(diǎn)云生成一個(gè)高維度的全局特征。我們僅僅采用了簡(jiǎn)單的三角函數(shù)來(lái)捕捉局部空間幾何信息，沒(méi)有使用任何可學(xué)習(xí)算子。接下來(lái)，我們使用此編碼器，去提取到所有訓(xùn)練集點(diǎn)云的特征，并緩存為點(diǎn)云記憶庫(kù)。進(jìn)行測(cè)試時(shí)，點(diǎn)云記憶庫(kù)通過(guò)對(duì)測(cè)試點(diǎn)云和訓(xùn)練集點(diǎn)云的特征，進(jìn)行相似度匹配，來(lái)輸出特定任務(wù)的預(yù)測(cè)。
不需要任何訓(xùn)練，Point-NN 可以在多種 3D 任務(wù)中實(shí)現(xiàn)優(yōu)越的性能，例如 3D 分類(lèi)、分割、檢測(cè)，甚至可以超過(guò)一些現(xiàn)有的經(jīng)過(guò)完全訓(xùn)練的模型。基于此，我們進(jìn)一步提出了兩點(diǎn) Point-NN 對(duì)于現(xiàn)今 3D 領(lǐng)域的貢獻(xiàn)，如下圖（a）和（b）所示：

1）以 Point-NN 為基礎(chǔ)框架，我們通過(guò)在 Point-NN 的每個(gè)階段插入簡(jiǎn)單的線(xiàn)性層，引入了其 parameter-efficient 的變體 Point-PN，如上圖 (a) 所示。Point-PN 不包含復(fù)雜的局部算子，僅僅包含線(xiàn)性層以及從 Point-NN 繼承的三角函數(shù)算子，實(shí)現(xiàn)了效率和性能的雙贏。
2）我們將 Point-NN 作為一個(gè)即插即用的模塊，為各種 3D 任務(wù)中訓(xùn)練好的模型提供互補(bǔ)知識(shí)，并在推理過(guò)程中可以直接提升這些訓(xùn)練模型的性能，如上圖 (b) 所示。
二、方法    1.Point-NN
Point-NN 由一個(gè) Non-Parametric Encoder (EncNP) 和一個(gè) Point-Memory Bank (PoM) 組成。對(duì)于輸入的點(diǎn)云，我們使用 EncNP 提取其全局特征，并通過(guò) PoM 的特征相似度匹配，來(lái)輸出分類(lèi)結(jié)果，公式如下圖所示：

接下來(lái)，我們依次介紹 Point-NN 中的這兩個(gè)模塊。
（1）非參數(shù)編碼器 (Non-Parametric Encoder)
非參數(shù)編碼器首先將輸入點(diǎn)云進(jìn)行 Raw-point Embedding，將 3 維的原始點(diǎn)坐標(biāo)轉(zhuǎn)化為高維度特征，再經(jīng)過(guò) 4 個(gè)階段的 Local Geometry Aggregation 逐步聚合局部特征得到最終的點(diǎn)云全局特征，如下圖所示。

a. 原始點(diǎn)云映射 (Raw-point Embedding)
我們參考了 Transformer 中的 positional encoding，對(duì)于輸入點(diǎn)云的一個(gè)點(diǎn)，利用三角函數(shù)將它嵌入到一個(gè)維向量中：

其中分別表示三個(gè)軸的位置編碼。以為例，對(duì)于通道索引，具體的位置編碼公式如下：

其中，α,β 分別控制了尺度和波長(zhǎng)。通過(guò)這種三角函數(shù)的編碼，我們可以將點(diǎn)云的絕對(duì)位置信息映射到高維度的特征空間中，并通過(guò)后續(xù)的點(diǎn)乘操作可以根據(jù)權(quán)重獲取不同點(diǎn)之間的相對(duì)位置信息，并捕獲三維形狀的細(xì)粒度結(jié)構(gòu)變化。
b. 局部幾何特征的聚合 (Local Geometry Aggregation)
對(duì)于每一個(gè)點(diǎn)云尺度的處理，我們分為三個(gè)步驟。
首先是特征擴(kuò)維 (Feature Expansion)。我們使用 FPS 進(jìn)行點(diǎn)云數(shù)量的下采樣，對(duì)于下采樣后得到的每一個(gè)中心點(diǎn)，我們采用 k-NN 去找到他的 k 個(gè)鄰域點(diǎn)以及對(duì)應(yīng)的特征?；诖耍覀儗⒅行狞c(diǎn)特征和在特征維度進(jìn)行拼接，實(shí)現(xiàn)特征擴(kuò)維，這樣可以在更深的網(wǎng)絡(luò)層中編碼更多的語(yǔ)義信息：

其次是幾何信息提取 (Geometry Extraction)。我們先使用均值和標(biāo)準(zhǔn)差對(duì)的坐標(biāo)進(jìn)行歸一化，并使用三角函數(shù)進(jìn)行相對(duì)位置的編碼，來(lái)獲取的相對(duì)幾何權(quán)重，標(biāo)記為。之后，我們通過(guò)下面的公式得到加權(quán)后的鄰域特征。

最后是局部特征聚和 (Feature Aggregation)。我們利用最大池化和平均池化來(lái)進(jìn)行局部特征聚合。

在完成 4 個(gè)階段的 Local Geometry Aggregation 后，我們?cè)俅芜\(yùn)用最大池化和平均池化來(lái)得到點(diǎn)云的全局特征。
（2）點(diǎn)云記憶庫(kù) (Point-Memory Bank)
在經(jīng)過(guò)非參數(shù)編碼器 (Non-Parametric Encoder) 的特征提取后，由于 Point-NN 不含任何可學(xué)習(xí)參數(shù)，我們沒(méi)有使用傳統(tǒng)的可學(xué)習(xí)分類(lèi)頭，而是采用了無(wú)需訓(xùn)練的 point-memory bank。首先，我們使用非參數(shù)編碼器去構(gòu)造關(guān)于訓(xùn)練集的 bank，接著在推理過(guò)程通過(guò)相似度匹配輸出預(yù)測(cè)，如下圖所示。

a. 記憶構(gòu)建 (Memory Construction)
Point memory 包括一個(gè) feature memory和一個(gè) label memory。以點(diǎn)云分類(lèi)任務(wù)為例，假設(shè)給定的訓(xùn)練集包含 K 個(gè)類(lèi)別的 N 個(gè)點(diǎn)云。通過(guò) Non-Parametric Encoder 可以得到 N 個(gè)訓(xùn)練集點(diǎn)云的全局特征，同時(shí)將對(duì)應(yīng)的分類(lèi)標(biāo)簽轉(zhuǎn)換為 one-hot 編碼，接著將它們沿著樣本維度進(jìn)行拼接，緩存為兩個(gè)矩陣。

b. 基于相似度的預(yù)測(cè) (Similarity-based Prediction)
在推理階段，我們利用構(gòu)造好的 bank 進(jìn)行兩個(gè)矩陣乘法來(lái)完成分類(lèi)。首先，我們通過(guò) Non-Parametric Encoder 來(lái)計(jì)算測(cè)試點(diǎn)云的全局特征，并計(jì)算與 feature memory 之間的余弦相似度。

接下來(lái)，將 label memory 中的 one-hot 標(biāo)簽與進(jìn)行加權(quán)，越相似的 feature memory 對(duì)最終的分類(lèi) logits 貢獻(xiàn)越大，反之亦然。

通過(guò)這種基于相似性的計(jì)算，point-memory bank 可以在不經(jīng)過(guò)任何訓(xùn)練的情況下，學(xué)習(xí)到從訓(xùn)練集中提取的知識(shí)，在推理過(guò)程自適應(yīng)地完成不同任務(wù)。