基于3D邊界特征的視覺(jué)定位技術(shù)

最近因?yàn)橛行┲匾ぷ餍枰幚?，系列文章因此擱置，月底時(shí)間稍微充裕，我們繼續(xù)上一次的主題，聊一聊3D幾何語(yǔ)義中的邊界屬性，感興趣的同學(xué)可以回顧一下上一篇分享。

3D空間中的邊界特征線是機(jī)器視覺(jué)感知中的一種重要的特征，在形狀分析、視覺(jué)定位、網(wǎng)格簡(jiǎn)化、柵格創(chuàng)建、非照片級(jí)的渲染和表面平滑等方面具有廣泛的應(yīng)用。根據(jù)特征線是否與視點(diǎn)相關(guān)聯(lián)，可以將特征線分為兩類：與視點(diǎn)相關(guān)的特征線和與視點(diǎn)無(wú)關(guān)的特征線。一般情況下，與視圖無(wú)關(guān)的特征線的計(jì)算與3D模型的拓?fù)浣Y(jié)構(gòu)有關(guān)。3D模型可以是連續(xù)的（例如參數(shù)化曲面），也可以是離散的（例如網(wǎng)格和點(diǎn)云）。與視點(diǎn)無(wú)關(guān)的特征線僅反映了3D對(duì)象的幾何屬性，而與視點(diǎn)有關(guān)的特征線則描述了表面幾何形狀和位置的屬性，即我們通常所理解的“輪廓”。

圖1 典型的3D模型的輪廓特征線

簡(jiǎn)單介紹完視覺(jué)上的邊界特征線，接下來(lái)我以一個(gè)具體問(wèn)題為例，介紹一個(gè)3D邊緣特征在視覺(jué)定位問(wèn)題上的應(yīng)用。

應(yīng)用的背景

近年來(lái)，重工業(yè)領(lǐng)域已經(jīng)開(kāi)始研究如何使用自動(dòng)化的移動(dòng)設(shè)備來(lái)解決生產(chǎn)力和人員安全問(wèn)題，尤其是工作在室外環(huán)境下的大型作業(yè)車輛，因此迫切需要一種基于視覺(jué)的車輛定位方法。車輛在動(dòng)態(tài)且非均勻的室外照明條件下運(yùn)行時(shí)，周圍環(huán)境惡劣，盡管這個(gè)問(wèn)題可以通過(guò)使用場(chǎng)景先驗(yàn)知識(shí)調(diào)整相機(jī)曝光并改善圖像信息的質(zhì)量來(lái)解決，但完全基于2D圖像的感知有時(shí)候可能還是不太靠譜（PS：這里可以吐槽一下特斯拉）。隨著3D技術(shù)的普及，機(jī)器人車輛在戶外工業(yè)環(huán)境中運(yùn)行需要定位，而定位器可以使用環(huán)境中的3D邊界圖來(lái)估計(jì)車輛的姿態(tài)。

在上述應(yīng)用背景的前提下，一種解決策略是將利用攝像機(jī)采集的輸入邊緣與環(huán)境中預(yù)定義3D邊界映射進(jìn)行比較，從而完成定位，因此三維空間中的幾何特征輪廓就派上了用場(chǎng)，為了不偏離本文的核心，只闡述涉及3D邊界的核心流程（PS:關(guān)于其他環(huán)節(jié)的實(shí)現(xiàn)，感興趣的同學(xué)可以自行學(xué)習(xí)）。

A.魚眼相機(jī)的標(biāo)定

在圖像測(cè)量過(guò)程以及機(jī)器視覺(jué)應(yīng)用中，為確定空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系，必須建立相機(jī)成像的幾何模型，這些幾何模型參數(shù)就是相機(jī)參數(shù)。相機(jī)標(biāo)定實(shí)際上就是計(jì)算相機(jī)外參和內(nèi)參的過(guò)程，完成標(biāo)定后，我們便可以從2D圖像中恢復(fù)3D圖像。

·外參

·內(nèi)參

完成上述標(biāo)定過(guò)程后，采集到的實(shí)際結(jié)果如圖1所示。緊接著利用圖像處理提取出相應(yīng)目標(biāo)區(qū)域內(nèi)的2D邊界，如圖2所示。

圖1 魚眼相機(jī)視野

圖2 圖像邊界的提取

B.遮擋問(wèn)題的處理

動(dòng)態(tài)場(chǎng)景中的高效遮擋剔除可以加速渲染進(jìn)程，這項(xiàng)技術(shù)本來(lái)是游戲和實(shí)時(shí)圖形處理領(lǐng)域的一個(gè)方向。如果建筑物的可見(jiàn)部分比被遮擋的部分多，則粒子濾波器對(duì)由未知物體引起的遮擋問(wèn)題更具有魯棒性。（這一結(jié)論可以參考J.Hasselgren的論文）

因此針對(duì)可能遇到的自遮擋問(wèn)題，可以采用欠采樣深度緩沖區(qū)技術(shù)處理，該技術(shù)是一種的實(shí)時(shí)技術(shù)。通過(guò)這種方法可以將建筑物的表面渲染到深度緩沖區(qū)，然后只有位于前面的邊緣會(huì)通過(guò)濾波器。但這種方法也有局限性，比如深度緩沖器的分辨率會(huì)受到限制，導(dǎo)致表面與其自身邊緣無(wú)法區(qū)分的問(wèn)題。為避免此問(wèn)題，可以將表面和邊緣之間的偏移距離設(shè)置為大于該深度處緩沖區(qū)的分辨率。

C.3D線的提取

在完成上述兩個(gè)基礎(chǔ)問(wèn)題后，為了更好的提取出建筑物的邊界，在這個(gè)環(huán)節(jié)我們采用3D Hough變換與三維點(diǎn)云鄰域信息分析相結(jié)合的方法。Hough變換是一種眾所周知的有效方法，用于找到匹配一組2D點(diǎn)的線。每條線由兩個(gè)參數(shù)ρ和θ表示，這兩個(gè)參數(shù)表示從法線的起點(diǎn)到該線的長(zhǎng)度和角度。而3D數(shù)據(jù)中邊界點(diǎn)本身就是一種局部信息的表達(dá)，因此二者結(jié)合可以產(chǎn)生一定的效果。具體結(jié)果如圖3所示。（PS:關(guān)于這一部分的邊界提取，實(shí)際上涉及很多分割的知識(shí)，比如在這個(gè)環(huán)節(jié)實(shí)際上需要預(yù)分割出平面，只有具有足夠數(shù)量的點(diǎn)的平面簇類才會(huì)被考慮用于線提取）

圖3 3D邊界在場(chǎng)景中的映射

D.似然估計(jì)

這一環(huán)節(jié)我們需要用到粒子濾波器(particle filter)。粒子濾波器是一種使用蒙特卡羅方法(Monte Carlo method)的遞歸濾波器，透過(guò)一組具有權(quán)重的隨機(jī)樣本(稱為粒子)來(lái)表示隨機(jī)事件的后驗(yàn)概率，從含有噪聲或不完整的觀測(cè)序列，估計(jì)出動(dòng)力系統(tǒng)的狀態(tài)，粒子濾波器可以運(yùn)用在任何狀態(tài)空間的模型上。

通過(guò)與邊緣圖像和3D邊界圖進(jìn)行比較來(lái)生成每個(gè)粒子的似然度度量。根據(jù)每個(gè)粒子的姿勢(shì)將3D邊界投影到圖像平面上，因此可以進(jìn)行直接比較。

其中，Px是對(duì)齊邊緣像素?cái)?shù)a與可見(jiàn)邊緣像素總數(shù)v之間的比率，k是一個(gè)加權(quán)似然度量常數(shù)。

圖2 圖像邊界與3D映射邊界的匹配

走完上述流程，基本就完成了視圖定位的很大一部分。以上就是3D邊緣的一個(gè)應(yīng)用實(shí)例，為了更加貼合這次分享的主題，所以只給出了簡(jiǎn)化流程，實(shí)際上每個(gè)環(huán)節(jié)都值得探究，包括后續(xù)的評(píng)價(jià)環(huán)節(jié)，感興趣的小伙伴可以探索一下。