相機(jī)標(biāo)定，你還沒(méi)讀過(guò)張正友標(biāo)定法嗎？

論文題目：Flexible Camera Calibration By Viewing a Plane From Unknown Orientations

作者：Zhengyou Zhang

作者機(jī)構(gòu)：張正友老師現(xiàn)在已經(jīng)是受聘騰訊歷史上最高專業(yè)職級(jí)——17級(jí)研究員/杰出科學(xué)家

論文鏈接：Flexible Camera Calibration By Viewing a Plane From Unknown Orientations

以下是維基百科對(duì)張正友老師的評(píng)價(jià)：

張正友標(biāo)定方法是一種經(jīng)典的相機(jī)標(biāo)定方法，目前是最受歡迎的方法之一。該方法通過(guò)一種機(jī)器學(xué)習(xí)的方法，利用大量匹配的數(shù)據(jù)點(diǎn)像素坐標(biāo)、世界坐標(biāo)，基于極大似然估計(jì)擬合得到一個(gè)最優(yōu)解。作者提出了一種基于平面模式觀察的靈活相機(jī)標(biāo)定技術(shù)，包括一個(gè)閉合解和基于最大似然準(zhǔn)則的非線性優(yōu)化程序。通過(guò)該技術(shù)能夠建立徑向鏡頭畸變模型，同時(shí)實(shí)現(xiàn)相機(jī)校準(zhǔn)。該技術(shù)的優(yōu)勢(shì)在于靈活易用、不需要昂貴的設(shè)備，適用于實(shí)際應(yīng)用。其實(shí)現(xiàn)對(duì)于將三維計(jì)算機(jī)視覺(jué)技術(shù)從實(shí)驗(yàn)室推廣到實(shí)際場(chǎng)景應(yīng)用具有促進(jìn)作用。

本文的研究背景是建立在攝像機(jī)校準(zhǔn)技術(shù)的基礎(chǔ)上，提出了一種新的技術(shù)，在不需要高昂成本設(shè)備（如正交平面）的前提下，讓普通計(jì)算機(jī)使用者也能容易、靈活地校準(zhǔn)相機(jī)，以獲取2D圖像對(duì)應(yīng)的3D度量信息。該技術(shù)采用了平面模式觀察的方法，獲得了非常好的實(shí)驗(yàn)結(jié)果。相較于傳統(tǒng)校準(zhǔn)方法和自校準(zhǔn)方法，該方法具有靈活性和魯棒性。該技術(shù)的主要環(huán)節(jié)是基于最大似然法的非線性優(yōu)化，需要估計(jì)內(nèi)外參、以及鏡頭畸變等若干參數(shù)。

2.1 符號(hào)表示法

這部分作者討論了臺(tái)式相機(jī)的徑向畸變問(wèn)題，主要討論了徑向畸變的前兩項(xiàng)。當(dāng)估計(jì)畸變系數(shù)時(shí)，可以交替考慮。通過(guò)最小二乘法求解可以求解徑向畸變的系數(shù)。在獲得畸變系數(shù)后，可以通過(guò)Levenberg-Marquardt算法優(yōu)化其他參數(shù)的估計(jì)，以最小化估計(jì)誤差的平方和。

作者通過(guò)小的矩陣的奇異值分解提出了一個(gè)有效的標(biāo)定方法，可以通過(guò)計(jì)算機(jī)模擬數(shù)據(jù)和真實(shí)數(shù)據(jù)進(jìn)行測(cè)試。在計(jì)算機(jī)模擬數(shù)據(jù)上進(jìn)行了測(cè)試，可衡量相對(duì)誤差和絕對(duì)誤差。此外，還研究了模型平面方向和圖像數(shù)量對(duì)性能的影響。最終結(jié)果表明，使用更多的圖像以及較高的模型平面方向可以獲得更好的結(jié)果。

實(shí)驗(yàn)結(jié)果表明，該方法在不同數(shù)量和方向的圖像數(shù)據(jù)集上均表現(xiàn)出了穩(wěn)定的校準(zhǔn)結(jié)果，并且使用最大似然估計(jì)技術(shù)比使用閉式算法獲得了更好的結(jié)果。此外，實(shí)驗(yàn)還證明了該方法可以應(yīng)用于圖像建模中，生成具有準(zhǔn)確重建構(gòu)建的茶罐模型，增強(qiáng)了實(shí)際應(yīng)用領(lǐng)域的應(yīng)用前景。這個(gè)基于平面標(biāo)定的方法可以很好地解決相機(jī)成像中的畸變問(wèn)題，具有重要的實(shí)際應(yīng)用價(jià)值。

張正友老師提出的這種一種快捷、精確、靈活的基于平面標(biāo)定的相機(jī)標(biāo)定技術(shù)。該技術(shù)結(jié)合了閉式解和基于最大似然標(biāo)準(zhǔn)的非線性精煉方法，能夠高效準(zhǔn)確消除徑向畸變，提高圖像成像的質(zhì)量。該技術(shù)只需要相機(jī)觀察不同方向的平面模式，不需要了解其運(yùn)動(dòng)狀態(tài)，從而極大地提高了標(biāo)定的靈活性。實(shí)驗(yàn)結(jié)果表明，該算法具有優(yōu)異的性能，可廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域中需要相機(jī)標(biāo)定的應(yīng)用場(chǎng)景。

tips1：

常見(jiàn)的相機(jī)標(biāo)定方法有以下幾種：

• 棋盤(pán)格標(biāo)定方法：使用棋盤(pán)格圖案通過(guò)相機(jī)拍攝多幅圖片，然后根據(jù)拍攝到的圖案，在圖像中計(jì)算出相機(jī)內(nèi)外參數(shù)。

• 自然場(chǎng)景標(biāo)定方法：利用自然場(chǎng)景中的一些幾何特征（如墻角、邊緣，桌子等）進(jìn)行標(biāo)定。需要使用特定的算法來(lái)檢測(cè)這些特征點(diǎn)。

• 物體特征點(diǎn)標(biāo)定方法：在標(biāo)定過(guò)程中首先需要獲得待測(cè)物體的三維模型，然后通過(guò)相機(jī)對(duì)物體進(jìn)行多個(gè)角度的拍攝，根據(jù)拍攝到的圖像和對(duì)應(yīng)的三維模型計(jì)算相機(jī)內(nèi)外參數(shù)。

tip2:

在進(jìn)行相機(jī)標(biāo)定時(shí)，需要注意以下幾個(gè)方面：

• 采集圖像時(shí)應(yīng)該盡可能地涵蓋標(biāo)定物體的各個(gè)角度、位置和姿態(tài)，以獲得更精確的標(biāo)定結(jié)果。

• 拍攝時(shí)應(yīng)該保證標(biāo)定物體平整、穩(wěn)定，攝像機(jī)與標(biāo)定物體之間保持一定的距離，防止標(biāo)定物體在拍攝過(guò)程中發(fā)生變形或偏移。

• 在對(duì)圖像進(jìn)行處理前應(yīng)該保證圖像的亮度、對(duì)比度等參數(shù)良好，可以通過(guò)調(diào)整曝光時(shí)間、光源等來(lái)控制圖像質(zhì)量。

• 圖像處理過(guò)程中需要進(jìn)行畸變校正，即對(duì)圖像進(jìn)行去除透鏡畸變的處理，以獲取更準(zhǔn)確的圖像特征點(diǎn)。

• 標(biāo)定時(shí)需要根據(jù)實(shí)際情況調(diào)整標(biāo)定算法的參數(shù)，例如棋盤(pán)格標(biāo)定中棋盤(pán)格格子數(shù)、格子大小等。

歡迎關(guān)注微信公眾號(hào)「3D視覺(jué)工坊」，加群/文章投稿/課程主講，請(qǐng)加微信：dddvisiona，添加時(shí)請(qǐng)備注：加群/投稿/主講申請(qǐng)

tips3：

如何分析相機(jī)標(biāo)定參數(shù)的好壞：

• 重投影誤差（reprojection error）：重投影誤差是指將已知的三維標(biāo)定棋盤(pán)圖像點(diǎn)投影回對(duì)應(yīng)的二維圖像坐標(biāo)上，再計(jì)算投影點(diǎn)與實(shí)際圖像點(diǎn)之間的誤差。通常情況下，重投影誤差應(yīng)該小于標(biāo)定圖像分辨率的1/10。

• 相機(jī)內(nèi)部參數(shù)矩陣：相機(jī)內(nèi)部參數(shù)矩陣包括焦距、主點(diǎn)、畸變系數(shù)等，這些參數(shù)與相機(jī)的像平面和成像質(zhì)量密切相關(guān)。較好的標(biāo)定參數(shù)應(yīng)該可以準(zhǔn)確地反映出相機(jī)成像的精度和畸變情況。

• 畸變校正效果：畸變是相機(jī)成像過(guò)程中不可避免的問(wèn)題，因此需要對(duì)標(biāo)定參數(shù)進(jìn)行畸變校正。好的標(biāo)定參數(shù)應(yīng)該能夠使校正后的圖像達(dá)到較好的幾何形態(tài)，如直線應(yīng)當(dāng)是直的、圓應(yīng)當(dāng)是圓的等。

• 極線校正效果，雙目標(biāo)定極線矯正的結(jié)果也可以通過(guò)觀察差異方便地評(píng)估好壞。在未經(jīng)過(guò)極線矯正的圖像中，同一物體在不同視角下呈現(xiàn)出不同的像素位置，而經(jīng)過(guò)極線矯正后，兩個(gè)相機(jī)的圖像中對(duì)應(yīng)的物體像素位置會(huì)在各自的極線上呈現(xiàn)出相同的位置，

• 相機(jī)外部參數(shù)矩陣：如基線在出廠的時(shí)候應(yīng)該符合相機(jī)廠商提供的規(guī)格，故也可以通過(guò)基線的誤差來(lái)判斷雙目相機(jī)標(biāo)定的參數(shù)效果。

總的來(lái)說(shuō)，好的相機(jī)標(biāo)定參數(shù)應(yīng)該能夠保證相機(jī)成像精度、畸變校正效果以及邏輯合理性。