多相機(jī)實(shí)時(shí)拼接視頻影像技術(shù)

　　(6)將(5)中得到的所有IW_i移動(dòng)到同一坐標(biāo)系下，對(duì)重疊部分像素點(diǎn)的值進(jìn)行求均處理，得到拼接圖像并顯示。

　　為了提高圖像拼接效率，達(dá)到實(shí)時(shí)的要求，計(jì)算出H_i之后，定義一個(gè)與拼接圖像同分辨率的矩陣，稱為pixelData。該矩陣的每個(gè)位置存放3個(gè)數(shù)值，分別為拼接圖像矩陣每一個(gè)位置(x,y)對(duì)應(yīng)單應(yīng)變換的圖像的相機(jī)序號(hào)C_i及I_i中與(x,y)對(duì)應(yīng)的像素點(diǎn)坐標(biāo)值x'、y'，重疊部分取序號(hào)較小的圖像像素信息。由于圖像選取不變特征點(diǎn)以及相機(jī)間相對(duì)位置保持不變，在拼接視頻合成之前，首先計(jì)算pixelData并保存以重復(fù)利用，然后與視頻圖像共同作為輸入，對(duì)于不同相機(jī)同時(shí)采集的一組圖像，分配固定分辨率的拼接圖像矩陣，遍歷圖像中每一個(gè)像素，在pixelData中對(duì)應(yīng)位置得到相機(jī)序號(hào)C_i及x'、y'，在I_i中搜索對(duì)應(yīng)圖像及(x',y')處像素對(duì)拼接圖像進(jìn)行賦值，完成圖像拼接。該做法顯著提高了圖像拼接的效率，保證系統(tǒng)實(shí)現(xiàn)實(shí)時(shí)拼接的要求。

2.2 系統(tǒng)的硬件平臺(tái)

　　系統(tǒng)采用12臺(tái)同步精度小于1ms的PointGrey Flea3相機(jī)作為視頻采集設(shè)備，并將12臺(tái)相機(jī)排成一列，每個(gè)相機(jī)間保持10cm的間距，主機(jī)使用32GB內(nèi)存和64位CPU計(jì)算機(jī)，從硬件條件上滿足了圖像采集和實(shí)時(shí)系統(tǒng)的要求。相機(jī)組架構(gòu)如圖2所示。

3 實(shí)時(shí)成像結(jié)果

　　通過實(shí)驗(yàn)，基于不變特征的多相機(jī)實(shí)時(shí)視頻拼接成像系統(tǒng)的處理速率可達(dá)到24fps。圖3為室外環(huán)境下相機(jī)陣列中某一相機(jī)所拍攝圖像，圖4為該組圖像成像結(jié)果。圖5、圖6分別為室外場(chǎng)景實(shí)時(shí)采集與成像結(jié)果。通過實(shí)驗(yàn)結(jié)果可以看出在室內(nèi)和室外的不同場(chǎng)景下都具有較好的拼接效果。經(jīng)圖3場(chǎng)景實(shí)驗(yàn)，合成圖像的分辨率為1557×833，原輸入圖像分辨率均為640×480，由此證明拼接圖像分辨率比原圖像有較大提高。同時(shí)作者使用OPENCV所提供的stitch方法進(jìn)行測(cè)試，使用本系統(tǒng)采集的一組圖像執(zhí)行拼接，處理一幀圖像的時(shí)間約為8秒。實(shí)驗(yàn)證明，對(duì)于相同的輸入圖像，采用本論文方法拼接效率約是OPENCV stitch方法效率的190倍，符合實(shí)時(shí)拼接成像的要求。

4 結(jié)論

　　以多相機(jī)為實(shí)驗(yàn)基礎(chǔ)，采用基于不變特征的圖像拼接算法，實(shí)現(xiàn)了多相機(jī)實(shí)時(shí)視頻拼接系統(tǒng)。該系統(tǒng)直接利用Autostitch獲得圖像的分辨率、焦距、平移矩陣和旋轉(zhuǎn)矩陣進(jìn)行計(jì)算，避免重復(fù)尋找特征點(diǎn)及圖像匹配等過程，降低時(shí)間成本，處理速率可達(dá)24fps，滿足了實(shí)時(shí)視頻系統(tǒng)的要求。同時(shí)，由于缺少圖像接縫處理、圖像融合等后期操作，拼接效果仍然有待提高，在后續(xù)的研究中將借鑒研究人員對(duì)于提高圖像拼接效果的處理方法，引入使拼接圖像接縫更加自然平滑。

參考文獻(xiàn):

　　[1]Junhong Gao, Seon Joo Kim,BROWN MS. Constructing image panoramas using dual-homography warping. Proceedings of Computer Vision and Pattern Recognition (CVPR), 2011[C], Providence, RI:IEEE, 2011: 49-56

　　[2]Minsoo Kim,Sunjung Kim,Jinyoung Choi. Robust and incremental stitching and calibration with known rotation on pan-tilt-zoom camera. Proceedings of Image Processing (ICIP), 2013 [C], Melbourne, VIC ,IEEE,2013: 2247-2251

　　[3]DE Carufel, J, Laganiere, R.Matching cylindrical panorama sequences using planar reprojections. Proceedings of Computer Vision Workshops (ICCV Workshops),2011[C], Barcelona,IEEE,2011: 320-327

　　[4]M Brown D Lowe. Automatic Panoramic Image Stitching using Invariant Features.International Journal of Computer Vision. 2007,74(1), 59-73

　　[5]M Brown,D G Lowe.Recognizing Panoramas.Proceedings of International Conference onComputerVision(ICCV),2003[C].Nice,France:IEEE,2003:1218-1225