全景圖像實(shí)時(shí)展開在FPGA上的實(shí)現(xiàn)

　　摘要：全景攝像機(jī)可以使用一個(gè)攝像頭獲取周圍360°的環(huán)境信息，與以往的多攝像機(jī)獲取方法相比大大節(jié)省了硬件資源，并且在還原全景圖時(shí)避免了多畫面拼接產(chǎn)生的“鬼影”問題。但由于反射式全景攝像機(jī)獲取的畫面為極坐標(biāo)視圖，為適應(yīng)人眼觀察習(xí)慣需要對(duì)其進(jìn)行展開。本文在FPGA上實(shí)現(xiàn)了對(duì)反射式全景圖像的實(shí)時(shí)展開，在27MHz系統(tǒng)時(shí)鐘的驅(qū)動(dòng)，生成122萬像素的展開圖像達(dá)到了21.97fps的幀速。

　　關(guān)鍵詞：全景攝像機(jī);FPGA;嵌入式系統(tǒng)

　　目前，全景技術(shù)的研究主要將注意力集中在集合變換算法和鏡頭矯正算法的改進(jìn)，對(duì)實(shí)時(shí)性問題研究較少。本系統(tǒng)利用FPGA對(duì)圓形極坐標(biāo)圖像進(jìn)行實(shí)時(shí)展開。

　　系統(tǒng)總體設(shè)計(jì)

　　本系統(tǒng)在以EP2C70 FPGA芯片為核心的DE2-70開發(fā)板上實(shí)現(xiàn)，系統(tǒng)主要模塊如圖1所示。

　　(1)視頻采集模塊：將ADV7180芯片輸出的數(shù)字視頻信號(hào)采集到SDRAM中緩存，并獲取相應(yīng)的控制信號(hào)。

　　(2)VGA控制模塊：將已經(jīng)處理好的數(shù)字視頻信號(hào)輸出到ADV7123，之后進(jìn)入VGA顯示器進(jìn)行顯示，并生成VGA控制信號(hào)和坐標(biāo)信號(hào)。

　　(3)展開算法模塊：利用VGA控制模塊產(chǎn)生的坐標(biāo)信號(hào)對(duì)極坐標(biāo)數(shù)字視頻信號(hào)進(jìn)行展開操作，生成矩形視頻信號(hào)。

　　系統(tǒng)模塊設(shè)計(jì)

　　根據(jù)系統(tǒng)框圖，本系統(tǒng)可分為以下幾個(gè)主要模塊：視頻采集模塊、展開算法模塊和VGA控制模塊。系統(tǒng)時(shí)鐘為ADV7180產(chǎn)生的27MHz像素時(shí)鐘，保證了采集與處理的同步進(jìn)行。

　　視頻采集模塊

　　視頻采集模塊接收由ADV7180芯片串行輸出的格式為ITU-R BT.656、分辨率為720×525的數(shù)字視頻信號(hào)，并提取信號(hào)中有效像素信息，同時(shí)將其轉(zhuǎn)換為分辨率為640×480的數(shù)字視頻信號(hào)，存入SDRAM中，之后，再提取緩存中數(shù)據(jù)轉(zhuǎn)換為適合VGA顯示的RGB信號(hào)傳輸?shù)胶罄m(xù)模塊。

　　ITU-R BT.656解碼器

　　ITU-R BT.656協(xié)議以27MHz速率復(fù)用傳送數(shù)字視頻數(shù)據(jù)，其順序是：Cb，Y，Cr，Y，Cb，Y，Cr，?? 其中，Cb，Y，Cr 這三個(gè)字指的是同一個(gè)像素的亮度和色差信號(hào)，之后的Y 對(duì)應(yīng)于下一個(gè)像素的亮度。Y、Cb、Cr在傳輸中數(shù)據(jù)量的比為Y:Cb:Cr=4:2:2。另外，信號(hào)同時(shí)包括相應(yīng)的場(chǎng)、行信號(hào)。ITU-R BT.656解碼器的目的是將ADV7180芯片產(chǎn)生的ITU-R BT.656協(xié)議數(shù)據(jù)流中的8位像素信息提取出來，并根據(jù)協(xié)議中的控制信號(hào)生成相應(yīng)的行列掃描信號(hào)與像素有效信號(hào)。在提取像素信息的同時(shí)，將數(shù)據(jù)存儲(chǔ)順序變換為：Y，Cb，Y，Cr，Y，Cb，Y，Cr??。在存入SDRAM時(shí)，偶數(shù)地址存儲(chǔ){Y，Cb}，奇數(shù)地址存儲(chǔ){Y，Cr}。

　　SDRAM控制器

　　SDRAM控制器采集ITU-R BT.656解碼器輸出的像素信號(hào)，將其存入DE2-70開發(fā)板上的IS42S16160B SDRAM中。系統(tǒng)將其設(shè)計(jì)為一個(gè)四端口控制器，包括兩個(gè)讀口和兩個(gè)寫口，并且使用108MHz時(shí)鐘驅(qū)動(dòng)SDRAM控制器和SDRAM芯片，保證在分頻之后，每一個(gè)讀寫端口的頻率為27MHz，與像素時(shí)鐘同步。