Xilinx FPGA/Zynq設(shè)計中使用HLS實現(xiàn)OpenCV的開發(fā)流程

　　開源計算機視覺 (OpenCV) 被廣泛用于開發(fā)計算機視覺應(yīng)用，它包含2500多個優(yōu)化的視頻函數(shù)的函數(shù)庫并且專門針對臺式機處理器和GPU進行優(yōu)化。Xilinx VivadoHLS高層次綜合工具能夠使用C/C++ 編寫的代碼直接創(chuàng)建RTL硬件，顯著提高設(shè)計生產(chǎn)力，同時，Xilinx Zynq全可編程SoC系列器件嵌入雙核ARM Cortex-A9處理器將軟件可編程能力與FPGA的硬件可編程能力實現(xiàn)完美結(jié)合，以低功耗和低成本等系統(tǒng)優(yōu)勢實現(xiàn)單芯片高的系統(tǒng)性能、靈活性、可擴展性，加速圖形處理產(chǎn)品設(shè)計上市時間。OpenCV擁有成千上萬的用戶，而且OpenCV的設(shè)計無需修改即可在Zynq器件的ARM處理器上運行，但是利用OpenCV實現(xiàn)的高清處理經(jīng)常受外部存儲器的限制，尤其是存儲帶寬會成為性能瓶頸，存儲訪問也限制了功耗效率。使用Xilinx公司的VivadoHLS高級語言綜合工具，可以輕松實現(xiàn)OpenCV C++視頻處理設(shè)計到RTL代碼的轉(zhuǎn)換，輸出Zynq的硬件加速器或者直接在FPGA上實現(xiàn)實時硬件視頻處理功能。同時，Xilinx公司的Zynq All-programmable SoC是實現(xiàn)嵌入式計算機視覺應(yīng)用的好方法，解決了在單一處理器上實現(xiàn)視頻處理性能低功耗高的限制，Zynq高性能可編程邏輯和嵌入式ARM內(nèi)核，是一款性能功耗優(yōu)化的圖像處理集成式解決方案。

　　1 OpenCV中圖像IplImage, CvMat, Mat 類型的關(guān)系和VivadoHLS中圖像hls::Mat類型

　　OpenCV中常見的與圖像操作有關(guān)的數(shù)據(jù)容器有Mat，CvMat和IplImage，這三種類型都可以代表和顯示圖像，但是，Mat類型側(cè)重于計算，數(shù)學(xué)性較高。而CvMat和IplImage類型更側(cè)重于“圖像”，OpenCV對其中的圖像操作(縮放、單通道提取、圖像閾值操作等)進行了優(yōu)化。

　　1.1 OpenCV中的Mat矩陣類型

　　在OpenCV中，Mat是一個多維的密集數(shù)據(jù)數(shù)組?？梢杂脕硖幚硐蛄亢途仃?、圖像、直方圖等等常見的多維數(shù)據(jù)。

　　Mat類型較CvMat與IplImage類型來說，有更強的矩陣運算能力，支持常見的矩陣運算。在計算密集型的應(yīng)用當(dāng)中，將CvMat與IplImage類型轉(zhuǎn)化為Mat類型將大大減少計算時間花費。

　　1.2 OpenCV中的CvMat與IplImage類型

　　在openCV中，CvMat和IplImage類型更側(cè)重于“圖像”，尤其是對其中的圖像操作進行一定程度的優(yōu)化。OpenCV沒有向量(vector)的數(shù)據(jù)結(jié)構(gòu)，但當(dāng)我們要表示向量時，需要用矩陣數(shù)據(jù)表示。但是，CvMat更抽象，它的元素數(shù)據(jù)類型并不僅限于基礎(chǔ)數(shù)據(jù)類型，而且可以是任意的預(yù)定義數(shù)據(jù)類型，比如RGB或者別的多通道數(shù)據(jù)。

　　在OpenCV類型關(guān)系上，我們可以說IplImage類型繼承自CvMat類型，當(dāng)然還包括其他的變量將之解析成圖像數(shù)據(jù)。IplImage類型較之CvMat多了很多參數(shù)，比如depth和nChannels。IplImage對圖像的另一種優(yōu)化是變量origin原點，為了彌補這一點，OpenCV允許用戶定義自己的原點設(shè)置。

　　1.3 VivadoHLS中圖像數(shù)據(jù)類型hls::Mat<>

　　VivadoHLS視頻處理函數(shù)庫使用hls::Mat<>數(shù)據(jù)類型，這種類型用于模型化視頻像素流處理，實質(zhì)等同于hls::steam<>流的類型，而不是OpenCV中在外部memory中存儲的matrix矩陣類型。因此，在用VivadoHLS實現(xiàn)OpenCV的設(shè)計中，需要將輸入和輸出HLS可綜合的視頻設(shè)計接口，修改為Video stream接口，也就是采用HLS提供的video接口可綜合函數(shù)，實現(xiàn)AXI4 video stream到VivadoHLS中hls::Mat<>類型的轉(zhuǎn)換。

　　2 使用VivadoHLS實現(xiàn)OpenCV到RTL代碼轉(zhuǎn)換的流程

　　2.1 OpenCV設(shè)計中的權(quán)衡

　　OpenCV圖像處理是基于存儲器幀緩存而構(gòu)建的，它總是假設(shè)視頻frame數(shù)據(jù)存放在外部DDR 存儲器中，因此，OpenCV對于訪問局部圖像性能較差，因為處理器的小容量高速緩存性能不足以完成這個任務(wù)。而且出于性能考慮，基于OpenCV設(shè)計的架構(gòu)比較復(fù)雜，功耗更高。在對分辨率或幀速率要求低，或者在更大的圖像中對需要的特征或區(qū)域進行處理時，OpenCV似乎足以滿足很多應(yīng)用的要求，但對于高分辨率高幀率實時處理的場景下，OpenCV很難滿足高性能和低功耗的需求。

　　基于視頻流的架構(gòu)能提供高性能和低功耗，鏈條化的圖像處理函數(shù)減少了外部存儲器訪問，針對視頻優(yōu)化的行緩存和窗口緩存比處理器高速緩存更簡單高效，更易于使用VivadoHLS在FPGA部件中采用數(shù)據(jù)流優(yōu)化來實現(xiàn)。

　　VivadoHLS對OpenCV的支持，不是指可以將OpenCV的函數(shù)庫直接綜合成RTL代碼，而是需要將代碼轉(zhuǎn)換為可綜合的代碼，這些可綜合的視頻庫稱為HLS視頻庫，由VivadoHLS提供。

　　OpenCV函數(shù)不能直接通過HLS進行綜合，因為OpenCV函數(shù)一般都包含動態(tài)的內(nèi)存分配、浮點以及假設(shè)圖像在外部存儲器中存放或者修改。

　　VivadoHLS視頻庫用于替換很多基本的OpenCV函數(shù)，它與OpenCV具有相似的接口和算法，主要針對在FPGA架構(gòu)中實現(xiàn)的圖像處理函數(shù)，包含了專門面向FPGA的優(yōu)化，比如定點運算而非浮點運算(不必精確到比特位)，片上的行緩存(line buffer)和窗口緩存(window buffer)。圖2.1展示了在Xilinx Zynq AP SoC器件上實現(xiàn)視頻處理的系統(tǒng)結(jié)構(gòu)。

　　2.2 在FPGA/Zynq開發(fā)中使用VivadoHLS實現(xiàn)OpenCV的設(shè)計流程

　　設(shè)計開發(fā)流程主要有如圖2.2三個步驟。

　　1. 在計算機上開發(fā)OpenCV應(yīng)用，由于是開源的設(shè)計，采用C++的編譯器對其進行編譯、仿真和debug，最后產(chǎn)生可執(zhí)行文件。這些設(shè)計無需修改即可在 ARM內(nèi)核上運行OpenCV應(yīng)用。

　　2.使用I/O函數(shù)抽取FPGA實現(xiàn)的部分，并且使用可綜合的VivadoHLS Video庫函數(shù)代碼代替OpenCV函數(shù)的調(diào)用。

　　3.運行HLS生成RTL代碼，在VivadoHLS工程中啟動co-sim，HLS工具自動重用OpenCV的測試激勵驗證產(chǎn)生的RTL代碼。在Xilinx的ISE或者Vivado開發(fā)環(huán)境中做RTL的集成和SoC/FPGA實現(xiàn)。

　　2.3 用HLS實現(xiàn)OpenCV應(yīng)用的實例(快速角點濾波器image_filter)

　　我們通過快速角點的例子，說明通常用VivadoHLS實現(xiàn)OpenCV的流程。首先，開發(fā)基于OpenCV的快速角點算法設(shè)計，并使用基于OpenCV的測試激勵仿真驗證這個算法。接著，建立基于視頻數(shù)據(jù)流鏈的OpenCV處理算法，改寫前面OpenCV的通常設(shè)計，這樣的改寫是為了與HLS視頻庫處理機制相同，方便后面步驟的函數(shù)替換。最后，將改寫的OpenCV設(shè)計中的函數(shù)，替換為HLS提供的相應(yīng)功能的視頻函數(shù)，并使用VivadoHLS綜合，在Xilinx開發(fā)環(huán)境下在FPGA可編程邏輯或作為Zynq SoC硬件加速器實現(xiàn)。當(dāng)然，這些可綜合代碼也可在處理器或ARM上運行。

　　3 VHLS實現(xiàn)OpenCV設(shè)計流程總結(jié)

　　OpenCV函數(shù)可實現(xiàn)計算機視覺算法的快速原型設(shè)計，并使用VivadoHLS工具轉(zhuǎn)換為RTL代碼，在FPGA可編程邏輯上或者ZynqSoC邏輯上作為硬件加速器，實現(xiàn)高分辨率高幀率的實時視頻處理。計算機視覺應(yīng)用與生俱來的異構(gòu)特性，使其需要軟硬件相結(jié)合的實現(xiàn)方案，采用Vivado HLS視頻庫能加快OpenCV函數(shù)向FPGA或Zynq SOC全可編程架構(gòu)的映射。

　　參考文獻：

　　[1]Vivado Design Suite User Guide:High-LevelSynthesis(UG902)

　　[2]Accelerating OpenCV applications with Zynq using VivadoHLS video libraries(XAPP1167)

　　[3]Bradski G,Kaebler A.Learning OpenCV.ISBN 978-7-302-20993-5

　　[4]Implementing memory structure for video processing in the VivadoHLS tool(XAPP793)

　　[5]Gonzalez R C.Wood R E.Digital Image Processing,3rd ed.ISBN 978-7-121-11008-5