用OpenCV和Vivado HLS加速基于Zynq SoC的嵌入式視覺應用開發(fā)

Vivado HLS編譯器流程的最后兩步就是RTL實現和IP封裝。這是Vivado HLS編譯器中自動進行的兩步，不需要用戶具備RTL方面的知識。針對賽靈思產品組合中不同器件的RTL創(chuàng)建優(yōu)化細節(jié)內置在編譯器中。在此階段，為滿足需求，我們提供了經過全面測試和驗證的按鈕式工具，能生成基于時序和基于FPGA架構的RTL。Vivado HLS編譯器的輸出自動封裝為IP-XACT等其它賽靈思工具能接受的格式，因此無需進行其它操作，就可在Vivado中使用HLS生成的IP核。

　　賽靈思的OpenCV庫為用Vivado HLS進行設計優(yōu)化提供了捷徑。這些庫預先特性描述后能提供1080p分辨率的像素處理功能。引導Vivado HLS編譯器進行優(yōu)化的細節(jié)已嵌入在這些庫中。這樣，您就能快速自如地將桌面環(huán)境中的OpenCV理念應用迭代為Zynq SoC上運行的OpenCV應用，均可在ARM處理器和FPGA架構上操作。

　　圖3概述了用OpenCV進行運動檢測應用開發(fā)流程。該設計的目的就是通過比較當前幀和前一幀來檢測視頻流中的移動物體。算法的第一階段要檢測前后兩幀的邊緣。數據縮減運算(data-reduction operation)便于分析連續(xù)幀之間的相對變化。邊緣信息提取出來后，通過邊緣對比可以檢測出當前圖像中出現而前一圖像中不存在的邊緣。檢測出來的新邊緣則構成運動檢測掩膜圖像。最新邊緣檢測結果在當前圖像上凸顯前，應考慮到圖像傳感器噪聲的影響。各幀的噪聲可能不同，會導致運動檢測掩膜圖像中出現隨機錯誤邊緣。因此我們必須過濾圖像，減少噪聲對算法質量的影響。

　　圖5  采用可編程架構的Zynq SoC上的運動檢測

　　在該應用中，可通過在運動檢測掩膜圖像上采用7x7中值濾波器來降噪。中值濾波器的主要就是取7x7相鄰像素窗口的中值，然后將中值作為窗口中心像素的最終值進行報告。降噪后，運動檢測掩膜圖像結合于實時輸入圖像并用紅色凸顯出運動邊緣。

　　您可全面實現應用，運行在ARM處理子系統(tǒng)上，采用Zynq SoC源代碼映射，如圖4所示。實現過程中僅有的硬件元素就是cvget-frame和showimage函數。這兩個視頻I/O函數用FPGA架構中的賽靈思視頻I/O子系統(tǒng)實現的。在cvgetframe函數調用時，視頻I/O子系統(tǒng)的輸入端負責處理所有細節(jié)，從HDMI接口抓取并解碼視頻流，再把像素數據存入DDR存儲器。Showimage函數調用時，該子系統(tǒng)負責將像素數據從DDR存儲器傳輸到視頻顯示控制器，以驅動電視機或其它符合HDMI標準的視頻顯示設備。

Vivado HLS優(yōu)化的、支持硬件加速的OpenCV庫能將圖4中的代碼移植到FPGA架構中的60fps實時像素處理流水線上。OpenCV庫為需要硬件加速的OpenCV元素提供基礎功能。如果沒有硬件加速，也就是說如果僅在ARM處理器中運行所有代碼的話，那么該算法吞吐量僅為每13秒1幀(也就是0.076fps)。圖5顯示了Vivado HLS編譯后的應用的新映射。請注意，原系統(tǒng)的視頻I/O映射可重復使用。此前正在ARM處理器上執(zhí)行的算法的計算內核，現在可編譯到多個Vivado HLS生成的IP模塊中。這些模塊連接至Vivado IP Integrator中的視頻I/O子系統(tǒng)，針對60fps、1080p的視頻處理進行了優(yōu)化。

Zynq SoC和Vivado設計套件提供的All Programmable環(huán)境非常適合以最新高分辨率視頻技術所要求的高數據處理速率運行的嵌入式視覺系統(tǒng)的設計、原型設計和測試。采用OpenCV中的開源庫集是在較短開發(fā)時間內實現高標準計算機視覺應用的最佳選擇。由于OpenCV庫用C++編寫，因此我們用Vivado HLS創(chuàng)建的源代碼能高效轉換為Zynq SoC FPGA架構中的硬件RTL，并可用作方便易用的處理加速器，且不影響OpenCV最初設想的設計環(huán)境的靈活性。