開啟嵌入式智能視覺應用新時代

全球新冠疫情肆虐以及對提高安全性和效率的需求正促使各行業(yè)企業(yè)在其系統(tǒng)中集成智能嵌入式視覺技術，以支持人員偵測、非接觸式人機交互和更強大的AR/VR功能，同時使用智能機器視覺技術來提高制造水平和產量。Allied Market Research的數據顯示，2019年全球機器視覺系統(tǒng)市場規(guī)模為297億美元，到2027年預計將達到749億美元，2020年到2027年的復合年增長率約為11.3％。

作為Lattice低功耗嵌入式視覺系統(tǒng)解決方案集合，mVision使用了模塊化硬件平臺、IP構建模塊、易于使用的FPGA設計工具、參考設計和演示以及定制設計服務網絡，提供定制化的性能和靈活的接口互連(MIPI CSI-2、LVDS、PCIe、GigE)，并專為智能工廠、機器視覺、智慧城市和智能家居應用中的低功耗(150mW-1W)、小尺寸封裝(2.5 x2.5mm-10x10mm)設計進行了優(yōu)化，能應對傳感器互連、橋接、聚合和圖像信號處理等各類設計挑戰(zhàn)。

牛刀小試

2020年3月，mVision 1.0解決方案面世，為需要快速構建原型系統(tǒng)的消費類嵌入式視覺設計人員提供了高度靈活、小型模塊化的解決方案。其核心特點包括：

●   視頻接口平臺(VIP)—模塊化硬件開發(fā)板，支持嵌入式視覺應用中常用的各種視頻和I/O接口(包括MIPI、LVDS、DisplayPort、HDMI、USB等)。VIP開發(fā)板支持包括CrossLink?、ECP5?和基于萊迪思Nexus技術平臺的CrossLink-NX FPGA。VIP通過簡單的插拔即可輕松地實現輸入和輸出板互連，兩個60引腳的高速板對板連接器用以減少物理連線，確保設計工程師可以復用現有經過驗證的軟硬件構建模塊。

●   完善的IP庫—mVision解決方案集合包括各類即時可用的IP核，可用于連接MIPI和LVDS圖像傳感器、ISP、通用連接標準(例如USB、千兆以太網)和HDMI、DisplayPort、GigE Vision等顯示標準。

●   FPGA設計工具—可使用Lattice Diamond^?和Lattice Radiant^?這兩款易于使用的FPGA設計工具。這些工具可以自動處理許多常見的設計任務，從而加速和簡化萊迪思FPGA的編程。

●   端到端的參考設計—為進一步加速系統(tǒng)開發(fā)，萊迪思mVision為常見的嵌入式視覺應用提供了完整的參考設計，包括傳感器橋接、傳感器聚合和圖像處理。

●   定制化設計服務—針對需要協助將其嵌入式視覺系統(tǒng)推向市場的客戶，萊迪思建立了設計服務合作伙伴網絡，可以滿足從開發(fā)單獨的功能設計模塊到提供一站式交鑰匙解決方案等一系列客戶需求。

mVision 2.0：從消費級到工業(yè)級

一年后的2021年3月，在mVision 1.0版本的基礎上，Lattice推出了mVision 2.0。該方案新增了一些重要更新，包括對工業(yè)和汽車系統(tǒng)中使用的主流新型圖像傳感器的支持，以及全新圖像信號處理IP核和參考設計，幫助開發(fā)人員設計網絡邊緣智能視覺應用。該解決方案集合現還支持Lattice Propel設計環(huán)境，可簡化使用嵌入式RISC-V處理器的視覺系統(tǒng)的開發(fā)。

此外，mVision 2.0 ISP Pieces Library(Drop 1.0)還具備完整的ISP管道功能，支持高達150MHz的像素時鐘(720p120/1080p60等)和高達96dB(16位)的場景動態(tài)范圍，提供定制ISP解決方案的靈活互連，用以平衡性能和成本。調試工具包則具備外部DDR存儲器實時圖像捕獲功能，支持Lattice SSP注冊訪問工具包，能夠針對特定環(huán)境進行調整。

mVision 2.0解決方案集合的主要更新包括：

●   擴展了對汽車、工業(yè)和醫(yī)療領域嵌入式視覺應用的支持

與消費級嵌入式視覺方案不同，應用于工業(yè)、汽車和醫(yī)療領域的嵌入式視覺方案既要求低功耗、小尺寸，還對幀率準確度要求極為嚴苛，不允許丟幀現象發(fā)生。因此，萊迪思在mVision 2.0增加了全新的開發(fā)板，除了原有的CrossLink、CrossLink-NX、ECP5之外，還包括支持工業(yè)和醫(yī)療應用的主流圖像傳感器Sony IMX464/IMX568和安森美半導體的AR0234CS，開發(fā)人員可通過I2C、SPI或其他接口對攝像機傳感器進行配置和操作。

●   支持萊迪思Propel設計環(huán)境與RISC-V架構

Propel是一款用于在低功耗、小尺寸萊迪思FPGA上加速基于嵌入式處理器開發(fā)的設計環(huán)境。該工具包括一套完整的圖形和命令行工具，可創(chuàng)建、分析、編譯和調試基于FPGA的處理器系統(tǒng)的硬件和軟件設計。

而之所以新增對RISC-V架構的支持，其主要目的，一是希望通過使用C代碼而非RTL語言的方式簡便整個方案的配置；二是RISC-V作為開源方案，得到了大多數用戶的支持。未來，Lattice將計劃在其他器件上逐步提供RISC-V軟核支持。

●   全新萊迪思圖像信號處理器(ISP)參考設計

以往的傳感器產品都自帶ISP驅動，但隨著傳感器復雜度的增加、分辨率的提升，傳感器廠商很難調動一款受眾面很廣的驅動，因此往往不再提供ISP驅動，多數只提供傳感或者原始數據，這部分工作就被漸漸轉移給了方案開發(fā)者。Lattice此次增加了專門的ISP，為客戶拓展了mVision解決方案的選擇，可以幫助用戶在產品設計中快速部署嵌入式視覺等應用提供便利。

●   新增圖像信號處理與橋接聚合IP

mVision 2.0所包含的IP核主要分為四類：顯示處理、圖像信號處理、橋接和聚合、互連。其中，圖像信號處理、橋接和聚合IP為新增項目，用戶可以直接引入這些模塊，減少從零開發(fā)的流程投入。同時，所有這些可用的IP模塊都支持CrossLink-NX。

應用案例

從M2M應用中的工業(yè)顯示系統(tǒng)、工業(yè)4.0解決方案，到高級駕駛輔助系統(tǒng)(ADAS)和車載信息娛樂系統(tǒng)，再到數碼單反相機、無人機、機器人、虛擬現實(VR)系統(tǒng)和醫(yī)療設備，在當今所有行業(yè)中攝像頭應用的數量都在不斷增長，目標識別、深度感知、碰撞規(guī)避和決策制定等更加智能的應用也正在變?yōu)楝F實。

為了構建靈活、智能學習的環(huán)境，將理想變?yōu)楝F實，萊迪思攜手Softnautlcs、LogicFruit、Bitec、TATA、Helion等合作伙伴開發(fā)出了數十種靈活的解決方案以滿足當今嵌入式視覺設計工程師的需求，如不斷變化的接口、低功耗圖像信號處理和硬件加速。

●   使用Helion IONOS ISP加速產品上市進程

萊迪思與Helion Vision合作提供全面的解決方案，包括一系列圖像信號處理產品系列，從基本的(ECO HD-ISP)到支持高級高動態(tài)范圍圖像處理(HDR HD-ISP)的產品。其中，Helion Vision的IONOS IP系列通過IP庫提供100多款獨立IP，實現即插即用的處理解決方案，并在此前專為ECP3?和ECP5?架構進行了優(yōu)化的基礎上，新增對CrossLink-NX的支持，可顯著減少所需的FPGA資源和延遲。

●   基于流水線架構的mVision ISP參考設計

下圖展示的是一個基于流水線架構的完整的萊迪思mVision ISP參考設計，支持Sony IMX464/IMX568和安森美半導體的AR0234CS圖像傳感器，2020年11月交付早期客戶使用。最早使用的硬件平臺為ECP5，預計將于2021年第一季度內支持CrossLink。根據規(guī)劃，Lattice最初的ISP參考設計將專注于工業(yè)、醫(yī)療和汽車應用，萊迪思會提供包含非常適合醫(yī)療、工業(yè)、航空航天、汽車和消費者應用的流行傳感器在內的多種EVDK模塊。

●   Sony IMX464 VIP傳感器輸入板

全新Sony IMX464 VIP傳感器輸入板包括Sony 1/1.8" 4MP MIPI NIR增強型卷簾快門傳感器模塊，以及連接EVDK的適配器數據線。與嵌入式視覺開發(fā)套件(EVDK)無縫連接，支持2688(H) x 1520(V)分辨率、4 M像素、最高90 FPS、HDR等性能指標，適用于監(jiān)控、工廠自動化、工業(yè)攝像頭應用。

左圖 未經ISP處理的圖片 右圖 經過ISP處理后的RGB圖像

嵌入式視覺系統(tǒng)設計工程師面臨著許多挑戰(zhàn)，圖像信號處理問題只是其中一項，上述案例也只是眾多應用中的代表。圖像傳感器形式和尺寸各異，并且在像素粒度、信噪比、光敏度和色深方面的性能等級也不同。此外，照明和物體的色彩對比度等環(huán)境因素進一步讓系統(tǒng)設計變得更加復雜。這些情況往往會對系統(tǒng)設計工程師帶來嚴重的問題，因為他們要實時地進行圖像預處理。要解決產品設計周期延長和風險上升的問題，萊迪思在圖像處理領域具備的專業(yè)經驗將能夠很好的幫助他們應對上述挑戰(zhàn)。