人工智能機器視覺需求猛增，sensAI重塑深度情境感知

智能手機和各類物聯(lián)網設備的指數(shù)級增長推動了網絡邊緣計算的發(fā)展，這些設備無處不在，但如果將其產生的全部數(shù)據都向云端發(fā)送，毫無疑問將為云端處理帶來極大的負擔。因此，基于網絡邊緣的處理十分必要，不僅可以降低云端的網絡通信成本和云存儲成本，還能避免云端數(shù)據通道過載。

目前，網絡邊緣產品和應用的開發(fā)人員越來越多地采用人工智能和機器學習(AI/ML)算法來匹配和識別復雜的模式，以幫助分析數(shù)據并據此做出決策。事實上，AI/ML技術的使用增長極其迅猛，ABI Research的數(shù)據顯示，預計到2024年，設備端AI推理功能將覆蓋60%的設備。

但許多可以利用AI/ML功能的網絡邊緣設備，往往需要在極其嚴苛的功耗限制下運行，充一次電或者僅依靠收集和存儲能量就要工作幾個月甚至幾年。另一方面，近十年來AI模型快速發(fā)展，不斷有新的實現(xiàn)方式產生，需要有更出色的硬件來承載，這就需要硬件和算法上的優(yōu)化。

作為萊迪思推出的業(yè)界第一款用于網絡邊緣設備端AI處理的完整解決方案集合，SensAITM提供了供開發(fā)人員評估、開發(fā)和部署基于FPGA的機器學習/人工智能解決方案所需的全部資源，包括模塊化硬件平臺、演示示例、參考設計、神經網絡IP核、軟件開發(fā)工具和定制化設計服務，旨在解決系統(tǒng)對于日益嚴格的功耗和小尺寸(5mm2到100mm2)的要求，目前已演進到最新的6.0版本。

初識sensAI 6.0

增強對高性能機器視覺AI解決方案的支持，是此次sensAI 6.0版本推出的初衷。根據IoT Analytics報告，2020年，制造業(yè)和工業(yè)中的人工智能機器視覺市場規(guī)模約為41億美元，預計到2025年將增加至152億美元，年復合年增長率(GAGR)為30%，而傳統(tǒng)機器視覺部署的年復合增長率僅為6.5%。

如此高的年復合增長率是因為下一代實時邊緣人工智能機器視覺的應用，不僅限于質量保證和產品檢測應用，還要幫助制造商和使用者獲得更多的正常運行時間、獲得預防性維護的能力、提高生產力和確保工人安全等諸多受益。

為順應這一趨勢，sensAI 6.0對硬件平臺的支持從最初的iCE40/CrossLink-NX/ECP5/CertusPro-NX拓展到了Avant，這也是萊迪思新推出的低功耗中端FPGA平臺。與此前的產品相比，Avant平臺在性能和硬件資源方面得到了進一步的強化，例如邏輯單元容量達到了500K，相比以往100K-150K的配置，提升了5倍；帶寬提升了10倍，計算性能提升30倍。它的面世不但意味著萊迪思邁入了中端FPGA供應商的行列，還打開了一扇通往30億美元增量市場的新大門。

萊迪思sensAI 6.0解決方案集合

萊迪思sensAI 6.0解決方案集合中的IP核包括多種類型的卷積神經網絡(CNN)加速器——CNN、CNN Plus、CNN Compact、Advanced CNN、以及一個CNN協(xié)處理器引擎，能讓開發(fā)人員使用其他人發(fā)布的廣泛使用的各類CNN，例如Mobilenet v1/v2、Resent、SSD、VGG、OpenCV和標準機器學習(ML)訓練平臺，或者根據需要自定義CNN模型，再依托萊迪思FPGA的并行處理能力、分布式存儲器和DSP資源，極大簡化了超低功耗AI設計的實現(xiàn)。

SensAI支持多種AI算法模型

軟件工具層面，sensAI Studio設計環(huán)境是一種基于圖形用戶界面(GUI)的工具，擁有AI模型庫，經過配置和訓練可適用于各類主流應用場景，可幫助開發(fā)人員快速構建機器學習應用，此番在sensAI 6.0中與編譯器工具一起獲得更新，用以支持新的AI加速引擎。

Glance by Mirametrix^?計算機視覺軟件(V10.0)的更新，則主要集中在對用戶界面、攝像頭功能、外部用戶界面(UI)模式的優(yōu)化和低功耗FPGA的支持，是本次更新的重點內容之一。

Glance是由Mirametrix公司開發(fā)的注意力感應軟件，軟件配合IR Camera(紅外攝像頭)可捕捉用戶的面部、眼睛和凝視動作，從而了解用戶的意識和注意力。利用這項獨特的技術開發(fā)的智能設備，能提供更自然和沉浸式的用戶體驗和設備交互。2021年，萊迪思通過全現(xiàn)金方式交易收購Mirametrix公司，將Mirametrix的專業(yè)知識與萊迪思創(chuàng)新的硬件和軟件解決方案堆棧相結合，從而創(chuàng)建出了一個從硬件到應用層的端到端AI和計算機視覺解決方案。

塑造深度情境感知能力

萊迪思FPGA提供可編程I/O，經配置可支持傳感器接口常用的多種電氣接口標準，公司還提供許多硬核和軟核IP模塊以支持不同的傳感器通信協(xié)議。由于FPGA長期以來在傳感器融合方面具有顯著優(yōu)勢，因此萊迪思sensAI 6.0解決方案集合包括許多參考設計示例，演示了多種智能傳感器融合的應用案例，它們可以同時運行，實現(xiàn)深入的情景感知，例如：

●   人員偵測

該參考設計使用CMOS圖像傳感器持續(xù)檢測人員的存在?；诖嗽O計的AI系統(tǒng)可以使用深度學習框架（例如Caffe或Tensorflow）更新所提供的訓練模型來檢測和定位任何感興趣的目標。該參考設計包括一個神經網絡模型、一個訓練數(shù)據集和可使用常用訓練工具訓練的腳本。

●   條形碼檢測和讀取

條形碼檢測和讀取是一種應用程序，通常使用混合了傳統(tǒng)和基于AI/ML的算法的加速工業(yè)PC運行。由于設計者希望降低部署成本，具有內置條形碼讀取功能的攝像頭可以更簡單地實現(xiàn)應用程序。因此，此參考設計演示了使用CertusPro NX FPGA語音和視覺機器學習板的條形碼檢測，該板實現(xiàn)了基于Yolov5 NN模型的攝像頭條形碼檢測功能。

資料顯示，該參考設計允許640 x 480的圖像分辨率輸入，裁剪并縮小到160 x 120進行處理，檢測結果可在FPGA內疊加至輸入圖像的頂部。同時，使用Yolov5型網絡，實現(xiàn)了在小占地面積內提高精度的目標。

條形碼檢測和讀取參考設計

●   目標檢測、分類、追蹤和計數(shù)

該參考設計提供了目標檢測、分類、追蹤和計數(shù)的示例，擁有完整的設計，包括用于萊迪思開發(fā)板的FPGA RTL、神經網絡模型、示例訓練數(shù)據集以及用于重新創(chuàng)建和更新設計的腳本。

目標分類參考設計

●   手勢檢測

該參考設計使用IR圖像傳感器，實現(xiàn)了一個基于AI的低功耗手勢檢測系統(tǒng)。該參考設計提供了一個訓練數(shù)據集、可使用常用神經網絡訓練工具訓練的腳本以及一個神經網絡模型，方便用戶進行修改。

●   人臉檢測

該參考設計使用圖像傳感器實現(xiàn)基于CNN的人臉識別，并且可以通過修改訓練數(shù)據庫來識別其他類型的目標。

●   關鍵詞檢測

該參考設計使用數(shù)字MEMS麥克風持續(xù)檢測關鍵詞話語。設計人員可以使用深度學習框架（例如Caffe、Tensorflow或Keras）更新提供的訓練數(shù)據集，為系統(tǒng)添加喚醒詞功能。參考設計包括一個訓練數(shù)據集、可使用常用神經網絡訓練工具訓練的腳本以及一個神經網絡模型，方便用戶進行修改。

與此同時，萊迪思還正與合作伙伴和客戶合作，利用多模式、智能傳感器融合和AI/ML技術，不斷提升PC/筆記本電腦用戶的體驗，并顯著降低筆記本電腦的運行功耗，在某些應用中，電池使用時間最多提高了28%。

結語

此次更新的Automate?3.0和sensAI?6.0解決方案集合，均在萊迪思低功耗FPGA上運行，可實現(xiàn)高效、靈活和安全的工業(yè)應用開發(fā)，同時帶來低功耗和小尺寸優(yōu)勢。設計人員可以在不依賴云端的情況下，快速為網絡邊緣設備提供更多計算資源，從而最大程度幫助客戶實現(xiàn)最新的工廠自動化和工業(yè)機器視覺應用。