只需1小時，輕松玩轉(zhuǎn)視覺AI？Xilinx Kria KV260視覺AI套件評測

本文來為貿(mào)澤電子獨家原創(chuàng)文章

視覺AI應(yīng)用發(fā)展至今，已經(jīng)遍地開花，你能想到的或想不到的地方，它都存在。至于它的邊界在哪里，說是潛力無限也好不夸張，就像今天要評測的Xilinx Kria? KV260視覺AI套件，他刷新了我對視覺AI及FPGA上手難易度的認知。

 1  套件介紹及開箱

Xilinx Kria? KV260視覺AI入門套件是一個開箱即用平臺，開發(fā)人員可以通過首選設(shè)計環(huán)境，在任何抽象層添加定制和差異化功能，包括應(yīng)用軟件、AI模型乃至FPGA設(shè)計。該套件是超快速簡易平臺，用于開發(fā)應(yīng)用以使用Kria? K26系統(tǒng)模塊（SOM）進行批量部署。

這個套件包括最多支持八個接口的多攝像頭、三個MIPI傳感器接口、一個USB攝像頭、一個內(nèi)置ISP組件、HDMI DisplayPort輸出以及千兆以太網(wǎng)和USB 3.0/2.0連接功能。該套件還允許開發(fā)人員針對任何傳感器或接口進行擴展，并訪問Pmod生態(tài)系統(tǒng)。KV260針對視覺應(yīng)用進行了優(yōu)化，通過安森美半導(dǎo)體的影像接入系統(tǒng)（IAS）和Raspberry Pi連接器提供多攝像頭支持。

圖1

在拿到了板卡之后，內(nèi)部主要有兩個盒子，一個是板卡包裝盒，可以從外包裝上看到，這個就是Kria? 板卡的外包裝，此板卡為視覺AI套件，和視覺AI套件對應(yīng)的還有機器人套件：

圖2

另一個是配件包盒子，配件包盒子就是一個簡簡單單的牛皮紙盒，但內(nèi)部提供的配件是非常多的：

圖3

打開板卡包裝盒，板卡正面特寫，可以看到板卡由核心板和一個載板構(gòu)成，該板卡提供了非常多的外部接口，如千兆以太網(wǎng)、4個USB3.0，1個HDMI，1個DP接口以及一個12V電源輸入接口，兩個MIPI接口，一個PMOD接口，串口等等，外設(shè)接口提供的非常全面，美中不足的是沒有提供開關(guān)：

圖4

板卡背面特寫：

圖5

電源適配器需單獨購買：

圖6

電源適配器貼心的提供了不同標準接口：

圖7

HDMI連接線：

圖8

千兆網(wǎng)線：

圖9

MicroUSB線：

圖10

Cmos Sensor：

圖11

Sensor正面：

圖12

Sensor背面：

圖13

提供的SD卡架和TF卡，這個出廠里面是空的，并沒有燒錄鏡像。

圖14

此外，Xilinx還提供了一個安裝架，用來固定板卡，安裝完成后十分的漂亮（如圖15所示）。

 2  套件外觀與接口通過基本外觀

圖15可以看到，板卡其實是由兩部分構(gòu)成的，在紅色風(fēng)扇下面壓著的，就是我們的核心板，底部的就是載板，通常被稱為Carrier Board。

圖15

這種通過核心板+擴展版的設(shè)計方法能夠有效的減少設(shè)計時間與設(shè)計風(fēng)險，核心板與底板可以替換、升級，非常方便。Xilinx將他們的核心板成為SOM(System-on-Module)，這塊板卡所使用的核心板型號為K26 SOM，官網(wǎng)頁面如下圖16所示：

圖16

這個SOM核心器件使用了Xilinx的ZYNQ Ultrascale+系列SOC/FPGA，該SOM資源種類、資源量、接口種類都非常豐富，如下表1所示：

表1

通過以上資源，給了我們非常大的空間與舞臺，讓我們在這個SOM上實現(xiàn)我們的想法。

對于這個視覺開發(fā)套件的載板，也就是Carrier Board，也提供了非常多的外部接口，如下表所示，它針對AI應(yīng)用，引出了K26 SOM內(nèi)偏向于視覺的接口，供我們針對性選用。

KV260載板的硬件框圖如下圖17所示：

圖17

KV260對應(yīng)此硬件框圖，提供的外部接口資源如下圖18所示：

圖18

 3  上手體驗&運行Demo

Xilinx為我們提供了頁面，告訴我們?nèi)绾伍_始，官網(wǎng)頁面點此查看。

  首先，根據(jù)頁面我們需要準備好一些配件：

● KV260電源和適配器（12V，3A）

● MicroSD卡（16GB）

● USB-A至micro-B電纜

● 13MP自動聚焦RGB攝像頭（AR1335）模塊

● 以太網(wǎng)電纜

● HDMI電纜（連接至監(jiān)視器）

此外，我還準備了讀卡器和DP線纜。

根據(jù)頁面所述，我們可以選擇直接使用編譯好的ubuntu或者petalinux，我選擇使用petalinux。點擊下方按鈕繼續(xù)：

圖19

接下來就是下載鏡像和一些燒錄，格式化TF卡等等工具，鏡像下載界面點此查看。

燒錄器下載鏈接：https://www.balena.io/etcher/

除了頁面要求外，我另外準備了串口通信工具MobaXterm，這個軟件的Home版本是免費的，足夠我們使用。

另外，TF卡格式化工具我選擇了老牌的SDFormatter，簡單可靠好用。

鏡像與工具準備完成如下圖20所示：

圖20

然后，進入“開始設(shè)計”的步驟2，按照動圖提示，先鏈接其他連線、TF卡、Sensor，最后再給板卡鏈接適配器進行供電。

通過終端連接板卡，如下圖21所示，可以看到已經(jīng)有啟動的log信息輸出：

圖21

提示進行登錄：

圖22

由于是第一次進入板卡系統(tǒng)，要求設(shè)置個新密碼并確認，按照要求輸入即可。

成功進入系統(tǒng)：

圖23

然后我們可以嘗試進行運行Xilinx提供的只能攝像頭加速應(yīng)用。

Xilinx憑借Kria? KV260視覺AI入門套件向用戶推出“加速應(yīng)用”的概念。這些是為AI及軟件開發(fā)者預(yù)先構(gòu)建的應(yīng)用，可幫助他們領(lǐng)先一步開發(fā)目標終端應(yīng)用。

您可以快速運行一款我們的加速應(yīng)用，甚至可以使用不同的人工智能模型或傳感器對其進行定制。聽起來讓人很振奮！我們來試用一下智能相機加速應(yīng)用。

KV260 Vision AI入門套件的獨特之處在于：它能夠加載和運行能通過配置硬件來實現(xiàn)多種功能的應(yīng)用?！皒mutil”實用程序可用于加載各種應(yīng)用。一個加速應(yīng)用可在既定的時間加載。我們將首先加載一個應(yīng)用，將SOM編程為智能相機，該應(yīng)用能夠處理來自MIPI或USB相機的1080p視頻流，并通過HDMI或DisplayPort進行顯示，或通過有線以太網(wǎng)進行流處理。

 4  智能攝像頭加速應(yīng)用簡介

內(nèi)置機器學(xué)習(xí)并能執(zhí)行面部/行人檢測的超高清攝像頭，支持從各種視頻源（Mipi攝像頭、視頻文件&USB攝像頭）捕獲信息，能夠通過基于ROI編碼的視頻的HDMI、DisplayPort或RTSP傳輸功能輸出處理過的視頻。

最普及的使用案例：智慧城市應(yīng)用（面部、行人檢測和交通管理）和視頻分析功能。

圖24

系統(tǒng)可輸入直流或交流電進行供電，通過AC-DC或DC-DC電路進行變換后與系統(tǒng)的多模式電源管理系統(tǒng)交互，PAC5556支持UART、SPI、CAN和IIC等多種通信方式，隨后通過驅(qū)動電路驅(qū)動電機進行旋轉(zhuǎn)，通過霍爾傳感器反饋位置或無霍爾傳感器的轉(zhuǎn)子位置估算技術(shù)進行換向及調(diào)速，同時系統(tǒng)支持信號監(jiān)測技術(shù)，可實時監(jiān)測電流、電壓及功率等信息。

 5  啟動智能攝像頭加速應(yīng)用

在運行目標上動態(tài)安裝智能相機應(yīng)用軟件包。Xilinx能夠采用運行時軟件包管理（rpm）格式為用戶提供軟件包饋送，使他們能夠在使用dnf軟件包管理器實用程序命令“dnf install”運行 Linux 啟動器映像的基礎(chǔ)上，動態(tài)加載 Xilinx加速應(yīng)用。此外，Xilinx還可提供xmutil實用程序（xmutil getpkgs），用于搜索軟件包饋送并查詢針對Vision AI入門套件提供的加速應(yīng)用軟件包組。命令如下：

1）運行sudo xmutil getpkgs命令，獲取所提供的應(yīng)用軟件包組列表。

圖25

2）運行sudo dnf install packagegroup-kv260-smartcam.noarch命令，從上表安裝智能相機加速應(yīng)用軟件包組。出現(xiàn)提示時，按“是”，等待大約2分鐘，安裝204個軟件包。

圖26

出現(xiàn)提示，輸入Y確認安裝。

圖27

正在下載…

圖28

自動進行安裝：

圖29

安裝完成。

圖30

 6  加載智能相機加速應(yīng)用固件

在執(zhí)行/opt/xilinx/bin上提供的新安裝應(yīng)用之前，需要使用xmutil實用程序命令加載 FPGA 固件（PL 位流+設(shè)備樹覆蓋+ PL驅(qū)動程序）。按照以下步驟在Vision AI入門套件上加載智能相機加速應(yīng)用固件。

1）運行sudo xmutil listapps命令，列出Vision AI入門套件上可用的現(xiàn)有應(yīng)用固件。

圖31

2）運行sudo xmutil unloadapp命令，卸載默認的“kv260-dp”應(yīng)用固件。

圖32

3）運行sudo xmutil loadapp kv260-smartcam命令，加載智能相機加速應(yīng)用固件。

圖33

運行智能相機加速應(yīng)用。

將AR1335攝像頭模塊對準用戶面部并運行智能相機加速應(yīng)用。要使用IAS攝像頭模塊運行加速應(yīng)用，請使用以下命令：

圖34

注：“--usb”的參數(shù)0取決于USB網(wǎng)絡(luò)攝像頭在Vision AI入門套件上運行Linux時檢測到的媒體節(jié)點。在本案例中，它是/dev/media0，所以我們使用“--usb 0”。

您也可從Jupyter Notebook控制智能相機應(yīng)用。Linux啟動完成后，請通過在瀏覽器中輸入SOM的IP地址來啟動Jupyter筆記本。通過該筆記本的單元來練習(xí)Kria? SOM的智能相機功能。

 7  運行人臉識別加速器效果

直接拍攝快速識別到人臉，當(dāng)遮擋時識別不到，移開后又識別到人臉。

圖35

 8  小結(jié)

Xilinx Kria? KV260視覺AI入門套件板載接口充足，最令人欣喜的是加速應(yīng)用生態(tài)系統(tǒng)，可以通過首選設(shè)計環(huán)境在任何抽象等級添加定制和差異化功能，從應(yīng)用軟件到AI模型再到FPGA設(shè)計。我相信各類開發(fā)人員，不管有沒有FPGA經(jīng)驗都可以在短時間內(nèi)運行應(yīng)用程序，是我目前見過最快最簡單的開發(fā)平臺。