用小型載板傳輸4臺相機的數(shù)據(jù)流：快速原型設(shè)計

嵌入式視覺組件一直很受歡迎，被眾多應(yīng)用所采用。所有這些應(yīng)用的共同點是需要在狹小的空間內(nèi)集成越來越多的功能。通常，讓這些系統(tǒng)在邊緣做出決策也是很有利的。為了支持此類系統(tǒng)，包括快速原型設(shè)計的能力，Teledyne FLIR 推出了 Quartet? 嵌入式 TX2 解決方案。這種定制的載板可在滿帶寬下輕松集成最多 4 臺 USB3 機器視覺相機。它包括 NVidia Jetson 深度學(xué)習(xí)硬件加速器，預(yù)先集成了 Teledyne FLIR 的 Spinnaker^? SDK。通常，讓這些系統(tǒng)在邊緣做出決策也是很有利的，尤其是在檢查、移動機器人、交通系統(tǒng)和各種類型的無人載具領(lǐng)域。

圖1 所有四個應(yīng)用程序的原型設(shè)置

在這篇非常實用的文章中，為了強調(diào) Quartet 能夠?qū)崿F(xiàn)的功能，我們描述了開發(fā)受 ITS（交通系統(tǒng)）啟發(fā)的原型的步驟，該原型同時運行四個應(yīng)用程序，其中三個采用了深度學(xué)習(xí)：

●   應(yīng)用程序 1：利用深度學(xué)習(xí)識別車牌

●   應(yīng)用程序 2：利用深度學(xué)習(xí)實現(xiàn)車輛類型分類

●   應(yīng)用程序 3：利用深度學(xué)習(xí)實現(xiàn)車輛顏色分類

●   應(yīng)用程序 4：透過擋風(fēng)玻璃觀察（透過反光和眩光）

介紹TX2的Quartet?嵌入解決方案-Teledyne FLIR機器視覺

購物清單：硬件和軟件組件

1）用于處理的 SOM：

用于 TX2 的新 Teledyne FLIR Quartet 載板包括：

●   4 個 TF38 連接器，配備專用的 USB3 控制器

●   Nvidia Jetson TX2 模塊

●   預(yù)裝了 Teledyne FLIR 功能強大且便于使用的 Spinnaker SDK，以確保在即插即用情況下兼容 Teledyne FLIR Blackfly S 板級相機

●   Nvidia Jetson 深度學(xué)習(xí)硬件加速器可在緊湊型單板上實現(xiàn)完整的決策系統(tǒng)

圖2 帶TX2的Quartet嵌入式解決方案，可配備4臺Blackfly S相機和4根FPC電纜

2）相機和電纜

●   3 臺標準 Teledyne FLIR Blackfly S USB3 板級攝像頭，采用與盒裝版相同的豐富功能集，適用于最新的 CMOS 傳感器，可與 Quartet 無縫集成

●   1 臺定制相機：Blackfly S USB3 板級相機，帶 Sony IMX250MZR 偏振傳感器

●   線纜：TF38 FPC 電纜，可用單根電纜傳輸電源和數(shù)據(jù)，節(jié)省了空間

圖3 Blackfly S板級相機，帶FPC電纜

3）照明：LED 燈可提供充足的照明，以避免車牌的運動模糊。

應(yīng)用程序 1：利用深度學(xué)習(xí)識別車牌

開發(fā)時間：2-3 周，主要是為了使其更加穩(wěn)健，運行速度更快

訓(xùn)練圖像：LPDNet 附帶

對于車牌識別，我們通過 Nvidia 部署了現(xiàn)成的車牌檢測 (LPDNet) 深度學(xué)習(xí)模型，以檢測車牌的位置。為了識別字母和號碼，我們使用了 Tesseract 開源 OCR 引擎。該相機為 Blackfly S 板級 890 萬像素彩色相機 (BFS-U3-88S6C-BD)，配備了 Sony IMX267 傳感器。我們限制了車牌檢測的偵測區(qū)域，以加快運行速度，并利用跟蹤來提高穩(wěn)健性。輸出包括車牌的邊界框，以及相應(yīng)的車牌字符。

圖4 傳輸車牌邊界框和車牌字符

應(yīng)用程序2：利用深度學(xué)習(xí)實現(xiàn)車輛類型分類

開發(fā)時間：約 12 小時，包括圖像采集和注釋

訓(xùn)練圖像：~300

在車型分類方面，我們利用遷移學(xué)習(xí)，用三臺玩具車（分別是 SUV、轎車和卡車）訓(xùn)練了我們自己的深度學(xué)習(xí)目標檢測模型。我們采集了此設(shè)置在不同距離和角度下拍攝的約 300 幅訓(xùn)練圖像。相機為 Blackfly S 板級 500 萬像素彩色相機 (BFS-U3-51S5C-BD)，配備了 Sony IMX250 傳感器。我們標出了玩具車的邊界框，大約耗時 3 小時。我們進行了遷移學(xué)習(xí)，以訓(xùn)練我們自己的 SSD MobileNet 目標檢測模型，訓(xùn)練過程在 Nvidia GTX1080 Ti GPU 上進行，耗時半天左右。通過 GPU 硬件加速器，Jetson TX2 模塊可以高效率地執(zhí)行深度學(xué)習(xí)推斷，并輸出汽車的邊界框，以及對應(yīng)的車輛類型。

圖5 傳輸邊界框和預(yù)設(shè)的車輛類型，以及確認的置信系數(shù)

應(yīng)用程序 3：利用深度學(xué)習(xí)實現(xiàn)車輛顏色分類

開發(fā)時間：重復(fù)利用了“車輛類型應(yīng)用”中的型號，用額外 2 天時間進行顏色分類、集成和測試
訓(xùn)練圖像：重復(fù)利用了 300 幅與“車輛類型應(yīng)用”相同的圖像

對于車輛顏色分類，我們運行了與上述相同的深度學(xué)習(xí)對象檢測模型來檢測汽車，然后在邊界框上進行了圖像分析，以對其顏色進行分類。輸出包括汽車的邊界框，以及對應(yīng)的車輛顏色。相機為 Blackfly S 板級 300 萬像素彩色相機 (BFS-U3-32S4C-BD)，配備了 Sony IMX252 傳感器。

圖6 傳輸邊界框和確認的預(yù)設(shè)顏色類型

應(yīng)用程序 4：透過擋風(fēng)玻璃觀察（透過反光和眩光）

減少眩光對于交通相關(guān)應(yīng)用至關(guān)重要，例如透過擋風(fēng)玻璃觀察 HOV 車道、檢查安全帶是否合規(guī)，甚至可以檢查駕駛時是否使用手機。為此，我們將 Blackfly S USB3 板級相機與 500 萬像素 Sony IMX250MZR 偏振傳感器相結(jié)合，定制了一款相機。這款板級偏振相機不是標準產(chǎn)品，但 Teledyne FLIR 能夠輕松換用不同的傳感器，從而提供定制的相機選項，以展示其消眩光功能。我們只需通過 Teledyne FLIR 的 SpinView GUI 來傳輸相機圖像流，該 GUI 提供各種“偏振算法”選項，如四通道模式、眩光弱化模式，可以在靜止的玩具車上顯示眩光弱化效果。

圖7 Spinnaker SDK GUI 提供各種“偏振算法”選項，如四通道模式、眩光弱化模式，可以在靜止的玩具車上顯示眩光弱化效果。四通道模式可以顯示 4 個不同的偏振角度所對應(yīng)的 4 幅圖像

系統(tǒng)總體優(yōu)化

雖然這四個原型各自獨立工作，但我們注意到，在所有深度學(xué)習(xí)模型同時運行時，總體性能相當差。Nvidia 的 TensorRT SDK 為 Nvidia 硬件（如 Jetson TX2 模塊）提供深度學(xué)習(xí)推斷優(yōu)化器和運行時。我們用 TensorRT SDK 優(yōu)化了我們的深度學(xué)習(xí)模型，使性能提升了 10 倍左右。在硬件方面，我們將一個散熱器連接到 TX2 模塊，以避免過熱，因為該模塊在所有應(yīng)用程序都運行時會相當熱。最終，我們設(shè)法在所有四個應(yīng)用程序一起運行時實現(xiàn)了良好的幀率：車輛類型識別為 14 fps，車輛顏色分類為 9 fps，自動車牌識別為 4 FPS，偏振相機為 8 FPS。

由于 Quartet 嵌入式解決方案和 Blackfly S 板級相機的易用性和可靠性，我們在相對較短的時間內(nèi)開發(fā)出了此原型。預(yù)裝了 Spinnaker SDK 的 TX2 模塊可確保在即插即用的情況下兼容所有 Blackfly S 板級相機，這些相機可在滿 USB3 帶寬下，通過 TF38 連接器實現(xiàn)可靠的傳輸。Nvidia 提供了多種工具來促進 TX2 模塊的開發(fā)和優(yōu)化。Quartet 現(xiàn)在可從 fir.com 上在線購買，也可以通過我們的辦事處和全球經(jīng)銷商網(wǎng)絡(luò)購買。