安森美半導體領先的智能感知技術和方案應對工業(yè)人工智能應用挑戰(zhàn)

工業(yè)機器視覺、機器人、人工智能技術的發(fā)展正配合著政府的智能制造計劃向前推進,圖像傳感器是其中的關鍵技術,其在工業(yè)中的應用很廣,包括智能交通、高端安防監(jiān)控、電影拍攝、醫(yī)療影像、生物識別、天文相機,以及常見的機器視覺在工業(yè)自動化生產(chǎn)的應用,不同的應用對圖像的分辨率、清晰度、噪聲、以及相機的幀率、系統(tǒng)成本等都有不同的要求,同時工業(yè)中人工智能應用的發(fā)展給圖像傳感器帶來了更高的挑戰(zhàn),包括推動了全局快門性能、高速拍攝、大分辨率、使用不可見光譜區(qū)域和三維體積深度提供的信息進行關鍵推斷,以及神經(jīng)網(wǎng)絡處理的發(fā)展。安森美半導體是工業(yè)機器視覺的領袖之一,具備全方位的產(chǎn)品陣容并不斷開發(fā)出領先的技術,解決上述挑戰(zhàn)并推動創(chuàng)新。

高效的工業(yè)生產(chǎn)需要機器視覺給出快速又精準的決策

在生產(chǎn)線上用于測量的相機要能快速判斷液位、尺寸,用來定位的相機系統(tǒng)要能快速準確的給出正確的物品位置,及時通知機械手臂在哪里尋找抓取物品,用作計件檢驗的相機系統(tǒng)要能夠快速計算出數(shù)量,是否溢出,用作解碼識別的相機系統(tǒng)要能夠快速準確識別二維碼,字符信息等。相機系統(tǒng)做出快速精準決策的關鍵就是圖像能夠清晰準確的提供這些信息,不同的檢測應用對圖像的分辨率、清晰度、噪聲、以及相機的幀率、系統(tǒng)成本等都有不同的要求。

隨著工業(yè)自動化的發(fā)展,檢測種類的多樣性,驅(qū)使圖像傳感器不斷的更新?lián)Q代,工藝一直在突破提升。這個發(fā)展從安森美半導體的幾代CMOS產(chǎn)品系列中可見一斑:在2005年推出的LUPA系列開始有了高速輸出接口,接下來2010年推出的VITA系列在全局快門性能上有了很大了提升,支持卷簾快門和全局快門兩種模式,在2014年推出的PYTHON系列增加了像素內(nèi)圖像矯正,有效的優(yōu)化了全局快門傳感器的噪聲性能,2019年剛推出的XGS系列使用了減少節(jié)點的像素工藝對噪聲和圖像一致性更是有了飛躍般的提升,今后安森美半導體將會在工業(yè)級圖像傳感器使用背照式和堆棧式工藝來推動圖像傳感器的進一步發(fā)展。

隨著工藝的提升,圖像傳感器的像元越來越小,但它卻可以達到大尺寸像元的圖像效果,這就使傳感器的分辨率可以越做越大,帶寬也越來越高,也推動了整體相機系統(tǒng)的提升和發(fā)展,來滿足工業(yè)生產(chǎn)快速精確的推斷和決策。

人工智能是新工具

快速精確的決策需求推動整個生態(tài)系統(tǒng)來實現(xiàn)高級數(shù)據(jù)收集和推斷,提供了真正進入工業(yè)4.0的機會,人工智能(AI)正是需要的新工具,用來管理工業(yè)系統(tǒng)成像不斷增長的數(shù)據(jù)集。AI可以通過自適應制造、自動質(zhì)量控制、預測性維護等方案有效地應對當今制造業(yè)面臨的挑戰(zhàn),如工廠中的PCB板檢測、鈑金缺陷檢測、食品衛(wèi)生檢測、零部件均勻度檢測、平板檢測的應用中,工廠操作員的疲勞會影響對產(chǎn)品質(zhì)量的一致性評估,但是機器視覺相機和深度學習解決了這個問題。如今,AI已用于60%以上的計算機視覺應用中,而AI在制造應用中的增長已超過50%年復合增長率。

工業(yè)中AI應用的發(fā)展給圖像傳感器帶來了更高的挑戰(zhàn),包括推動了全局快門性能、高速拍攝、高分辨率、使用不可見光譜區(qū)域和三維體積深度提供的信息進行關鍵推斷,以及神經(jīng)網(wǎng)絡處理的發(fā)展。

全局快門:實現(xiàn)高速視覺成像的關鍵

傳統(tǒng)的卷簾快門圖像傳感器可為靜態(tài)或慢速移動的物體成像提供出色的靈敏度。但全局快門在檢測快速移動物體的工業(yè)應用中至關重要。如高速裝配線的機器視覺檢測之類的任務需要準確的判斷,全局快門圖像傳感器通過完全同時同步曝光捕獲所有像素,來消除使用卷簾快門傳感器逐行曝光帶來的空間失真變形的效果,正確還原了運動物體的真實樣子,接下來才能進行強大的AI分類計算。如安森美半導體的全局快門圖像傳感器XGS 2000,以220 fps的速度捕獲高質(zhì)量、精確和快速移動的200萬像素全局快門圖像場景,可以為物流和工業(yè)掃描儀等不同場景下應用提供清晰、低噪聲的圖像。

高速也是快速移動物體檢測的工業(yè)應用另一個至關重要點。高速裝配線的機器視覺檢查需要快速的幀率和較短的積分時間,可以使用短曝光和快速讀出消除圖像模糊的效果。工廠的視覺檢測基本都是對應高速移動的物體,特別是工廠高速運轉(zhuǎn)的生產(chǎn)線上,傳送帶的速度特別快,那么在最短的時間內(nèi)成像讀出數(shù)據(jù),減少或消除拍攝圖像中的運動模糊,才能利用AI算法實現(xiàn)正確的智能判斷和快速決策。

市場對高分辨率的需求不斷增長

越來越多的應用對分辨率有了很高的需求,例如手機/電視/電腦顯示器的LCD、OLED屏幕檢測。在這檢測應用中,使用相機檢測顯示器的輸出,以查找顯示亮度的均勻性、顏色準確性、線條缺陷、顆粒缺陷等。這就要求檢測相機提供非常高的圖像質(zhì)量和高度均勻性,以確保相機中的質(zhì)量問題不會被誤解為顯示器中的產(chǎn)品缺陷。顯示屏實際上都由紅綠藍等多個LED子像素組成,檢測系統(tǒng)需要能夠解析所有這些子像素,以便正確成像和顯示并確認設備的質(zhì)量,為提高檢測的精度和可靠性,行業(yè)中通常會使用圖像傳感器靶面的3x3,或者4x4, 甚至5x5個像元來識別顯示屏設備的一個LED子像素,這就需要用到更多的傳感器像元個數(shù),并且隨著顯示器分辨率的不斷提高-從傳統(tǒng)高清到4k到8k甚至更高,檢測相機所需的分辨率也在不斷提高,才不會犧牲應用所需的高圖像質(zhì)量和均勻性,為AI算法的精度提供更可靠的數(shù)據(jù)支持。

又如另一個常見的工業(yè)成像應用是印刷電路板檢測,以確認電路板組件上的集成元器件、電容器、電阻器等已正確安裝并焊接到位。電路板的檢測速度是受圖像分辨率和幀率的組合影響,圖像中能夠捕獲的電路板尺寸面積越大,一次可以檢測的電路板就越多,圖像能捕獲的越快,檢測的效率就越高。雖然當前市場上提供的圖像傳感器可以每秒輸出約500或1400個像素的數(shù)據(jù),但是安森美半導體的XGS 45000可以以接近1900個像素/秒的速度捕獲更多的圖像數(shù)據(jù)用于算法判斷,比競爭對手快3倍以上,圖像數(shù)據(jù)寬度可以達8000個像素。高分辨率和高帶寬的結(jié)合使這種檢測應用的AI算法可以更快,更有效地執(zhí)行,從而提高了制造過程的生產(chǎn)率。

再如用于監(jiān)控或廣播的影像應用,圖像需求結(jié)合了上述性能,該應用對圖像質(zhì)量的要求非常高,市場對分辨率的需求也不斷增長,從高清到4K到現(xiàn)在的8k,高分辨率提供了更強大的圖像結(jié)構和細節(jié)可以看到寬視野的能力,還提供了用于AI分類的裁剪開窗的選項,來放大感興趣的內(nèi)容。安森美半導體的XGS 45000圖像傳感器實際上具有比8k視頻所需的分辨率更高,不僅可以使用少量裁切來提供8k視頻,還由于XGS 45000具有很高的帶寬,它可以60幀每秒的速度提供8k視頻以及完整的12位輸出,滿足了該應用所需的高分辨率、高帶寬和高圖像質(zhì)量。

值得一提的是,安森美半導體也提供完整的參考設計X-Cube,基于X-class圖像傳感器系列, 在1.1英寸光學格式提供1600萬像素分辨率,提供用于機器視覺和ITS的 29 mm x 29 mm工業(yè)相機占位所需的成像細節(jié)和性能,且一個攝像機可支持多種分辨率,幫助設計人員加快開發(fā)。

圖1:卷簾快門vs. 全局快門

從僅捕獲RGB信息和X,Y二維信息到添加深度信息或多光譜區(qū)域信息

除了圖像傳感器的性能提升,另外更為豐富的成像信息的集成也可以增強人工智能的性能,逐漸成為工業(yè)客戶做出明智決策的關鍵。

通過對多種模式和AI處理的投資,也使得安森美半導體具備獨特的優(yōu)勢,從僅提供三種紅綠藍(RGB)組成的成像系統(tǒng)發(fā)展到添加詳細的光譜特征,這樣可以在檢測中看到RGB無法識別的地方。使用12比特位的圖像數(shù)據(jù),可以提高識別圖像的精度,從僅提供x、y二維定位信息到使用結(jié)合了深度像元技術或毫米波雷達、激光雷達技術和圖像融合后帶來深度信息,可更深入地了解檢測對象的全部體積大小高度等的信息,也就是深度學習。

所以現(xiàn)在圖像傳感器的開發(fā)正在從僅捕獲RGB信息轉(zhuǎn)移到新的形式,增強的數(shù)據(jù)集提供的信息將不僅僅是顏色和二維位置。圖像傳感器的廠家都在開發(fā)新技術以獲取更可靠的深度信息或者多光譜區(qū)域信息。比如開發(fā)通過融合內(nèi)部不同數(shù)據(jù)流的Super Depth像元技術,開發(fā)通過有規(guī)律的結(jié)構,調(diào)制入射光振幅或相位的衍射光柵技術,開發(fā)基于單光子雪崩二極管(SPAD)和硅光電倍增管(SiPM)的傳感器等方式來實現(xiàn)為圖像提供更多的深度信息。

或者開發(fā)基于等離子體波導濾波片,或以法布里-珀羅(F-P)結(jié)構原理為基礎的多通道分光濾光片制造技術實現(xiàn)在更多的光譜區(qū)域成像的超多光譜技術。

圖2:XGS 45000的演示效果

神經(jīng)網(wǎng)絡處理

隨著人工智能的發(fā)展,分類系統(tǒng)設計需要功能強大的圖像處理單元(GPU)或張量處理單元(TPU)神經(jīng)網(wǎng)絡處理器,因為訓練和推理都需要大量計算,人工智能界正在面臨前所未有的算力挑戰(zhàn),網(wǎng)絡拓撲需要數(shù)億個乘法和加法邏輯計算(MAC),需要數(shù)百萬個卷積神經(jīng)網(wǎng)絡參數(shù),就比如能實現(xiàn)分類/目標檢測/語義分割等多目標任務的MobileNetV2結(jié)構就具有3億個MAC計算和420萬個參數(shù),但這相對于ResNet微結(jié)構,已經(jīng)是減少了9倍的計算量。

訓練過程由于涉及海量的大數(shù)據(jù)和復雜的深度神經(jīng)網(wǎng)絡結(jié)構,需要的計算規(guī)模非常龐大,通常需要GPU或云去完成,推斷部署環(huán)節(jié)的計算量相比訓練環(huán)節(jié)會少一些,但仍然涉及大量的矩陣運算,通常在邊緣的高功率GPU / TPU上執(zhí)行以實現(xiàn)低延遲。面對深度學習的訓練和推斷的算力需求,市場上大部分使用的是NVIDIA的GPU或google的TPU來實現(xiàn)。

圖3:高分辨率X-Cube 系統(tǒng)用于29 mm x 29 mm 相機設計

AI的發(fā)展

要真正實現(xiàn)快速決策,AI也需要發(fā)展。 如今,用于成像的AI決策已從云過渡到邊緣再遷移到與成像系統(tǒng)本身。 比如把AI的訓練環(huán)節(jié)保留在GPU或云端,利用堆棧工藝可以將決策或甚至與之相關的一些預處理集成到圖像傳感器上,比如在傳感器上集成用于圖像識別的底層或者輕算力的卷積神經(jīng)網(wǎng)絡層,集成具有內(nèi)存的數(shù)字矩陣乘法計算單元體系結(jié)構。這些AI功能集成在圖像傳感器中都將會實現(xiàn),也已經(jīng)有公司發(fā)布了內(nèi)置人工智能引擎的圖像傳感器芯片。

如安森美半導體的融合了AI的水果新鮮度分類系統(tǒng)的演示,整個ECOsystem是基于安森美半導體的AR1335的相機和NVIDIA Xavier edge GPU, 使用了TensorRT版本的MobileNetV2結(jié)構來處理分類新鮮和腐爛的蘋果、橘子、香蕉等6類多達上萬個CNN訓練參數(shù),可以識別三種水果及其新鮮度,這個系統(tǒng)的準確率達到97%以上。

圖4:AI用于機器視覺,識別水果新鮮度

總結(jié)

圖像傳感器的開發(fā)正在從僅提供RGB和二維坐標信息轉(zhuǎn)移到新的更豐富的形式。 圖像傳感器可提供更多類型的數(shù)據(jù),無論是深度數(shù)據(jù)還是增加的光譜信息,以及AI合并這些數(shù)據(jù)集并實現(xiàn)高級決策,從而使系統(tǒng)能夠通過新的測量和決策機會提供更快、更準確的結(jié)果。安森美半導體是工業(yè)機器視覺的領袖之一,以全方位的智能感知產(chǎn)品陣容和領先的技術,應對工業(yè)AI應用挑戰(zhàn)并推進智能制造的創(chuàng)新。