模擬人眼、拯救糊圖、兼容主流AI芯片，最小事件視覺傳感器問世！對(duì)話Prophesee CEO
加入技術(shù)交流群
編輯 | 漠影
抓拍出不模糊的移動(dòng)物體照片，從芯片的角度來實(shí)現(xiàn)，難度有多高？
▲用事件視覺技術(shù)將抓拍照片變清晰（圖源：Prophesee）
從硬件來說，增加一顆傳感器，足夠做到。不僅讓攝影設(shè)備高效捕捉到清晰畫面，模擬人眼的事件視覺傳感器，還能大幅降低算力需求和功耗，并且不受光線的影響。一家法國創(chuàng)企普諾飛思（Prophesee），在探索這個(gè)突破性方向的道路上，已經(jīng)堅(jiān)持了9年。它是歐盟獲融資最雄厚的無晶圓廠（Fabless）半導(dǎo)體初創(chuàng)公司，擁有堪稱豪華的投資陣容，包括英特爾投資、博世創(chuàng)投、雷諾集團(tuán)、小米、韋爾股份、創(chuàng)新工場、韋豪創(chuàng)芯等。今年10月，Prophesee推出業(yè)界首款專為超低功耗邊緣視覺設(shè)備集成設(shè)計(jì)的Metavision事件視覺傳感器GenX320，進(jìn)一步改變機(jī)器看世界的方式。近日，Prophesee聯(lián)合創(chuàng)始人兼CEO盧卡·維雷（Luca Verre）接受芯東西的專訪，并分享說，在相關(guān)知識(shí)儲(chǔ)備、經(jīng)驗(yàn)積累、現(xiàn)有IP數(shù)量（50多項(xiàng)國際專利）上，Prophesee都具有顯著優(yōu)勢(shì)。
▲Prophesee聯(lián)合創(chuàng)始人兼CEO盧卡·維雷（圖源：Prophesee）
他告訴芯東西，Prophesee目前專注于將其創(chuàng)造的價(jià)值最大化，暫不考慮IPO或并購，接下來其路線圖將主要包括兩大方向：一是提高分辨率，在芯片內(nèi)部增加更多的像素，以覆蓋更多需要高分辨率的應(yīng)用場景，例如汽車、安防監(jiān)控、工業(yè)自動(dòng)化、手機(jī)等等。二是縮小芯片體積，以滿足一些對(duì)成本效益以及芯片尺寸要求更高的應(yīng)用，例如物聯(lián)網(wǎng)設(shè)備、平板電腦、筆記本電腦或AR/VR頭顯等設(shè)備。除此之外，目前計(jì)算機(jī)視覺領(lǐng)域正探索讓傳感和圖像處理更接近處理器，將盡可能多的智能放在圖像傳感器上或接近它。軟件是Prophesee的重要資產(chǎn)和重點(diǎn)投入方向。盧卡說，這將帶動(dòng)市場對(duì)事件視覺傳感技術(shù)的接受度和采用度提升。01.受人類視覺機(jī)制啟發(fā)改變機(jī)器看世界的方法
▲人眼視覺成像機(jī)制繪圖（圖源：Prophesee）
也就是說，在記錄變化的影像時(shí)，圖像傳感器需要通過拍攝一系列圖像來實(shí)現(xiàn)。這帶來一些難解的問題：首先是圖像場景變化越快、拍攝的圖越多，數(shù)據(jù)越多，消耗的算力和能量也就越多；其次當(dāng)光線條件不理想，比如曝光過度或曝光不足時(shí)，不能適應(yīng)明暗突變情況，容易拍出糊圖。
▲基于幀與基于事件的傳感器對(duì)比（圖源：Prophesee）
事件視覺傳感器的不同之處在于，不會(huì)記錄整個(gè)畫面的靜態(tài)背景信息，只記錄動(dòng)態(tài)信息。
▲高爾夫球手揮桿過程，其身后的天空、樹木、草地等背景信息不變（圖源：Prophesee）
就像人眼細(xì)胞檢測(cè)到場景發(fā)生變化（即事件）時(shí)才會(huì)向大腦報(bào)告，事件視覺傳感器上的像素以異步方式捕獲事件數(shù)據(jù)，每個(gè)像素都嵌入了智能處理，能在檢測(cè)到變化時(shí)獨(dú)立激活，將事件連續(xù)地、逐像素地發(fā)送到系統(tǒng)。運(yùn)動(dòng)被捕獲為連續(xù)的信息流，幀之間不會(huì)丟失任何內(nèi)容。▲事件視覺傳感器每個(gè)像素獨(dú)立且異構(gòu)（圖源：Prophesee）
通過模擬人眼視覺機(jī)制的方法，模擬處理的數(shù)據(jù)量驟減，所需的算力和能耗也顯著減少，并能對(duì)場景中微小變化進(jìn)行超快速反應(yīng)，捕捉到亞毫秒級(jí)轉(zhuǎn)瞬即逝的瞬間。拍出糊圖通常是快門速度太慢或被拍攝對(duì)象運(yùn)動(dòng)太快導(dǎo)致的。而事件視覺傳感器每當(dāng)檢測(cè)出照明變化時(shí)，每個(gè)像素獨(dú)立觸發(fā)連續(xù)的事件流，不存在曝光影響，因此能有效解決攝影模糊問題。▲傳統(tǒng)圖像傳感器與事件視覺傳感器機(jī)制對(duì)比（圖源：Prophesee）
此前Prophesee研發(fā)的事件視覺傳感器已經(jīng)被應(yīng)用在手機(jī)端，用于提高后置主攝的攝影質(zhì)量；用在AR/VR/XR頭顯中，優(yōu)化注視點(diǎn)渲染或無縫交互的高速眼動(dòng)追蹤、手勢(shì)識(shí)別；或是在電視、PC（個(gè)人電腦）、游戲機(jī)及智能家居設(shè)備中實(shí)現(xiàn)低延遲、無接觸的人機(jī)交互界面。
▲基于事件視覺傳感器的下一代眼動(dòng)追蹤功能演示（圖源：ZinnLabs）
在超低功耗always-on區(qū)域監(jiān)控系統(tǒng)、家庭物聯(lián)網(wǎng)及醫(yī)療設(shè)備中，事件視覺傳感器可用于檢測(cè)跌倒的攝像頭，或是智能存在檢測(cè)和人數(shù)統(tǒng)計(jì)。Prophesee聯(lián)合創(chuàng)始人兼CEO盧卡·維雷認(rèn)為事件視覺傳感器正處于快速發(fā)展階段，索尼、小米、高通、英特爾等大型科技及芯片公司逐漸看到神經(jīng)擬態(tài)事件視覺傳感技術(shù)的潛力，并正與Prophesee合作，共同推動(dòng)這項(xiàng)技術(shù)及相關(guān)生態(tài)的發(fā)展。為了更好滿足消費(fèi)電子設(shè)備和嵌入式邊緣視覺系統(tǒng)對(duì)有限能源、計(jì)算和尺寸的需求，Prophesee還在持續(xù)探索如何將傳感器做得更小，使其在極具挑戰(zhàn)性的操作和極端苛刻的照明條件下以更低的功耗提供穩(wěn)定、高速的視覺感知。02.業(yè)界最小事件視覺傳感器：超低功耗，兼容主流AI芯片
▲傳統(tǒng)圖像傳感器與事件視覺傳感器捕捉數(shù)據(jù)對(duì)比（圖源：Prophesee）
盧卡很看好神經(jīng)擬態(tài)技術(shù)在邊緣設(shè)備中的應(yīng)用，認(rèn)為這將逐漸覆蓋傳感器、信息處理及計(jì)算單元，未來會(huì)有更多AI功能會(huì)集成到傳感器內(nèi)部。他也對(duì)不同設(shè)備上的多傳感器融合也很感興趣。GenX320能與標(biāo)準(zhǔn)SoC輕松集成/連接，有多個(gè)集成事件數(shù)據(jù)預(yù)處理、過濾和格式化功能，可最大程度減少外部處理開銷。另外，由于事件視覺傳感器具有稀疏無框事件數(shù)據(jù)以及靜態(tài)場景去除功能，不會(huì)捕捉圖像信息，因此GenX320能從傳感器層面保護(hù)隱私。美國最大技術(shù)許可公司Xperi的CTO Petronel Bigioi認(rèn)為，Prophesee的事件視覺技術(shù)將“隱私設(shè)計(jì)”原則提升至更安全的水平。▲戴上眼鏡/口罩前后下的姿勢(shì)、目光檢測(cè)演示（圖源：Xperi）
03.軟件套件即插即用，免費(fèi)提供近百種算法
▲基于事件視覺傳感器的手勢(shì)識(shí)別選擇商品演示（圖源：Ultraleap）
最新推出的GenX320配套了一整套開發(fā)工具，包括裝有板載芯片（COB）GenX320模塊或緊湊型光學(xué)柔性模塊的綜合評(píng)估套件。Prophesee還提供一系列可無縫連接到各種嵌入式平臺(tái)的適配器套件，從而縮短產(chǎn)品上市時(shí)間。PropheseeMetavision Intelligence是當(dāng)前業(yè)界最全面的免費(fèi)事件視覺軟件套件，在全球擁有超過10000名用戶。該軟件套件相當(dāng)于架起了一座連接神經(jīng)擬態(tài)世界和傳統(tǒng)解決方案之間的橋梁，提供近百種算法、豐富的數(shù)據(jù)集和AI模塊，幾乎即插即用，還支持開源，同時(shí)提供95種算法、79個(gè)代碼示例、24個(gè)教程，能夠很好地幫助客戶認(rèn)識(shí)并理解這項(xiàng)技術(shù)，并實(shí)現(xiàn)快速部署與應(yīng)用。如果以10分為滿分，盧卡認(rèn)為Metavision Intelligence當(dāng)前的好用程度可以打8分。在他看來，只有當(dāng)技術(shù)能夠得到市場廣泛認(rèn)可和采用時(shí)，才更進(jìn)一步賦能客戶，降低他們選擇使用事件視覺傳感技術(shù)的成本和難度，為整個(gè)行業(yè)生態(tài)創(chuàng)造更多的價(jià)值。
▲傳統(tǒng)圖像傳感器與事件視覺傳感器捕捉車前場景數(shù)據(jù)的對(duì)比（圖源：Prophesee）
04.對(duì)中國市場增長充滿信心將持續(xù)增加投入
▲事件視覺傳感器的一些應(yīng)用領(lǐng)域（圖源：Prophesee）
“中國一直是我們重點(diǎn)關(guān)注的市場。我也始終相信，任何一家具有全球視野的企業(yè)，都應(yīng)該重視中國市場的戰(zhàn)略地位。”盧卡談道。他告訴芯東西，Prophesee的中國團(tuán)隊(duì)有15人，負(fù)責(zé)推動(dòng)相關(guān)生態(tài)的建設(shè)，并為本地合作伙伴與客戶提供相關(guān)的技術(shù)支持。在中國，Prophesee看到越來越多的客戶對(duì)其產(chǎn)品和技術(shù)表示感興趣，特別是在物聯(lián)網(wǎng)設(shè)備以及消費(fèi)電子領(lǐng)域，很多客戶在尋找更具成本效益的傳感設(shè)備或解決方案。一個(gè)應(yīng)用案例是Prophesee和中國臺(tái)灣公司YunX的合作。YunX基于Prophesee事件視覺傳感技術(shù)開發(fā)了一款智能攝像頭，能用在檢測(cè)到家中老人或者醫(yī)院病患跌倒時(shí)觸發(fā)警報(bào)。在盧卡看來，中國是全球最大的半導(dǎo)體生產(chǎn)和消費(fèi)市場，也是全球智能手機(jī)以及電動(dòng)汽車領(lǐng)先的生產(chǎn)和消費(fèi)市場，半導(dǎo)體領(lǐng)域的風(fēng)投金額同樣遙遙領(lǐng)先于世界其他地區(qū)，越來越多的資源正在進(jìn)入這個(gè)市場，推動(dòng)本土生態(tài)及供應(yīng)鏈建設(shè)。“我們對(duì)中國市場的增長充滿信心。未來我們也會(huì)不斷增加對(duì)中國市場的投入。”盧卡說。05.結(jié)語：新興應(yīng)用需求大漲，未來發(fā)展空間廣闊
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
