用“芯”看懂世界，黑芝麻為自動(dòng)駕駛帶來(lái)

　　2018年6月，在北京舉行的“安創(chuàng)成長(zhǎng)營(yíng)(ARM Accelerator Camp)”第五期路演上，黑芝麻智能科技(上海)有限公司獲得“最具潛力獎(jiǎng)“。

安創(chuàng)加速器聯(lián)合創(chuàng)始人楊宇欣先生(左)為黑芝麻聯(lián)合創(chuàng)始人與COO劉衛(wèi)紅先生頒獎(jiǎng)

　　在此前的1月5日，黑芝麻曾宣布完成近億元A+輪戰(zhàn)略融資。該輪融資由蔚來(lái)資本領(lǐng)投，芯動(dòng)能投資基金、北極光創(chuàng)投等共同參與投資。2016年11月黑芝麻已獲得北極光領(lǐng)投的A輪融資。

　　那么，黑芝麻有哪些黑科技?

　　黑芝麻聯(lián)合創(chuàng)始人與COO劉衛(wèi)紅在安創(chuàng)成長(zhǎng)營(yíng)上稱，該公司要做感知系統(tǒng)全球領(lǐng)先者

　　黑芝麻的產(chǎn)品定位

　　黑芝麻提供基于圖像處理、計(jì)算圖像以及人工智能(AI)的嵌入式視覺感知平臺(tái)，不僅要看清楚世界，而且要理解世界，致力于成為全球領(lǐng)先的自動(dòng)駕駛“感知“技術(shù)方案提供商。

　　最近，總會(huì)看到一些關(guān)于自動(dòng)駕駛車禍的報(bào)道，例如Uber的感知系統(tǒng)不穩(wěn)定，所以把warning關(guān)掉了，結(jié)果發(fā)生了車禍;特斯拉沒(méi)有把隔離帶識(shí)別出來(lái)，結(jié)果直接撞了上去;上圖右下角的是Intel Mobile無(wú)人駕駛測(cè)試車，沒(méi)有識(shí)別出紅綠燈，直接闖過(guò)去了……?？梢?，如果沒(méi)有一個(gè)好的感知系統(tǒng)，自動(dòng)駕駛無(wú)從談起。

　　實(shí)際上，一個(gè)穩(wěn)定、可靠的感知系統(tǒng)需要有四個(gè)方面的功能：清晰的視覺、優(yōu)質(zhì)的算法、多傳感器融合、足夠的計(jì)算能力。

　　黑芝麻的解決方案

　　上圖是黑芝麻提出的解決方案。面對(duì)復(fù)雜的外部環(huán)境，如車、人、道路、交通標(biāo)識(shí)等，通過(guò)傳感器感知信號(hào)，利

　　用控光技術(shù)把光場(chǎng)進(jìn)行處理(攝像頭)，使攝像頭能夠在各種特殊工況條件下成像。再通過(guò)毫米波雷達(dá)、超聲波雷達(dá)、GPS、IMU(慣性測(cè)量單元)與攝像頭融合，將這些信號(hào)傳入到黑芝麻的感知系統(tǒng)。

　　在黑芝麻感知系統(tǒng)中搭載獨(dú)特的圖像處理技術(shù)，感知理解算法以及優(yōu)化的計(jì)算平臺(tái)。關(guān)于感知理解算法，例如人的特征、行為和場(chǎng)景的識(shí)別等;黑芝麻還有一個(gè)優(yōu)化的SoC計(jì)算平臺(tái)，這樣能夠?qū)⒏兄Y(jié)果傳達(dá)給下游自動(dòng)駕駛企業(yè)去做決策、控制。因此，黑芝麻提供的是端到端、全棧式的感知解決方案。

　　智能感知計(jì)算芯片

　　上圖是黑芝麻第一次對(duì)外展示智能感知芯片SoC的架構(gòu)。

　　上面中間的部分是Arm 架構(gòu)CPU，藍(lán)色部分都是黑芝麻的技術(shù)，包含ISP(圖像信號(hào)處理器)、Codec(編/解碼器)、計(jì)算機(jī)視覺和神經(jīng)網(wǎng)絡(luò)等。和國(guó)內(nèi)很多企業(yè)只關(guān)注神經(jīng)網(wǎng)絡(luò)加速相比，黑芝麻的技術(shù)更加豐富。

　　目前，汽車是黑芝麻著重關(guān)注的領(lǐng)域。利用黑芝麻的獨(dú)特技術(shù)，黑芝麻能夠開發(fā)出車規(guī)級(jí)的芯片，實(shí)現(xiàn)的功能包括支持多種傳感器的輸入，針對(duì)超低光、超高動(dòng)態(tài)范圍的圖像處理，也能夠滿足L3、L4自動(dòng)駕駛的計(jì)算能力。同Mobileye EyeQ4和EyeQ5相比，黑芝麻的感知芯片在單位功耗下的計(jì)算能力有優(yōu)勢(shì)。

　　在高動(dòng)態(tài)HDR成像當(dāng)中，經(jīng)常會(huì)出現(xiàn)如上圖的亮暗高度對(duì)比的情景。通過(guò)黑芝麻的算法能夠得到比較完整、清晰的圖片，這樣能夠?yàn)樯疃葘W(xué)習(xí)、網(wǎng)絡(luò)加速提供很好的圖像信息來(lái)源。

　　上圖demo(演示)展示了在不同工況下，可有效識(shí)別出車道和汽車、行人、交通標(biāo)志，此外，彎道、大逆光、低光、雨/霧天等也能進(jìn)行識(shí)別。

　　上圖demo展示了利用多種傳感器的融合，進(jìn)行高精度定位。綠線是黑芝麻定位的軌跡，紅色的是普通GPS信號(hào)的軌跡。可以看到，經(jīng)過(guò)傳感器融合后的定位與實(shí)際位置幾乎沒(méi)有偏差。

　　黑芝麻實(shí)力

　　黑芝麻成立于2016年8月，在美國(guó)硅谷、中國(guó)上海、深圳、武漢建立了自己的研發(fā)機(jī)構(gòu)和辦事處，員工近百人，都是來(lái)自于細(xì)分領(lǐng)域的頂級(jí)公司，包括OV(豪威)、Ambarella(安霸)、高通、英偉達(dá)，甚至美國(guó)國(guó)防部，平均工作時(shí)間超過(guò)15年，在芯片的設(shè)計(jì)和驗(yàn)證方面有著豐富的經(jīng)驗(yàn)。

　　與車廠的合作進(jìn)展

　　車規(guī)級(jí)芯片選擇了三家有代表性的汽車廠，一家是中國(guó)實(shí)力最強(qiáng)的主機(jī)廠，另一家是中國(guó)新能源汽車中的佼佼者，還有一家是新勢(shì)力造車的典型代表。

　　關(guān)于車規(guī)級(jí)芯片的進(jìn)展，目前芯片設(shè)計(jì)部分已經(jīng)結(jié)束，完成所有驗(yàn)證要到2021年。

　　那么，在我國(guó)的智能網(wǎng)聯(lián)汽車規(guī)劃中提到，我國(guó)需要有自主的智能駕駛計(jì)算平臺(tái)，現(xiàn)在整車廠的進(jìn)程如何?劉衛(wèi)紅先生介紹道，現(xiàn)在中國(guó)的自主品牌主機(jī)廠都有一個(gè)很明確的A/B方案，A方案就是上文提到的外圍公司(筆者注：英偉達(dá)等)，B方案就是黑芝麻，所以黑芝麻需要跟著自主品牌一起成長(zhǎng)。

　　與傳感器、算法廠商的合作

　　感知平臺(tái)需要有與第三方傳感器有緊密的合作，為此，黑芝麻的芯片的功能特征是有雷達(dá)和GPS接口等。

　　現(xiàn)在也出現(xiàn)了新的激光雷達(dá)，但目前激光雷達(dá)商業(yè)化比較難，成本也比較高，目前黑芝麻只是留了接口，但還沒(méi)有進(jìn)行具體布局，實(shí)現(xiàn)商業(yè)化還需要一定時(shí)間。

　　那么，現(xiàn)在算法已經(jīng)固化到芯片里了嗎?劉衛(wèi)紅先生稱沒(méi)有固化，只是留了接口。黑芝麻有ISP(圖像信號(hào)處理)，再加上神經(jīng)網(wǎng)絡(luò)，SoC架構(gòu)中還有基于RISK-V保密和加密安全方面等。

　　值得指出的是，基于視覺的識(shí)別都是黑芝麻自己做的。當(dāng)然，第三方也有一些專門做機(jī)器視覺的公司，他們的算法也可以應(yīng)用于黑芝麻的芯片。黑芝麻是比較開放的平臺(tái)，會(huì)給第三方開發(fā)兩種選擇：一是用黑芝麻提供的神經(jīng)網(wǎng)絡(luò)開發(fā)工具直接進(jìn)行原始網(wǎng)絡(luò)的硬件合成;二是用黑芝麻提供的神經(jīng)網(wǎng)絡(luò)開發(fā)工具進(jìn)行網(wǎng)絡(luò)的深度優(yōu)化，包括剪裁和再訓(xùn)練。

　　關(guān)于“安創(chuàng)成長(zhǎng)營(yíng)”

　　前文提到，此次報(bào)道的是“安創(chuàng)成長(zhǎng)營(yíng)”路演活動(dòng)。

　　“安創(chuàng)成長(zhǎng)營(yíng)”(Arm Accelerator Camp)于2016年1月正式啟動(dòng)，每年運(yùn)營(yíng)2期，致力于聚集創(chuàng)新創(chuàng)業(yè)力量，培養(yǎng)前沿科技獨(dú)角獸。借助Arm豐富的生態(tài)資源，為人工智能及物聯(lián)網(wǎng)領(lǐng)域創(chuàng)新創(chuàng)業(yè)提供以技術(shù)為核心的一站式深度加速服務(wù)，幫助初創(chuàng)企業(yè)走上良性成長(zhǎng)的軌道。

　　近三年，安創(chuàng)成長(zhǎng)營(yíng)成功運(yùn)營(yíng)五期，共孵化與加速海內(nèi)外項(xiàng)目89個(gè)，32% 項(xiàng)目具國(guó)際背景，項(xiàng)目總估值約325億元人民幣，被紅杉、經(jīng)緯、IDG、華登、真格、創(chuàng)新工場(chǎng)、晨興、高榕、高瓴、金沙江等知名機(jī)構(gòu)投資;產(chǎn)品和技術(shù)被寶馬、吉利、戴姆勒、博世、海爾、科沃斯機(jī)器人、中移物聯(lián)網(wǎng)等廠商試用或采用;Demo Day(路演)更以黑馬之姿燃爆北京、上海、深圳、杭州，為學(xué)員們提供了一個(gè)展示各自創(chuàng)新成果及技術(shù)“硬”實(shí)力的平臺(tái)，為業(yè)界帶來(lái)了一場(chǎng)又一場(chǎng)無(wú)與倫比的科技盛宴。

　　關(guān)于“安創(chuàng)加速器”

　　安創(chuàng)加速器(Arm Accelerator)是Arm全球唯一加速器，聚焦于人工智能和物聯(lián)網(wǎng)產(chǎn)業(yè)的創(chuàng)新服務(wù)平臺(tái)。安創(chuàng)一直致力于幫助技術(shù)驅(qū)動(dòng)型創(chuàng)新創(chuàng)業(yè)企業(yè)精準(zhǔn)對(duì)接生態(tài)資源、投資機(jī)構(gòu)、銷售渠道、宣傳渠道，提供一站式深度加速服務(wù);幫助資本市場(chǎng)對(duì)接最具投資潛力的創(chuàng)新團(tuán)隊(duì)，挖掘早期優(yōu)質(zhì)項(xiàng)目;幫助大企業(yè)尋找所需要的創(chuàng)新型項(xiàng)目，加速項(xiàng)目落地，做真正的創(chuàng)新引擎;幫助國(guó)外先進(jìn)技術(shù)在國(guó)內(nèi)落地，以及國(guó)內(nèi)項(xiàng)目在國(guó)外渠道布局，注重國(guó)際合作與交流，推動(dòng)全球創(chuàng)新。

Arm/安謀科技(中國(guó))執(zhí)行董事長(zhǎng)兼CEO吳雄昂在現(xiàn)場(chǎng)觀摩