如何用多光譜堆疊技術(shù)給傳感器行業(yè)帶來“新鮮感”？

多光譜傳感器在汽車行業(yè)的優(yōu)勢(shì)？

幻實(shí)（主播）：本期節(jié)目我邀請(qǐng)到了疊鋮光電的CTO張博士,首先請(qǐng)您給我們介紹一下疊鋮光電聚焦什么領(lǐng)域呢？

張友偉（嘉賓）：好的，疊鋮光電是一家專注于做多光譜堆疊傳感器的研發(fā)型公司，我們近期推出的主要產(chǎn)品集中在可見光和熱紅外的雙光譜傳感器。

比如說我們常見的攝像頭，它是可見光的波段，然后我們還有熱成像的這種攝像頭，它只是在紅外的波段，我們要做的就是把兩種波段融合在一個(gè)傳感器上，使同一個(gè)傳感器能夠?qū)崿F(xiàn)對(duì)紅外和可見光兩種光譜的感知。

幻實(shí)（主播）：為什么當(dāng)時(shí)會(huì)選擇這種技術(shù)路線，有什么原因嗎？

張友偉（嘉賓）：近年來新能源汽車行業(yè)快速發(fā)展，我認(rèn)為自動(dòng)駕駛將逐漸引領(lǐng)很多領(lǐng)域往后若干年發(fā)展方向，各種各樣的傳感器（比如可見光攝像頭、毫米波雷達(dá)、激光雷達(dá)、熱成像傳感器等）會(huì)進(jìn)入到車內(nèi)。但是，我們發(fā)現(xiàn)很多情況下，單一傳感器多多少少存在一些局限，它們各有各的優(yōu)勢(shì)，也各有各的弱點(diǎn)。比如說可見光傳感器，在太陽逆光直射你的時(shí)候，或者夜間光線很弱的時(shí)候、天氣狀況不好的時(shí)候，它都發(fā)揮不了很大的作用。

幻實(shí)（主播）：我們傳統(tǒng)的CMOS*傳感器在這種點(diǎn)是有局限性的。

CMOS傳感器：主要是利用硅和鍺這兩種元素所做成的半導(dǎo)體，使其在CMOS上共存著帶N（帶-電）和 P（帶+電）級(jí)的半導(dǎo)體，這兩個(gè)互補(bǔ)效應(yīng)所產(chǎn)生的電流即可被處理芯片記錄和解讀成影像。后來發(fā)現(xiàn)CMOS經(jīng)過加工也可以作為數(shù)碼攝影中的圖像傳感器，CMOS傳感器也可細(xì)分為被動(dòng)式像素傳感器(Passive Pixel Sensor CMOS)與主動(dòng)式像素傳感器(Active Pixel Sensor CMOS)

張友偉（嘉賓）：是的，實(shí)際上現(xiàn)在很多車廠也采用了多種傳感器相互協(xié)作融合的工作模式，希望把各種傳感器的長(zhǎng)處結(jié)合在一起。

但也存在一些難點(diǎn)，比如各種傳感器之間在時(shí)間上同步性，即兩個(gè)分立的傳感器在同一時(shí)間上是否能夠同步，我看見某個(gè)物品的時(shí)候，另一個(gè)傳感器是否也在同一時(shí)間看到此物。

再比如說我在這個(gè)傳感器能夠看到目標(biāo)，在另一個(gè)傳感器看不到目標(biāo)的時(shí)候，我應(yīng)該相信誰，在信息上有矛盾的時(shí)候我們應(yīng)該做一些取舍。

幻實(shí)（主播）：您說的這些情況我估計(jì)現(xiàn)在都是有存在的，目前業(yè)界是怎么處理的？

張友偉（嘉賓）：是的，目前他們有制定一些策略，但是解決的方法并不完美。

例如在車的方向上，特斯拉是相對(duì)另類一點(diǎn)的，他始終堅(jiān)持用純視覺方案來解決自動(dòng)駕駛問題，然后他前段時(shí)間好像把毫米波雷達(dá)也拿掉了。

Autopilot 自動(dòng)輔助駕駛的視覺處理系統(tǒng)

（圖源：Tesla官網(wǎng)）

特斯拉實(shí)際上它對(duì)成本及整體的性能要求都非常高，多傳感器相融合這種方式在他看來成本過高，又不能很好的解決問題。

幻實(shí)（主播）：那么為什么我們的方案就可能會(huì)更好的解決問題，原理是什么？

張友偉（嘉賓）：因?yàn)槲覀儼褍蓚€(gè)傳感器堆疊在一起后，他們?cè)?/span>時(shí)間及空間上都是同步的，得到的數(shù)據(jù)是一致的，這樣我們就解決了一些特殊場(chǎng)景和信息矛盾的問題。

同時(shí)，在我們可見光加紅外多光譜的圖像上面，它每個(gè)像素包含的信息更多，識(shí)別率更高。在進(jìn)行人工智能識(shí)別的時(shí)候，它實(shí)際上要有一個(gè)搜索空間，用了我們這個(gè)傳感器以后它的搜索空間會(huì)減小，因此需要的算力也會(huì)更少。

他們?nèi)绾螌?shí)現(xiàn)“1+1>2”的高性價(jià)比

幻實(shí)（主播）：目前來說咱們堆疊的傳感器首先要進(jìn)入的市場(chǎng)或場(chǎng)景是哪一個(gè)？

張友偉（嘉賓）：目前我們首先考慮汽車這個(gè)行業(yè)，不管是自動(dòng)駕駛還是輔助駕駛，使用我們傳感器之后都能夠有很大的提升，同時(shí)在工業(yè)產(chǎn)品、安防消防等場(chǎng)景，包括一些其他的特種行業(yè)，實(shí)際上都可以得到很好的運(yùn)用。

幻實(shí)（主播）：假如汽車市場(chǎng)采購了我們的傳感器，是不是傳統(tǒng)的視覺傳感器就不被需要了，就像最近美國上市的一家激光雷達(dá)公司。您怎么理解你們的產(chǎn)品和他們產(chǎn)品之間的一個(gè)融合性？

張友偉（嘉賓）：其實(shí)我們的產(chǎn)品在可見光的維度上面是對(duì)它的一個(gè)增強(qiáng)，并非使用了我們的傳感器就能實(shí)現(xiàn)自動(dòng)駕駛，只是說我們的產(chǎn)品相較于現(xiàn)有的傳感器是一個(gè)很大的進(jìn)步，為后期實(shí)現(xiàn)L4（L4級(jí)自動(dòng)駕駛是指高度自動(dòng)駕駛，能夠?qū)崿F(xiàn)駕駛?cè)虩o需駕駛員任何操作，但也會(huì)有限制條件）或更高級(jí)別的自動(dòng)駕駛提供了更有力的工具，也并不是要取代其他的傳感器。

幻實(shí)（主播）：這個(gè)方向國外也有做嗎，還是說是我們是首先提出來往這個(gè)方向去走的？

張友偉（嘉賓）：目前我們倒是沒有看到別人在這么做，但并不只是我們擁有這項(xiàng)技術(shù)，在軍工和航天領(lǐng)域有過這樣的一些應(yīng)用先例，在民用市場(chǎng)上面我還沒有看到。

幻實(shí)（主播）：所以這真的是一個(gè)開拓性的應(yīng)用，你們向客戶推廣產(chǎn)品的時(shí)候覺得有壓力嗎？

張友偉（嘉賓）：其實(shí)還好，客戶還是非常感興趣的，所以我們一直在努力盡快把這個(gè)產(chǎn)品落地，并進(jìn)行量產(chǎn)化。

幻實(shí)（主播）：堆疊而成的增強(qiáng)式多光譜傳感器，相比于原有方案的造價(jià)，會(huì)增加很多嗎？

張友偉（嘉賓）：事實(shí)上芯片量產(chǎn)化以后，雖然它的成本增加，但邊際效應(yīng)是遞減的。所以將來產(chǎn)品價(jià)格可能比現(xiàn)有的可見光會(huì)略高一些，但是并不是特別的昂貴。

幻實(shí)（主播）：在汽車方面，大家還未放棄對(duì)提高安全性而開拓應(yīng)用，那在工業(yè)市場(chǎng)有沒有什么具體的方向可以跟我們分享一下？

張友偉（嘉賓）：可見光及紅外線能用的地方我們都能用，所以我們其實(shí)是可以從他們的方向切進(jìn)去的。

幻實(shí)（主播）：也就是說你們要去找一個(gè)既要用可見光，又要用紅外的場(chǎng)景，以此實(shí)現(xiàn)高性價(jià)比。因?yàn)槟銈兘鉀Q了互聯(lián)互通時(shí)效的各種問題，所以聽起來還是一個(gè)挺有意思的角度。

那咱們團(tuán)隊(duì)是什么樣的一個(gè)背景，是全部要做硬件，還是說需要嵌入式軟件，需不需要做應(yīng)用的一些開發(fā)？

張友偉（嘉賓）：其實(shí)我們的核心團(tuán)隊(duì)以前是中科院的背景，我們?cè)诩t外這方面有很大的積累，我們開發(fā)出這樣的一個(gè)傳感器，包括后面的模組，需要的是光學(xué)和結(jié)構(gòu)、算法、軟件、電子各方面的人才，所以這是一個(gè)需要各種技術(shù)綜合的一個(gè)系統(tǒng)工程。

幻實(shí)（主播）：而且還要懂工藝，因?yàn)槟銈冏约哼€要改工藝，我覺得這個(gè)好難啊，門檻很高，因?yàn)樽龀鰜碇罂赡苄酒闹圃?、產(chǎn)線都要配合你們?nèi)プ稣{(diào)試，聽起來你們選了一條艱難的路，當(dāng)時(shí)有沒有什么顧慮？

張友偉（嘉賓）：顧慮倒是沒有，因?yàn)槲覀冎饕暮诵膱F(tuán)隊(duì)人員以前是做科研的，我們非常享受創(chuàng)造的過程，做出一些創(chuàng)新的東西是非常興奮的。

幻實(shí)（主播）：做科研與考慮商業(yè)化不一樣，商業(yè)需要我們先算算賬，可能這個(gè)東西回報(bào)周期太長(zhǎng)，興趣就會(huì)大大減弱。那么，疊鋮光電的產(chǎn)品從技術(shù)方向來說到了哪個(gè)階段？

張友偉（嘉賓）：按照今年的計(jì)劃，我們大概5月份會(huì)推出模組型的產(chǎn)品交付客戶，之后我們會(huì)做一些量產(chǎn)化的工作。

幻實(shí)（主播）：也就是說你們現(xiàn)在是有定向開發(fā)的客戶了，這是一個(gè)很不錯(cuò)的階段，您預(yù)計(jì)這款產(chǎn)品到量產(chǎn)中間可能還會(huì)遇到怎樣的挑戰(zhàn)？

張友偉（嘉賓）：首先實(shí)現(xiàn)傳感器的這種堆疊技術(shù)，在工藝上面是有一些門檻的；其次，我們后期量產(chǎn)產(chǎn)生實(shí)際數(shù)據(jù)后，需要對(duì)可見光跟紅外完全融合的多光譜數(shù)據(jù)進(jìn)行處理并形成數(shù)據(jù)庫，這樣的數(shù)據(jù)庫實(shí)際上先前是沒有的；不僅如此，基于數(shù)據(jù)庫的算法也是先前沒有的，這些方面都是巨大的挑戰(zhàn)。

幻實(shí)（主播）：也就是從無到有的一個(gè)積累期。創(chuàng)新是要靠不斷地嘗試，一點(diǎn)一點(diǎn)積累而成，但你們一旦突破了瓶頸，別人再進(jìn)入市場(chǎng)就沒那么容易。

張友偉（嘉賓）：沒錯(cuò)，這個(gè)領(lǐng)域存在先發(fā)優(yōu)勢(shì)。

多光譜傳感器應(yīng)用于車內(nèi)的場(chǎng)景感受

幻實(shí)（主播）：很難想象這個(gè)產(chǎn)品在車?yán)镎嬲玫降臅r(shí)候，從我們駕駛的感受上來說會(huì)有多大的變化，你能不能給我們場(chǎng)景化的描述一下感受？

張友偉（嘉賓）：其實(shí)對(duì)于實(shí)現(xiàn)自動(dòng)駕駛的情況來說，一方面是我們可以實(shí)現(xiàn)在各種氣候、光照條件下，都能夠很好的進(jìn)行自動(dòng)駕駛識(shí)別，另一方面是用戶體驗(yàn)有所提升，用戶不需要不斷的去接管它，突發(fā)情況變得更少了。

幻實(shí)（主播）：對(duì)，因?yàn)槲覀兘?jīng)常會(huì)發(fā)現(xiàn)前面遇到一些復(fù)雜情況，這時(shí)候就需要你去接管它了。

張友偉（嘉賓）：尤其是傍晚的時(shí)候太陽西照，光照條件發(fā)生變化就需要人不斷的接管。

在夜間，可見光其實(shí)是很弱了，但是在紅外波段依舊能夠非常好的探測(cè)目標(biāo)，尤其是探測(cè)到比如人這種活動(dòng)目標(biāo)，它的優(yōu)勢(shì)非常明顯。

夜間疊層合并及識(shí)別效果（圖源：疊鋮光電官網(wǎng)）

幻實(shí)（主播）：所以全天候就代表無論有光沒光，你們都有辦法來解決了。這確實(shí)是一個(gè)新的角度去解決問題，因?yàn)槲覀円话愣紩?huì)想大家是不是都配備了視覺毫米波和雷達(dá)，但都配備了確實(shí)會(huì)出現(xiàn)您說的問題，他們之間出現(xiàn)信息矛盾怎么辦，誰更具有話語權(quán)？我現(xiàn)在想一想，其實(shí)車場(chǎng)在調(diào)大家的權(quán)重時(shí)也是真不容易的。

好，非常感謝您今天給我們科普了一個(gè)全新的角度，最后您有什么想借助我們的欄目平臺(tái)，有沒有什么想對(duì)外號(hào)召或者呼吁。

張友偉（嘉賓）：我們這個(gè)平臺(tái)是一個(gè)非常好的交流平臺(tái)，我們希望通過這個(gè)平臺(tái)把我們的東西介紹給更多的人，同時(shí)也能夠與行業(yè)界人士進(jìn)行更多的交流，我們相互學(xué)習(xí)，共同進(jìn)步，促進(jìn)我們整個(gè)國家智能傳感器行業(yè)的發(fā)展。

幻實(shí)（主播）：張博士很謙虛，你們的技術(shù)方向需要和客戶或者是產(chǎn)業(yè)的下游進(jìn)行一些綁定的開發(fā)，如果說我們的聽眾有做這方面，既要用到紅外又要用到可見光，但是又對(duì)他們同時(shí)產(chǎn)生的效果不滿意，歡迎大家聯(lián)系疊鋮光電，說不定會(huì)另辟蹊徑帶來更好的效果。

從整個(gè)傳感器產(chǎn)業(yè)來看，隨著以人工智能、5G通信、大數(shù)據(jù)等為代表的智能化時(shí)代到來，傳感器受到了世界各國的普遍重視。傳感器產(chǎn)業(yè)作為國民經(jīng)濟(jì)的基礎(chǔ)性、戰(zhàn)略性產(chǎn)業(yè)，對(duì)促進(jìn)工業(yè)轉(zhuǎn)型升級(jí)、發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)發(fā)揮著重要作用。

汽車傳感器是一個(gè)鮮明的例子，智能汽車的快速發(fā)展正不斷催生自動(dòng)駕駛傳感器的快速發(fā)展，未來智能汽車的滲透率會(huì)不斷提升。文中所提到的將高動(dòng)態(tài)范圍可見光、熱紅外、SPAD傳感器集成在同一片芯片上，實(shí)現(xiàn)傳感器之間的融合一致，給自動(dòng)駕駛場(chǎng)景注入了想象力，總體來看，理想狀態(tài)的自動(dòng)駕駛模式并未走入人們的生活，智能駕駛技術(shù)仍然存在很多難題亟待突破，伴隨更多創(chuàng)新技術(shù)的導(dǎo)入，智能汽車行業(yè)勢(shì)必將迎來更具創(chuàng)造性的新場(chǎng)景、新應(yīng)用。