嵌入式神經(jīng)網(wǎng)絡(luò)賦予機(jī)器視覺、聽覺和分析能力

　　人工智能(AI)潛在的應(yīng)用與日俱增。不同的神經(jīng)網(wǎng)絡(luò)(NN)經(jīng)過測試、調(diào)整和改進(jìn)，解決了不同的問題。出現(xiàn)了使用AI優(yōu)化數(shù)據(jù)分析的各種方法。今天大部分的AI應(yīng)用，比如谷歌翻譯和亞馬遜Alexa語音識別和視覺識別系統(tǒng)，還在利用云的力量。通過依賴一直在線的互聯(lián)網(wǎng)連接，高帶寬鏈接和網(wǎng)絡(luò)服務(wù)，物聯(lián)網(wǎng)產(chǎn)品和智能手機(jī)應(yīng)用也可以集成AI功能。到目前為止，大部分注意力都集中在基于視覺的人工智能上，一部分原因是它容易出現(xiàn)在新聞報(bào)道和視頻中，另一部分原因是它更類似于人類的活動。

　　聲音和視覺神經(jīng)網(wǎng)絡(luò)(圖片來源于：CEVA)

　　在圖像識別中，對一個(gè)2D圖像進(jìn)行分析(一次處理一組像素)，通過神經(jīng)網(wǎng)絡(luò)的連續(xù)層識別更大的特征點(diǎn)。最開始檢測到的邊緣是具有高差異性的部位。以人臉為例，最早識別的邊緣是在眼睛、鼻子和嘴巴這些特征周邊。隨著檢測過程在神經(jīng)網(wǎng)絡(luò)中的深入，將會檢測到整個(gè)面部的特征。

　　在最后階段，結(jié)合特征和位置信息，就能在可用的數(shù)據(jù)庫中識別到具有最大匹配度的一個(gè)特定的人臉。

　　神經(jīng)網(wǎng)絡(luò)的特征提取(圖片來源于：CEVA)

　　相機(jī)拍攝或捕捉的物體，可以通過神經(jīng)網(wǎng)絡(luò)在其數(shù)據(jù)庫找到具有最高匹配概率的人臉。尤其好的是物體不需要在完全相同的角度或位置，或者是相同的光線條件下進(jìn)行拍攝。

　　AI這么快就流行起來，在很大程度上是因?yàn)殚_放的軟件工具(也稱為框架)，使得構(gòu)建和訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)目標(biāo)應(yīng)用程序變得容易起來，即使是使用各種不同的編程語言。兩個(gè)常見的通用框架是TensorFlow和Caffe。對于已知的識別目標(biāo)，可以離線定義和訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)。一旦訓(xùn)練完成，神經(jīng)網(wǎng)絡(luò)可以很容易地部署到嵌入式平臺上。這是一個(gè)聰明的劃分，允許借助PC或云的能力訓(xùn)練神經(jīng)網(wǎng)絡(luò)，而功耗敏感的嵌入式處理器只需使用訓(xùn)練好的數(shù)據(jù)來進(jìn)行識別。

　　類人的識別人和物體的能力與流行的應(yīng)用密切相關(guān)，比如工業(yè)機(jī)器人和自動駕駛汽車。

　　然而，人工智能在音頻領(lǐng)域具備同樣的興趣點(diǎn)和能力。采用和圖像特征分析同樣的方式，可以將音頻分解成特征點(diǎn)來輸入給神經(jīng)網(wǎng)絡(luò)。有一種方法是使用梅爾頻率倒譜系數(shù)(MFCC)將音頻分解成有用的特征。最開始音頻樣本被分解成短時(shí)間的幀，例如20 ms，然后對信號進(jìn)行傅里葉變換，使用重疊三角窗將音頻頻譜的功率映射到一個(gè)非線性尺度上。

　　聲音神經(jīng)網(wǎng)絡(luò)分解圖(圖片來源于：CEVA)

　　通過提取的特征，神經(jīng)網(wǎng)絡(luò)可以用來確定音頻樣本和音頻樣本數(shù)據(jù)庫中詞匯或者語音的相似度。和圖像識別一樣，神經(jīng)網(wǎng)絡(luò)為特定詞匯在數(shù)據(jù)庫中提取了可能的匹配。對于那些想要復(fù)制谷歌和亞馬遜的“OK Google”或“Alexa”語音觸發(fā)(VT)功能的人來說，KITT.AI通過Snowboy提供了一個(gè)解決方案。觸發(fā)關(guān)鍵詞可以上傳到他們的平臺進(jìn)行分析，導(dǎo)出一個(gè)文件，集成到嵌入式平臺上的Snowboy應(yīng)用程序中,這樣語音觸發(fā)(VT)的關(guān)鍵詞在離線情況下也可以被檢測到。音頻識別也并不局限于語言識別。TensorFlow提供了一個(gè)iOS上的示例工程，可以區(qū)分男性和女性的聲音。

　　另一個(gè)應(yīng)用程序是檢測我們居住的城市和住宅周圍動物和其它聲音。這已經(jīng)由安裝在英國伊麗莎白女王奧林匹克公園的深度學(xué)習(xí)蝙蝠監(jiān)控系統(tǒng)驗(yàn)證過了。它提供了將視覺和聽覺識別神經(jīng)網(wǎng)絡(luò)集成到一個(gè)平臺的可能性。比如通過音頻識別特定的聲音，可以用來觸發(fā)安全系統(tǒng)進(jìn)行錄像。

　　有很多基于云的AI應(yīng)用程序是不現(xiàn)實(shí)的，一方面有數(shù)據(jù)隱私問題，另一方面由于數(shù)據(jù)連通性差或帶寬不夠造成的服務(wù)不能持續(xù)。另外，實(shí)時(shí)性能也是一個(gè)值得關(guān)注的問題。例如工業(yè)制造系統(tǒng)需求一個(gè)瞬時(shí)響應(yīng)，以實(shí)時(shí)操作生產(chǎn)線，連接云服務(wù)的延時(shí)就太長了。

　　因此，將AI功能移動到終端設(shè)備越來越受到關(guān)注。也就是說，在正在使用的設(shè)備上發(fā)揮人工智能的力量。很多IP供應(yīng)商提供了解決方案，比如CEVA的CEVA-X2和NeuPro IP核和配套軟件，很容易和現(xiàn)有的神經(jīng)網(wǎng)絡(luò)框架進(jìn)行集成。它為開發(fā)具備人工智能的嵌入式系統(tǒng)提供了可能性，同時(shí)提供了低功耗處理器的靈活性。以一個(gè)語音識別系統(tǒng)作為例子，可以利用集成在芯片上的功耗優(yōu)化的人工智能，來識別一個(gè)語音觸發(fā)(VT)的關(guān)鍵詞和一個(gè)最小的語音命令(VC)的集合。更復(fù)雜的語音命令和功能，可以在應(yīng)用程序從低功耗的語音觸發(fā)狀態(tài)下喚醒之后，由基于云的AI完成。

　　最后，卷積神經(jīng)網(wǎng)絡(luò)(CNN)也可以用來提高文本到語音(TTS)系統(tǒng)的質(zhì)量。一直以來TTS是將來自同一個(gè)配音員的許多小塊的高質(zhì)量錄音，整合成連續(xù)的聲音。雖然所輸出的結(jié)果是人類可以理解的，但由于輸出結(jié)果存在奇怪的語調(diào)和音調(diào)，仍然感覺像是機(jī)器人的聲音。如果試圖表現(xiàn)不同的情緒則需要一組全新的錄音。谷歌的WaveNet改善了當(dāng)前的情況，通過卷積神經(jīng)網(wǎng)絡(luò)(CNN)以每秒16000個(gè)采樣生成TTS波形。與之前的聲音樣本相比，其輸出結(jié)果是無縫連接的，明顯更自然更高質(zhì)量的聲音。