人機(jī)交互的語(yǔ)音識(shí)別技術(shù)

在人際交往中，言語(yǔ)是最自然并且最直接的方式之一。隨著技術(shù)的進(jìn)步，越來(lái)越多的人們也期望計(jì)算機(jī)能夠具備與人進(jìn)行言語(yǔ)溝通的能力，因此，語(yǔ)音識(shí)別這一技術(shù)也越來(lái)越受到關(guān)注。尤其，隨著深度學(xué)習(xí)技術(shù)應(yīng)用在語(yǔ)音識(shí)別技術(shù)中，使得語(yǔ)音識(shí)別的性能得到了顯著提升，也使得語(yǔ)音識(shí)別技術(shù)的普及成為了現(xiàn)實(shí)。

語(yǔ)音識(shí)別技術(shù)

自動(dòng)語(yǔ)音識(shí)別技術(shù)，簡(jiǎn)單來(lái)說(shuō)其實(shí)就是利用計(jì)算機(jī)將語(yǔ)音信號(hào)自動(dòng)轉(zhuǎn)換為文本的一項(xiàng)技術(shù)。這項(xiàng)技術(shù)同時(shí)也是機(jī)器理解人類言語(yǔ)的第一個(gè)也是很重要的一個(gè)過(guò)程。

語(yǔ)音識(shí)別是一門交叉學(xué)科，所涉及的領(lǐng)域有信號(hào)處理、模式識(shí)別、概率論和信息論、發(fā)聲機(jī)理和聽(tīng)覺(jué)機(jī)理、人工智能等等，甚至還涉及到人的體態(tài)語(yǔ)言（如人民在說(shuō)話時(shí)的表情手勢(shì)等行為動(dòng)作可幫助對(duì)方理解）。其應(yīng)用領(lǐng)域也非常廣，例如相對(duì)于鍵盤輸入方法的語(yǔ)音輸入系統(tǒng)、可用于工業(yè)控制的語(yǔ)音控制系統(tǒng)及服務(wù)領(lǐng)域的智能對(duì)話查詢系統(tǒng)，在信息高度化的今天，語(yǔ)音識(shí)別技術(shù)及其應(yīng)用已成為信息社會(huì)不可或缺的重要組成部分。

語(yǔ)音識(shí)別技術(shù)的發(fā)展歷史

語(yǔ)音識(shí)別技術(shù)的研究開(kāi)始二十世紀(jì)50年代。1952年，AT&Tbell實(shí)驗(yàn)室的Davis等人成功研制出了世界上第一個(gè)能識(shí)別十個(gè)英文數(shù)字發(fā)音的實(shí)驗(yàn)系統(tǒng)：Audry系統(tǒng)。

60年代計(jì)算機(jī)的應(yīng)用推動(dòng)了語(yǔ)音識(shí)別技術(shù)的發(fā)展，提出兩大重要研究成果：動(dòng)態(tài)規(guī)劃(Dynamic Planning， DP)和線性預(yù)測(cè)分析(Linear Predict， LP)，其中后者較好的解決了語(yǔ)音信號(hào)產(chǎn)生模型的問(wèn)題，對(duì)語(yǔ)音識(shí)別技術(shù)的發(fā)展產(chǎn)生了深遠(yuǎn)影響。

70年代，語(yǔ)音識(shí)別領(lǐng)域取得突破性進(jìn)展。線性預(yù)測(cè)編碼技術(shù)(Linear Predict Coding， LPC)被Itakura成功應(yīng)用于語(yǔ)音識(shí)別；Sakoe和Chiba將動(dòng)態(tài)規(guī)劃的思想應(yīng)用到語(yǔ)音識(shí)別并提出動(dòng)態(tài)時(shí)間規(guī)整算法，有效的解決了語(yǔ)音信號(hào)的特征提取和不等長(zhǎng)語(yǔ)音匹配問(wèn)題；同時(shí)提出了矢量量化（VQ）和隱馬爾可夫模型（HMM）理論。在同一時(shí)期，統(tǒng)計(jì)方法開(kāi)始被用來(lái)解決語(yǔ)音識(shí)別的關(guān)鍵問(wèn)題，這為接下來(lái)的非特定人大詞匯量連續(xù)語(yǔ)音識(shí)別技術(shù)走向成熟奠定了重要的基礎(chǔ)。

80年代，連續(xù)語(yǔ)音識(shí)別成為語(yǔ)音識(shí)別的研究重點(diǎn)之一。Meyers和Rabiner研究出多級(jí)動(dòng)態(tài)規(guī)劃語(yǔ)音識(shí)別算法(Level Building，LB)這一連續(xù)語(yǔ)音識(shí)別算法。80年代另一個(gè)重要的發(fā)展是概率統(tǒng)計(jì)方法成為語(yǔ)音識(shí)別研究方法的主流，其顯著特征是HMM模型在語(yǔ)音識(shí)別中的成功應(yīng)用。1988年，美國(guó)卡內(nèi)基－梅隆大學(xué)(CMU)用VQ/HMM方法實(shí)現(xiàn)了997詞的非特定人連續(xù)語(yǔ)音識(shí)別系統(tǒng)SPHINX。在這一時(shí)期，人工神經(jīng)網(wǎng)絡(luò)在語(yǔ)音識(shí)別中也得到成功應(yīng)用。

進(jìn)入90年代后，隨著多媒體時(shí)代的來(lái)臨，迫切要求語(yǔ)音識(shí)別系統(tǒng)從實(shí)驗(yàn)走向?qū)嵱?，許多發(fā)達(dá)國(guó)家如美國(guó)、日本、韓國(guó)以及IBM、Apple、AT&T、NTT等著名公司都為語(yǔ)音識(shí)別系統(tǒng)實(shí)用化的開(kāi)發(fā)研究投以巨資。最具代表性的是IBM的ViaVoice和Dragon公司的Dragon Dectate系統(tǒng)。這些系統(tǒng)具有說(shuō)話人自適應(yīng)能力，新用戶不需要對(duì)全部詞匯進(jìn)行訓(xùn)練便可在使用中不斷提高識(shí)別率。

當(dāng)前，美國(guó)在非特定人大詞匯表連續(xù)語(yǔ)音隱馬爾可夫模型識(shí)別方面起主導(dǎo)作用，而日本則在大詞匯表連續(xù)語(yǔ)音神經(jīng)網(wǎng)絡(luò)識(shí)別、模擬人工智能進(jìn)行語(yǔ)音后處理方面處于主導(dǎo)地位。

我國(guó)在七十年代末就開(kāi)始了語(yǔ)音技術(shù)的研究，但在很長(zhǎng)一段時(shí)間內(nèi)，都處于緩慢發(fā)展的階段。直到八十年代后期，國(guó)內(nèi)許多單位紛紛投入到這項(xiàng)研究工作中去，其中有中科院聲學(xué)所，自動(dòng)化所，清華大學(xué)，四川大學(xué)和西北工業(yè)大學(xué)等科研機(jī)構(gòu)和高等院校，大多數(shù)研究者致力于語(yǔ)音識(shí)別的基礎(chǔ)理論研究工作、模型及算法的研究和改進(jìn)。但由于起步晚、基礎(chǔ)薄弱，計(jì)算機(jī)水平不發(fā)達(dá)，導(dǎo)致在整個(gè)八十年代，我國(guó)在語(yǔ)音識(shí)別研究方面并沒(méi)有形成自己的特色，更沒(méi)有取得顯著的成果和開(kāi)發(fā)出大型性能優(yōu)良的實(shí)驗(yàn)系統(tǒng)。

但進(jìn)入九十年代后，我國(guó)語(yǔ)音識(shí)別研究的步伐就逐漸緊追國(guó)際先進(jìn)水平了，在“八五”、“九五”國(guó)家科技攻關(guān)計(jì)劃、國(guó)家自然科學(xué)基金、國(guó)家863計(jì)劃的支持下，我國(guó)在中文語(yǔ)音技術(shù)的基礎(chǔ)研究方面也取得了一系列成果。

在語(yǔ)音合成技術(shù)方面，中國(guó)科大訊飛公司已具有國(guó)際上最領(lǐng)先的核心技術(shù)；中科院聲學(xué)所也在長(zhǎng)期積累的基礎(chǔ)上，研究開(kāi)發(fā)出頗具特色的產(chǎn)品：在語(yǔ)音識(shí)別技術(shù)方面，中科院自動(dòng)化所具有相當(dāng)?shù)募夹g(shù)優(yōu)勢(shì)：社科院語(yǔ)言所在漢語(yǔ)言學(xué)及實(shí)驗(yàn)語(yǔ)言科學(xué)方面同樣具有深厚的積累。但是，這些成果并沒(méi)有得到很好的應(yīng)用，沒(méi)有轉(zhuǎn)化成產(chǎn)業(yè)；相反，中文語(yǔ)音技術(shù)在技術(shù)、人才、市場(chǎng)等方面正面臨著來(lái)自國(guó)際競(jìng)爭(zhēng)環(huán)境中越來(lái)越嚴(yán)峻的挑戰(zhàn)和壓力。

語(yǔ)音識(shí)別系統(tǒng)的結(jié)構(gòu)

主要包括語(yǔ)音信號(hào)的采樣和預(yù)處理部分、特征參數(shù)提取部分、語(yǔ)音識(shí)別核心部分以及語(yǔ)音識(shí)別后處理部分，圖中給出了語(yǔ)音識(shí)別系統(tǒng)的基本結(jié)構(gòu)。

語(yǔ)音識(shí)別的過(guò)程是一個(gè)模式識(shí)別匹配的過(guò)程。在這個(gè)過(guò)程中，首先要根據(jù)人的語(yǔ)音特點(diǎn)建立語(yǔ)音模型，對(duì)輸入的語(yǔ)音信號(hào)進(jìn)行分析，并抽取所需的特征，在此基礎(chǔ)上建立語(yǔ)音識(shí)別所需的模式。而在識(shí)別過(guò)程中要根據(jù)語(yǔ)音識(shí)別的整體模型，將輸入的語(yǔ)音信號(hào)的特征與已經(jīng)存在的語(yǔ)音模式進(jìn)行比較，根據(jù)一定的搜索和匹配策略，找出一系列最優(yōu)的與輸入的語(yǔ)音相匹配的模式。然后，根據(jù)此模式號(hào)的定義，通過(guò)查表就可以給出計(jì)算機(jī)的識(shí)別結(jié)果。

語(yǔ)音識(shí)別系統(tǒng)的分類

根據(jù)識(shí)別的對(duì)象不同，語(yǔ)音識(shí)別任務(wù)大體可分為三類，即孤立詞識(shí)別（isolated word recognition)，關(guān)鍵詞識(shí)別（或稱關(guān)鍵詞檢出，keyword spotting)和連續(xù)語(yǔ)音識(shí)別。

孤立詞識(shí)別的任務(wù)是識(shí)別事先已知的孤立的詞，如“開(kāi)機(jī)”、“關(guān)機(jī)”等；連續(xù)語(yǔ)音識(shí)別的任務(wù)則是識(shí)別任意的連續(xù)語(yǔ)音，如一個(gè)句子或一段話；連續(xù)語(yǔ)音流中的關(guān)鍵詞檢測(cè)針對(duì)的是連續(xù)語(yǔ)音，但它并不識(shí)別全部文字，而只是檢測(cè)已知的若干關(guān)鍵詞在何處出現(xiàn)，如在一段話中檢測(cè)“計(jì)算機(jī)”、“世界”這兩個(gè)詞。

根據(jù)針對(duì)的發(fā)音人，可以把語(yǔ)音識(shí)別技術(shù)分為特定人語(yǔ)音識(shí)別和非特定人語(yǔ)音識(shí)別，前者只能識(shí)別一個(gè)或幾個(gè)人的語(yǔ)音，而后者則可以被任何人使用。顯然，非特定人語(yǔ)音識(shí)別系統(tǒng)更符合實(shí)際需要，但它要比針對(duì)特定人的識(shí)別困難得多。

另外，根據(jù)語(yǔ)音設(shè)備和通道，可以分為桌面（PC）語(yǔ)音識(shí)別、電話語(yǔ)音識(shí)別和嵌入式設(shè)備（手機(jī)、PDA等）語(yǔ)音識(shí)別。不同的采集通道會(huì)使人的發(fā)音的聲學(xué)特性發(fā)生變形，因此需要構(gòu)造各自的識(shí)別系統(tǒng)。

語(yǔ)音識(shí)別技術(shù)類型

目前具有代表性的語(yǔ)音識(shí)別技術(shù)主要有動(dòng)態(tài)時(shí)間規(guī)整技術(shù)（DTW）、隱馬爾可夫模型（HMM）、矢量量化（VQ）、人工神經(jīng)網(wǎng)絡(luò)（ANN）、支持向量機(jī)(SVM)等技術(shù)方法。

動(dòng)態(tài)時(shí)間規(guī)整算法（DynamicTime Warping，DTW）

是在非特定人語(yǔ)音識(shí)別中一種簡(jiǎn)單有效的方法，該算法基于動(dòng)態(tài)規(guī)劃的思想，解決了發(fā)音長(zhǎng)短不一的模板匹配問(wèn)題，是語(yǔ)音識(shí)別技術(shù)中出現(xiàn)較早、較常用的一種算法。在應(yīng)用DTW算法進(jìn)行語(yǔ)音識(shí)別時(shí)，就是將已經(jīng)預(yù)處理和分幀過(guò)的語(yǔ)音測(cè)試信號(hào)和參考語(yǔ)音模板進(jìn)行比較以獲取他們之間的相似度，按照某種距離測(cè)度得出兩模板間的相似程度并選擇最佳路徑。

隱馬爾可夫模型（HMM）

是語(yǔ)音信號(hào)處理中的一種統(tǒng)計(jì)模型，是由Markov鏈演變來(lái)的，所以它是基于參數(shù)模型的統(tǒng)計(jì)識(shí)別方法。由于其模式庫(kù)是通過(guò)反復(fù)訓(xùn)練形成的與訓(xùn)練輸出信號(hào)吻合概率最大的最佳模型參數(shù)而不是預(yù)先儲(chǔ)存好的模式樣本，且其識(shí)別過(guò)程中運(yùn)用待識(shí)別語(yǔ)音序列與HMM參數(shù)之間的似然概率達(dá)到最大值所對(duì)應(yīng)的最佳狀態(tài)序列作為識(shí)別輸出，因此是較理想的語(yǔ)音識(shí)別模型。

矢量量化（VectorQuantization）

是一種重要的信號(hào)壓縮方法。與HMM相比，矢量量化主要適用于小詞匯量、孤立詞的語(yǔ)音識(shí)別中。其過(guò)程是將若干個(gè)語(yǔ)音信號(hào)波形或特征參數(shù)的標(biāo)量數(shù)據(jù)組成一個(gè)矢量在多維空間進(jìn)行整體量化。把矢量空間分成若干個(gè)小區(qū)域，每個(gè)小區(qū)域?qū)ふ乙粋€(gè)代表矢量，量化時(shí)落入小區(qū)域的矢量就用這個(gè)代表矢量代替。矢量量化器的設(shè)計(jì)就是從大量信號(hào)樣本中訓(xùn)練出好的碼書(shū)，從實(shí)際效果出發(fā)尋找到好的失真測(cè)度定義公式，設(shè)計(jì)出最佳的矢量量化系統(tǒng)，用最少的搜索和計(jì)算失真的運(yùn)算量實(shí)現(xiàn)最大可能的平均信噪比。

在實(shí)際的應(yīng)用過(guò)程中，人們還研究了多種降低復(fù)雜度的方法，包括無(wú)記憶的矢量量化、有記憶的矢量量化和模糊矢量量化方法。

人工神經(jīng)網(wǎng)絡(luò)（ANN）

是20世紀(jì)80年代末期提出的一種新的語(yǔ)音識(shí)別方法。其本質(zhì)上是一個(gè)自適應(yīng)非線性動(dòng)力學(xué)系統(tǒng)，模擬了人類神經(jīng)活動(dòng)的原理，具有自適應(yīng)性、并行性、魯棒性、容錯(cuò)性和學(xué)習(xí)特性，其強(qiáng)大的分類能力和輸入—輸出映射能力在語(yǔ)音識(shí)別中都很有吸引力。其方法是模擬人腦思維機(jī)制的工程模型，它與HMM正好相反，其分類決策能力和對(duì)不確定信息的描述能力得到舉世公認(rèn)，但它對(duì)動(dòng)態(tài)時(shí)間信號(hào)的描述能力尚不盡如人意，通常MLP分類器只能解決靜態(tài)模式分類問(wèn)題，并不涉及時(shí)間序列的處理。盡管學(xué)者們提出了許多含反饋的結(jié)構(gòu)，但它們?nèi)圆蛔阋钥坍嬛T如語(yǔ)音信號(hào)這種時(shí)間序列的動(dòng)態(tài)特性。由于ANN不能很好地描述語(yǔ)音信號(hào)的時(shí)間動(dòng)態(tài)特性，所以常把ANN與傳統(tǒng)識(shí)別方法結(jié)合，分別利用各自優(yōu)點(diǎn)來(lái)進(jìn)行語(yǔ)音識(shí)別而克服HMM和ANN各自的缺點(diǎn)。

近年來(lái)結(jié)合神經(jīng)網(wǎng)絡(luò)和隱含馬爾可夫模型的識(shí)別算法研究取得了顯著進(jìn)展，其識(shí)別率已經(jīng)接近隱含馬爾可夫模型的識(shí)別系統(tǒng)，進(jìn)一步提高了語(yǔ)音識(shí)別的魯棒性和準(zhǔn)確率。

支持向量機(jī)（Supportvector machine）

是應(yīng)用統(tǒng)計(jì)學(xué)理論的一種新的學(xué)習(xí)機(jī)模型，采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理（Structural Risk Minimization，SRM），有效克服了傳統(tǒng)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化方法的缺點(diǎn)。兼顧訓(xùn)練誤差和泛化能力，在解決小樣本、非線性及高維模式識(shí)別方面有許多優(yōu)越的性能，已經(jīng)被廣泛地應(yīng)用到模式識(shí)別領(lǐng)域。

語(yǔ)音識(shí)別技術(shù)的難點(diǎn)及對(duì)策

語(yǔ)音識(shí)別技術(shù)的發(fā)展，達(dá)不到實(shí)用要求的，主要表現(xiàn)在以下方面 ：

(1) 自適應(yīng)問(wèn)題 。

語(yǔ)音識(shí)別系統(tǒng)的自適應(yīng)性差體現(xiàn)在對(duì)環(huán)境條件的依賴性強(qiáng)?，F(xiàn)有倒譜歸一化技術(shù)、相對(duì)譜(RASTA)技術(shù)、LINLOG RASTA 技術(shù)等自適應(yīng)訓(xùn)練方法。

(2)噪聲問(wèn)題。

語(yǔ)音識(shí)別系統(tǒng)在噪聲環(huán)境下使用，講話人產(chǎn)生情緒或心里上的變化 ，導(dǎo)致發(fā)音失真、發(fā)音速度和音調(diào)改變 ，產(chǎn)生Lombard/Loud 效應(yīng)。常用的抑制噪聲的方法有譜減法、環(huán)境規(guī)正技術(shù)、不修正語(yǔ)音信號(hào)而是修正識(shí)別器模型使之適合噪聲、建立噪聲模型。

(3)語(yǔ)音識(shí)別基元的選取問(wèn)題 。

一般地，欲識(shí)別的詞匯量越多，所用基元應(yīng)越小越好。

(4 )端點(diǎn)檢測(cè)。 

語(yǔ)音信號(hào)的端點(diǎn)檢測(cè)是語(yǔ)音識(shí)別的關(guān)鍵第一步。研究表明，即使在安靜的環(huán)境下，語(yǔ)音識(shí)別系統(tǒng)一半以上的識(shí)別錯(cuò)誤來(lái)自端點(diǎn)檢測(cè)器。提高端點(diǎn)檢測(cè)技術(shù)的關(guān)鍵在于尋找穩(wěn)定的語(yǔ)音參數(shù) 。

(5 )其它如識(shí)別速度問(wèn)題 、拒識(shí)問(wèn)題以及關(guān)鍵詞檢測(cè)技術(shù)(即從連續(xù)語(yǔ)音中去除 “啊”、“唉”的語(yǔ)氣助詞，獲得真正待識(shí)別的語(yǔ)音部分 )、對(duì)用戶的錯(cuò)誤輸入不能正確響應(yīng)等問(wèn)題 。

語(yǔ)音識(shí)別的應(yīng)用

語(yǔ)音識(shí)別可以應(yīng)用的領(lǐng)域大致分為大五類：

辦公室或商務(wù)系統(tǒng)。典型的應(yīng)用包括：填寫數(shù)據(jù)表格、數(shù)據(jù)庫(kù)管理和控制、鍵盤功能增強(qiáng)等等。

制造業(yè)。

在質(zhì)量控制中，語(yǔ)音識(shí)別系統(tǒng)可以為制造過(guò)程提供一種“不用手”、“不用眼”的檢控（部件檢查）。

電信。

相當(dāng)廣泛的一類應(yīng)用在撥號(hào)電話系統(tǒng)上都是可行的，包括話務(wù)員協(xié)助服務(wù)的自動(dòng)化、國(guó)際國(guó)內(nèi)遠(yuǎn)程電子商務(wù)、語(yǔ)音呼叫分配、語(yǔ)音撥號(hào)、分類訂貨。

醫(yī)療。

這方面的主要應(yīng)用是由聲音來(lái)生成和編輯專業(yè)的醫(yī)療報(bào)告。

其他。

包括由語(yǔ)音控制和操作的游戲和玩具、幫助殘疾人的語(yǔ)音識(shí)別系統(tǒng)、車輛行駛中一些非關(guān)鍵功能的語(yǔ)音控制，如車載交通路況控制系統(tǒng)、音響系統(tǒng)。

隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，尤其是移動(dòng)終端的小型化、多樣化變化趨勢(shì)，語(yǔ)音識(shí)別成為區(qū)別于鍵盤、觸屏的人機(jī)交互手段之一。隨著語(yǔ)音識(shí)別算法模型、自適應(yīng)性的加強(qiáng)，相信在未來(lái)很長(zhǎng)一段時(shí)間內(nèi)，語(yǔ)音識(shí)別系統(tǒng)的應(yīng)用將更加廣泛與深入，更多豐富的移動(dòng)終端語(yǔ)音識(shí)別產(chǎn)品將步入人們的日常生活。