新聞中心

EEPW首頁(yè) > 模擬技術(shù) > 設(shè)計(jì)應(yīng)用 > 說(shuō)話(huà)人語(yǔ)音特征子空間分離及識(shí)別應(yīng)用

說(shuō)話(huà)人語(yǔ)音特征子空間分離及識(shí)別應(yīng)用

作者: 時(shí)間:2009-08-10 來(lái)源:網(wǎng)絡(luò) 收藏
1 引言
隨著電話(huà)銀行等網(wǎng)絡(luò)電子消費(fèi)的普及,說(shuō)話(huà)人作為一種有效的身份認(rèn)證手段,其技術(shù)特點(diǎn)和優(yōu)越性越來(lái)越明顯,在國(guó)防安全、司法和金融等各應(yīng)用領(lǐng)域的價(jià)值越來(lái)越顯得重要。目前說(shuō)話(huà)人的主要方法一般通過(guò)在特征觀察空間建立說(shuō)話(huà)人模型進(jìn)行,如基于VQ的碼本模型方法、基于GMM模型的識(shí)別方法以及其他一些方法,這些方法大都利用了說(shuō)話(huà)人特征的統(tǒng)計(jì)特性。但是,說(shuō)話(huà)人識(shí)別應(yīng)用中存在的兩個(gè)主要問(wèn)題是:(1)由于特征的時(shí)變性,模型訓(xùn)練時(shí)期和實(shí)際識(shí)別時(shí)期語(yǔ)音特征發(fā)生變化而導(dǎo)致識(shí)別性能的下降,而目前這些方法只能在一定程度上處理這種變化;(2)實(shí)際應(yīng)用中往往需要能通過(guò)較短的語(yǔ)音及時(shí)識(shí)別說(shuō)話(huà)人身份,但目前這些方法一般需要輸入3秒以上的語(yǔ)音才能得到較高的識(shí)別率。
語(yǔ)音信號(hào)中包含語(yǔ)義和說(shuō)話(huà)人個(gè)性這兩大特征,如果能夠較好地將這兩類(lèi)特征進(jìn)行,并依據(jù)個(gè)性特征建立說(shuō)話(huà)人模型,則說(shuō)話(huà)人識(shí)別性能將會(huì)得到提高并大大增強(qiáng)識(shí)別系統(tǒng)的魯棒性,但兩類(lèi)特征的完全非常困難。統(tǒng)計(jì)方法建立的模型不可避免地需要較大的數(shù)據(jù)量進(jìn)行訓(xùn)練和識(shí)別,在短時(shí)測(cè)試語(yǔ)音下識(shí)別性能下降是必然的。如果能夠建立一種非純粹統(tǒng)計(jì)模型或在統(tǒng)計(jì)模型的基礎(chǔ)上結(jié)合結(jié)構(gòu)性模型則可能會(huì)提高短時(shí)測(cè)試語(yǔ)音條件下的識(shí)別性能。
本文依據(jù)主元分析(PCA:Principal Component Analysis)原理和說(shuō)話(huà)人語(yǔ)音特征在觀察空間的分布散度提取主要散度向量構(gòu)造說(shuō)話(huà)人語(yǔ)音特征,將說(shuō)話(huà)人語(yǔ)音特征從觀察空間出來(lái)。實(shí)驗(yàn)分析了基于特征的說(shuō)話(huà)人識(shí)別性能,結(jié)果證明了這種方法的有效性,特別是在小于3秒的短時(shí)測(cè)試語(yǔ)音情況下識(shí)別性能明顯優(yōu)于VQ和GMM等方法。


2 特征子空間分離
基于語(yǔ)音特征子空間分離的說(shuō)話(huà)人識(shí)別系統(tǒng)中,說(shuō)話(huà)人模型由特征子空間表示,模式匹配部分則通過(guò)計(jì)算輸入測(cè)試語(yǔ)音特征矢量與子空間的距離進(jìn)行。特征子空間根據(jù)說(shuō)話(huà)人訓(xùn)練語(yǔ)音提取的特征矢量在觀察空間的統(tǒng)計(jì)分布特性,依據(jù)PCA原理選取具有較大權(quán)值的散度向量構(gòu)成。
設(shè)一個(gè)說(shuō)話(huà)人訓(xùn)練語(yǔ)音集合為{S1,S2,…,SN},每一個(gè)訓(xùn)練語(yǔ)音樣本經(jīng)過(guò)特征提取后形成特征矢量序列,即如果特征矢量具有P個(gè)參數(shù),則特征矢量Vij表示P維觀察空間的一個(gè)點(diǎn),所有的特征矢量在觀察空間形成具有一定統(tǒng)計(jì)分布特性的點(diǎn)集{V1,V2,…,VM},其中M是說(shuō)話(huà)人所有訓(xùn)練語(yǔ)音特征矢量的總數(shù)。描述說(shuō)話(huà)人語(yǔ)音特征矢量在觀察空間分布的一個(gè)主要統(tǒng)計(jì)指標(biāo)是分布散度,它可以由平均特征矢量和自協(xié)方差矩陣表示,如下:

本文引用地址:http://www.butianyuan.cn/article/188757.htm


公式(1)中平均特征矢量V反映說(shuō)話(huà)人所有特征矢量在觀察空問(wèn)的中心點(diǎn)。公式(2)中自協(xié)方差矩陣R是一個(gè)P×P正定對(duì)稱(chēng)矩陣,它反映了說(shuō)話(huà)人特征矢量各參數(shù)的平均偏離值,因此可以衡量特征矢量在觀察空間的分布散度。
求自協(xié)方差矩陣R的本征值{λ1,λ2,…,λP}和相應(yīng)的本征向量{e1,e2,…,eP},則它們之間的關(guān)系如下式(3)~(5)所示。其中φ是由本征向量作為每一列構(gòu)成的P×P矩陣,A是由本征值構(gòu)成的對(duì)角矩陣。

因?yàn)楸菊飨蛄縠i,i=1~P是從描述說(shuō)話(huà)人語(yǔ)音特征矢量分布散度的自協(xié)方差矩陣計(jì)算得到,所以,從空間的角度看,說(shuō)話(huà)人的語(yǔ)音特征分布完全可以由以平均特征矢量V為中心,本征向量ei,i=l~P為正交歸一化基底的子空間描述,如圖1所示。這樣,就從語(yǔ)音特征觀察空問(wèn)將說(shuō)話(huà)人語(yǔ)音特征子空間分離了出來(lái),不同的說(shuō)話(huà)人具有不同的特征子空間。
雖然計(jì)算得到的本征向量個(gè)數(shù)與觀察空間維數(shù)相同,但有些本征向量對(duì)應(yīng)的本征值較小,在表示語(yǔ)音特征分布散度時(shí)影響較小。因此,實(shí)際應(yīng)用中可以選擇具有較大散度權(quán)值(本征值)的向量構(gòu)成子空間的基向量。圖1顯示了一個(gè)三維觀察空間中分離出的兩個(gè)二維說(shuō)話(huà)人特征子空問(wèn)例子,這些子空間的基底對(duì)應(yīng)前兩個(gè)較大的散度權(quán)值。第4小節(jié)分析了選取不同散度權(quán)值本征向量構(gòu)成子空間情況下的識(shí)別性能,結(jié)果表明子空間維數(shù)并非越多越好。
說(shuō)話(huà)人語(yǔ)音特征子空間本質(zhì)上是根據(jù)訓(xùn)練語(yǔ)音特征矢量在觀察空間的統(tǒng)計(jì)分布特性分析得到的一種結(jié)構(gòu)性說(shuō)話(huà)人模型,各子空間的基底描述了說(shuō)話(huà)人語(yǔ)音特征分布的框架結(jié)構(gòu)。因此,可以認(rèn)為子空間融合了說(shuō)話(huà)人語(yǔ)音特征的統(tǒng)計(jì)特性和結(jié)構(gòu)特性,可由下式(6)表示:


3 子空間距離測(cè)度與模式匹配

系統(tǒng)模式匹配對(duì)輸入測(cè)試語(yǔ)音與各說(shuō)話(huà)人子空間的相關(guān)度進(jìn)行分析,提供說(shuō)話(huà)人身份的判別依據(jù)。設(shè)輸入測(cè)試語(yǔ)音St相應(yīng)的特征矢量序列為則通過(guò)計(jì)算該特征矢量序列與說(shuō)話(huà)人特征子空間的距離來(lái)分析測(cè)試語(yǔ)音與子空間的相關(guān)度,距離越小,相關(guān)度越大。最終的說(shuō)話(huà)人識(shí)別判決可以依據(jù)最小距離準(zhǔn)則進(jìn)行,即測(cè)試語(yǔ)音說(shuō)話(huà)人所對(duì)應(yīng)的子空間應(yīng)該與測(cè)試語(yǔ)音之間的距離最小,即相關(guān)度最大。
輸入語(yǔ)音特征矢量Vt與子空間的距離測(cè)度采用子空問(wèn)投影距離計(jì)算,如下式(7)所示。其中Q是子空間的維數(shù),Q≤P。


上式第一項(xiàng)是觀察空間特征矢量Vt與說(shuō)話(huà)人語(yǔ)音特征子空間中心矢量V之差向量Vt一V的平方模;第二項(xiàng)是這個(gè)差向量Vt一V在子空間各維投影的平方和,代表了這個(gè)差向量在子空間上的投影長(zhǎng)度的平方。兩項(xiàng)相減就是輸入測(cè)試語(yǔ)音特征矢量Vt與子空間的距離。
以上距離測(cè)度中采用了訓(xùn)練語(yǔ)音的平均特征矢量V,使觀察空間特征矢量轉(zhuǎn)換為適合子空間處理的差向量形式。實(shí)際應(yīng)用中,說(shuō)話(huà)人語(yǔ)音特征是時(shí)變的,并引起特征矢量統(tǒng)計(jì)分布特性的變化,其表現(xiàn)之一是平均特征矢量隨時(shí)問(wèn)的漂移。從子空間角度看,這個(gè)平均特征矢量的變化代表了說(shuō)話(huà)人語(yǔ)音特征子空間的一種整體時(shí)變漂移,在計(jì)算子空間距離時(shí)如果不能及時(shí)反映這種變化,將可能引起一定程度的失真,為此,定義第二種距離測(cè)度如下:


前面兩項(xiàng)的含義與第一種測(cè)度d1(Vt,SF)是一致的,但差向量不是根據(jù)訓(xùn)練語(yǔ)音的平均特征矢量V形成,而是由輸入測(cè)試語(yǔ)音的平均特征矢量Vt形成。這樣,不僅使觀察空間特征矢量轉(zhuǎn)換為適合子空間處理的差向量形式,并且使形成差向量的兩個(gè)特征矢量在時(shí)間上一致起來(lái)。但是,子空間是根據(jù)訓(xùn)練語(yǔ)音構(gòu)造的,其中心特征矢量是訓(xùn)練語(yǔ)音的平均特征矢量,距離測(cè)度中必須反映這一差異。所以,在第二種距離測(cè)度中增加第三項(xiàng)描述訓(xùn)練語(yǔ)音和測(cè)試語(yǔ)音特征矢量的平均差異,兩者通過(guò)加權(quán)系數(shù)c結(jié)合,其中N是測(cè)試語(yǔ)音短時(shí)幀個(gè)數(shù)。因此,這一距離測(cè)度不僅描述了特征矢量與說(shuō)話(huà)人特征子空間的距離,而且描述了測(cè)試語(yǔ)音特征與子空間所表示的說(shuō)話(huà)人語(yǔ)音特征的平均距離,同時(shí)考慮了語(yǔ)音特征的結(jié)構(gòu)性和統(tǒng)計(jì)特性差異。加權(quán)系數(shù)c的選擇使兩類(lèi)距離對(duì)整個(gè)測(cè)度的影響保持平衡,可以通過(guò)各自的統(tǒng)計(jì)方差之比計(jì)算。
模式匹配通過(guò)計(jì)算整個(gè)輸入測(cè)試語(yǔ)音特征矢量序列與子空間的距離進(jìn)行。利用以上距離測(cè)度,輸入測(cè)試語(yǔ)音St與說(shuō)話(huà)人語(yǔ)音特征子空問(wèn)的總距離如下:



上一頁(yè) 1 2 下一頁(yè)

評(píng)論


相關(guān)推薦

技術(shù)專(zhuān)區(qū)

關(guān)閉