NSCT與中心對(duì)稱(chēng)局部方向模式相結(jié)合的人臉識(shí)別

　　Face recognition based on NSCT and centrosymmetric local direction pattern

       魏維，楊恢先，陶霞，曾金芳，（湘潭大學(xué)物理與光電工程學(xué)院，湖南 湘潭 411105）

　　摘要：針對(duì)人臉識(shí)別中姿態(tài)、光照、表情變化造成的識(shí)別率不高的問(wèn)題，本文提出一種非下采樣Contourlet變換(NSCT)與絕對(duì)值型中心對(duì)稱(chēng)局部方向模式(ACSLDP)相結(jié)合的人臉識(shí)別方法。首先，對(duì)人臉圖像進(jìn)行非下采樣Contourlet變換處理，得到多個(gè)不同尺度不同方向的子帶圖像，然后計(jì)算子帶圖像絕對(duì)值型中心對(duì)稱(chēng)局部方向模式，再對(duì)每一幅子圖像進(jìn)行分塊，利用信息熵對(duì)每塊子圖像進(jìn)行加權(quán)，統(tǒng)計(jì)直方圖特征信息，將直方圖串接起來(lái)作為人臉圖像的特征向量，最后利用最近鄰分類(lèi)器分類(lèi)識(shí)別。在ORL、YALE和CAS-PEAL-R1人臉庫(kù)上進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果表明所提方法人臉有比較強(qiáng)的識(shí)別能力，特征維數(shù)小，且對(duì)姿態(tài)、光照、表情變化具有較好魯棒性。

　　關(guān)鍵詞：圖像處理；人臉識(shí)別；NSCT；絕對(duì)值型中心對(duì)稱(chēng)局部方向模式；信息熵；最近鄰分類(lèi)器

      基金項(xiàng)目：湖南省自然科學(xué)基金(2018JJ3486)

　　0 引言

      近年來(lái)人臉識(shí)別在國(guó)家安全、社會(huì)穩(wěn)定和生活便利等方面應(yīng)用廣泛，具有與其他生物特征識(shí)別技術(shù)沒(méi)有的優(yōu)點(diǎn)，如具有非接觸、非強(qiáng)制性等。人臉識(shí)別成功的應(yīng)用在于人臉特征信息如何有效地獲取 ^[1] 。

　　人臉局部特征提取 ^[2~5] ，方法主要是對(duì)局部紋理信息的獲取，因此在面對(duì)光照、姿態(tài)、表情和遮擋等復(fù)雜變化時(shí)往往具有更好的表現(xiàn)力。Jabid等人 ^[2] 提出一種基于局部方向模式的人臉特征表示方法，局部方向模式特征提取方法在人臉識(shí)別中取得了顯著的效果，其便捷有效的特點(diǎn)吸引了許多專(zhuān)家學(xué)者的研究和關(guān)注并提出了許多對(duì)其改進(jìn)的算法 ^[3~5] ，李照奎等人 ^[3] 提出一種改進(jìn)局部方向模式的算法——差值局部方向模式（DifferenceLocal Directional Patterns, DLDP），隨后王曉華等人[4] 提出梯度中心對(duì)稱(chēng)局部方向模式（Gradient CenterSymmetry Local Directional Patterns, GCSLDP），它們都是利用近鄰邊緣值之間信息，人臉識(shí)別效果不太明顯。楊恢先等人 ^[5] 提出了一種基于中心對(duì)稱(chēng)局部方向模式的算法（center-symmetric local dirertionalpattern，CSLDP）。CSLDP算法由于考慮了原始數(shù)據(jù)空間人臉信息，人臉特征更加完善，但對(duì)噪聲和光照情況的穩(wěn)定性不足。

　　Gabor小波 ^[6] 在提取目標(biāo)的局部空間和頻域信息方面具有良好的特性。人臉圖像經(jīng)過(guò)Gabor小波分解后，原始的人臉特征維數(shù)會(huì)增加，計(jì)算復(fù)雜度會(huì)增加，難以將其運(yùn)用在實(shí)際系統(tǒng)中。針對(duì)這一現(xiàn)象，出現(xiàn)了一種現(xiàn)在比較常用的分析工具——Contourlet變換 ^[7] ，Contourlet 變換雖然降低了特征維度，但是因其下采樣只是在固定的領(lǐng)域內(nèi)提取，容易有圖像信息的遺漏，會(huì)導(dǎo)致頻譜泄漏和頻譜混疊，以及平移不變性的缺乏，導(dǎo)致人臉識(shí)別率降低 ^[8] 。針對(duì)以上問(wèn)題，出現(xiàn)了一種對(duì)其改進(jìn)的非下采樣Contourlet變換 ^[8] （NonsubsampledContourlet Transform，NSCT），不僅能夠克服Contourlet 變換帶來(lái)的缺陷還能夠很好的保留更多人臉圖像特征信息。

　　受到文獻(xiàn)^[8] 和文獻(xiàn)^[5]的啟發(fā)，提出一種非下采樣 Contourlet 變換與絕對(duì)值型中心對(duì)稱(chēng)局部方向模式（Absolute Center of Symmetry Local DirectionalPatterns，簡(jiǎn)稱(chēng)ACSLDP）相結(jié)合的人臉識(shí)別方法。首先對(duì)人臉圖像進(jìn)行非下采樣 Contourlet 變換，得到具有多個(gè)尺度、多個(gè)方向的子帶圖像，然后利用ACSLDP提取子帶圖像特征信息，再對(duì)每一幅圖像進(jìn)行分塊，利用信息熵 ^[9] 對(duì)每塊子帶圖像進(jìn)行加權(quán)，并將所有分塊的統(tǒng)計(jì)直方圖特征信息串接，融合成一個(gè)直方圖，最后利用最近鄰分類(lèi)器 ^[10] 分類(lèi)識(shí)別。

　　1 基本原理

      1.1 NSCT

      根據(jù)人類(lèi)對(duì)自然圖像和視覺(jué)系統(tǒng)的探索和總結(jié)，人們發(fā)現(xiàn)當(dāng)圖像表示具有以下特征時(shí)，可以被描述為“最佳”：

      (1)多分辨率；

      (2)方向性；

      (3)局域性；

      (4)各向異性 ^[8] 。

非下采樣Contourlet變換不僅全部具備以上4種特性，還具備一種能夠很好的避免圖像像素錯(cuò)位的平移不變性 [8] 。NSCT由兩個(gè)部分構(gòu)成，第一部分是非下采樣結(jié)構(gòu)金字塔（NonsubsampledPyramid，NSP），NSP實(shí)現(xiàn)了多尺度分解得到低頻分量和不同子帶的高頻分量，其中低頻分量能夠很好的捕捉到人臉圖像的輪廓細(xì)節(jié)信息；第二部分是非下采樣方向?yàn)V波組 Nonsubsampled Directional Filter Banks，（NSDFB）。NSDFB實(shí)現(xiàn)了對(duì)不同子帶的高頻分量進(jìn)行多方向多分辨率分解，NSDFB能夠很好的捕獲到更多方向信息，從而抽取到更多的人臉圖像特征。圖1給出了NSCT三層分解結(jié)構(gòu)示意圖。

　　NSP是一個(gè)雙通道濾波器組，得到一個(gè)低通分量和多個(gè)不同子帶分量，如圖2所示。

　　NSDFB是對(duì)不同子帶分量進(jìn)行方向分解，由于NSDFB去除了下采樣只進(jìn)行了上采樣濾波，NSDFB避免了下采樣的多種缺陷，從而很好的避免了信息的缺失，改善了圖像邊緣和局部細(xì)節(jié)的清晰度，保留了更多方向信息。

　　一副人臉圖像經(jīng)過(guò)NSCT分解會(huì)得到n(n=1,2,3)層，每一層分解會(huì)得到2 n 個(gè)方向 ^[8] 。因?yàn)榭紤]到人臉圖像信息中奇點(diǎn)、突變以及噪聲通常在高頻子帶中出現(xiàn)，且低頻子帶中往往保留了人臉圖像的大部分信息，所以在本文中舍棄了一部分高頻方向信息。因此如圖3所示選取了三層且各層方向數(shù)為4,4,2。

　　1.2 絕對(duì)值型中心對(duì)稱(chēng)局部方向模式

      本課題組楊恢先等人提出一種中心對(duì)稱(chēng)局部方向模式，CSLDP基本編碼步驟為：

     （1）首先將人臉圖像3×3子鄰域與 Kirsch 8個(gè)模板卷積后，得到8個(gè)邊緣響應(yīng) m i (i=0,1,?,7)，邊緣響應(yīng)m i 具有正負(fù)；

     （2）采用中心對(duì)稱(chēng)的思想，通過(guò)比較鄰域內(nèi)以中心像素點(diǎn)處于對(duì)稱(chēng)位置的4個(gè)梯度方向的邊緣響應(yīng)，既邊緣響應(yīng)m i 與 m i+4 (i=0,1,?,3)直接做差比較，大于等于0時(shí)，二進(jìn)制編碼為1，反之亦然為0；

     （3）考慮中心像素點(diǎn)與鄰域均值的大小關(guān)系并賦最大權(quán)重；

     （4）按順序得到一個(gè)五位二進(jìn)制數(shù)，轉(zhuǎn)換為十進(jìn)制數(shù)作該中心像素的CSLDP編碼。文章改進(jìn)方法：對(duì)邊緣響應(yīng)值m i 取絕對(duì)值，比較的是|m i |與 |m i+4| (i=0,1,?,3)的大小，其他不變。邊緣響應(yīng)值m i 的正負(fù)意味著某個(gè)方向上兩個(gè)相反的趨勢(shì)(上升或下降)，但最大正值與最小負(fù)值都對(duì)應(yīng)圖像邊緣，所以直接作差，會(huì)對(duì)有些邊緣特征無(wú)法區(qū)分。而將邊緣響應(yīng)m i 與 m i+4(i=0,1,?,3)都取絕對(duì)值之后做差，絕對(duì)值越大，往往表示兩個(gè)方向之間的細(xì)節(jié)特征更加突出，而更突出的細(xì)節(jié)信息往往具有更強(qiáng)的判別力，考慮到近鄰邊緣響應(yīng)值之間的內(nèi)在變化。由于都屬于中心對(duì)稱(chēng)局部方向模式，為了區(qū)分，將改進(jìn)的方法命名為ACSLDP編碼。

　　CSLDP、ACSLDP編碼計(jì)算分別如式(1)、(2)所示。CSLDP、ACSLDP特征提取流程如圖4所示。

     其中：g i (i=0,1,?,7)表示中心像素g c 的8個(gè)鄰域點(diǎn)的灰度，g m 為g c 的8個(gè)鄰域點(diǎn)的灰度均值，m i (i=0,1,?,7)表示中心像素，g c 對(duì)應(yīng)的8個(gè)Kirsch 邊緣響應(yīng)值。

　　2 基于NSCT與ACSLDP相結(jié)合的人臉識(shí)別

     人臉特征識(shí)別流程如圖5所示；

     算法的基本流程描述為:

     對(duì)人臉圖像進(jìn)行預(yù)處理后進(jìn)行多尺度、多方向的NSCT 分解，得到一個(gè)低頻系數(shù)子帶和多尺度、多方向上的高頻系數(shù)子帶；

     計(jì)算子帶圖像絕對(duì)值型中心對(duì)稱(chēng)局部方向模式?；贜CST與ACSLDP相結(jié)合的算法(本文命名為NACLDPH)提取子帶圖像特征信息；由于在進(jìn)行對(duì)比實(shí)驗(yàn)算法時(shí)加入了基于NCST與CSLDP相結(jié)合的算法(本文命名為NCLDPH)的對(duì)比，故在圖4和圖5中加入了CSLDP的對(duì)比，并用括號(hào)表示；

     對(duì)每一幅子帶圖像進(jìn)行分塊，利用信息熵對(duì)圖像的每一塊進(jìn)行加權(quán)，信息量越多，信息熵值越大，權(quán)重系數(shù)越大；

     并將所有分塊的統(tǒng)計(jì)直方圖特征 信息串接起來(lái)，形成人臉 特征，并用多通道最近鄰分類(lèi)器進(jìn)行分類(lèi)；

     2.1 NACLDPH特征提取

     3 實(shí)驗(yàn)結(jié)果與分析

     3.1 實(shí)驗(yàn)環(huán)境及參數(shù)選取

     實(shí)驗(yàn)所用的硬件環(huán)境為Intel(R)Core(TM)i3-3217，主頻1.8 GHz，內(nèi)存4 GB；仿真實(shí)驗(yàn)環(huán)境是MatlabR2014a，Windows10系統(tǒng) ；本實(shí)驗(yàn)中各人臉庫(kù)介紹以及分塊和實(shí)驗(yàn)參數(shù)選擇如表1所示。

　　人臉庫(kù)部分人臉圖像如圖7所示。

　　不同的分塊數(shù)會(huì)得到不同的識(shí)別效果，本文章采用局部區(qū)域法，就是對(duì)人臉圖像進(jìn)行均勻分塊。如圖8所示不同分塊方式在不同人臉庫(kù)上的識(shí)別率。

　　3.2 識(shí)別率與計(jì)算復(fù)雜度分析

     為了評(píng)價(jià)NSCT+ACSLDP算法的有效性，文章選擇與用CSLDP ^[5] 、ACSLDP、DLDP ^[3] 、GCSLDP ^[4] 、HNCLDP ^[11] 、NSCT+CSLDP算法與NSCT+ACSLDP算法進(jìn)行比較，NSCT+ACSLDP算法在ORL人臉庫(kù)、YALE人臉庫(kù)、CAS-PEAL-R1光照人臉庫(kù)和CAS-PEAL-R1表情人臉庫(kù)上分別采用7×2、8×8、11×10和4×5的分塊數(shù)，bins采用32，實(shí)驗(yàn)結(jié)果如表2～4所示。

　　YALE人臉庫(kù)被用于測(cè)試復(fù)雜度實(shí)驗(yàn)，目的為了比較每種對(duì)比算法的復(fù)雜度，實(shí)驗(yàn)中隨機(jī)選取每人1張人臉圖像作為訓(xùn)練集，其他人臉圖像作為測(cè)試集，選擇最佳識(shí)別率對(duì)應(yīng)的分快數(shù)，計(jì)算每個(gè)算法以完成單幅人臉圖像所需要的平均時(shí)間t：

     其中：T 1 表示單幅圖像特征提取的平均時(shí)間，T 2 表示對(duì)一副測(cè)試樣本與訓(xùn)練樣本進(jìn)行多次匹配的時(shí)間。每個(gè)算法在YALE人臉庫(kù)的特征維數(shù)和平均耗時(shí)如表5所示。

　　根據(jù)在YALE、ORL和CAS-PEAL-R1人臉庫(kù)上實(shí)驗(yàn)結(jié)果可以得出結(jié)論：

     (1)特征提取算子識(shí)別率ACSLDP>CSLDP，其中ACSLDP、CSLDP的模式數(shù)為32，CSLDP算法從本質(zhì)上說(shuō)，是在強(qiáng)化空間特征信息的提取；邊緣響應(yīng)值m i(i=0,1,?,7)的正負(fù)意味著某個(gè)方向上兩種變化的趨勢(shì)，因?yàn)樽畲笳蹬c最小負(fù)值都對(duì)應(yīng)圖像邊緣信息，如果將它們直接作差，就會(huì)對(duì)有些邊緣特征無(wú)法區(qū)分，而對(duì)邊緣響應(yīng)值取絕對(duì)值后作差值，絕對(duì)值越大，往往表示兩個(gè)方向之間的細(xì)節(jié)特征更加突出，而更突出的細(xì)節(jié)信息往往具有更強(qiáng)的判別力。ACSLDP將充分考慮到近鄰邊緣響應(yīng)值之間的內(nèi)在變化。因此，文章所提ACSLDP特征提取算子的有效性。

　　(2) 文章選擇對(duì)比算法HNCLDP算法是非采樣Shearlet變換結(jié)合CSLDP， NCLDPH算法是非下采樣Contourlet變換結(jié)合CSLDP，NACLDPH算法是非下采樣Contourlet變換結(jié)合ACSLDP。在YALE庫(kù)中，在識(shí)別率方面，NACLDPH算法相比DLDP、GCSLDP、HNCLDP算法識(shí)別率都高。在ORL人臉庫(kù)中，在識(shí)別率方面，NACLDPH算法相比DLDP、GCSLDP、HNCLDP算法識(shí)別率都高，除了在樣本數(shù)為3時(shí)，NACLDPH識(shí)別率比HNCLDP低了0.19個(gè)百分點(diǎn)外，其余情況，NACLDPH識(shí)別率都高。在CAS-PEAL-R1人臉庫(kù)中，在識(shí)別率方面，NACLDPH算法相比DLDP、GCSLDP、HNCLDP算法識(shí)別率都高。

　　(3)在計(jì)算復(fù)雜度方面，NACLDPH、NCLDPH、HNCLDP基本相當(dāng)， CSLDP算法進(jìn)行8次卷積，4次中心對(duì)稱(chēng)邊緣值作差， 4次比較大小，1次原始空間求平均值；GCSLDP算法進(jìn)行8次卷積，8次相鄰近邊緣值作差，2次求最大值；DLDP算法由于模式數(shù)相對(duì)過(guò)高, 導(dǎo)致特征維度比較高，特征提取時(shí)間較長(zhǎng)。

　　綜合而言，相比較CS-LDP特征算法，ACSLDP特征提取算子能更好地提取人臉圖像的邊緣信息和紋理信息，且沒(méi)有增加直方圖維數(shù)，特征提取簡(jiǎn)單。NSCT應(yīng)用于人臉圖像處理中，原因是NSCT在圖像表示方面有著以下幾種獨(dú)特的優(yōu)勢(shì)：

     （1）可以精確定位圖像邊緣信息，且不會(huì)增加計(jì)算難度（各尺度方向子帶圖像與原始圖像尺寸大小相同）；

     （2）在同一尺度變換上，NSCT分解的高頻分量在多個(gè)方向上顯示了細(xì)節(jié)信息，因此可以提供與原始圖像像素完全對(duì)應(yīng)的子帶 系數(shù)的位置，從而使特征提取和特征融合具有更好的性能；這使得NSCT應(yīng)用于人臉識(shí)別中能夠更好地提取圖像特征,擁有更高的識(shí)別正確率。由此NACLDPH算法有更高的識(shí)別率，充分挖掘人臉圖像結(jié)構(gòu)信息，對(duì)姿態(tài)、光照和表情等變化有較好魯棒性。

　　4 結(jié)論

     提出了一種NSCT與ACSLDP相結(jié)合的人臉識(shí)別方法。NSCT能很好地表達(dá)人臉圖像在不同尺度和不同方向上的特征，采用的ACSLDP能更多地保留特征信息，削弱外界因素的影響，表現(xiàn)出對(duì)光照、表情和姿態(tài)變化具有比較好的魯棒性。在ORL、YALE和CAS-PEAL-R1人臉庫(kù)上進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果表明：NSCT+ACSLDP算法對(duì)姿態(tài)、光 照和表 情等變化有更強(qiáng)的魯棒性，取得較高的識(shí)別率，且特征維度較小，識(shí)別時(shí)間較少，證明NACLDPH算法的有效性。

　　參考文獻(xiàn):

     [1] Lee C, Landgrebe D A. Feature extraction based on decision boundaries[J]. Pattern Analysis& Machine Intelligence IEEE Transactions on, 2018, 15(4):388-400.

　　[2] Jabid T, Kabir M H, Chae O. Local Directional Pattern (LDP) for face recognition[C]// Digestof Technical Papers International Conference on Consumer Electronics. IEEE, 2010:329-330.

　　[3] Li Z K, Ding L X, Wang Y, et al. Facial features based on the pattern of difference betweenlocal orientation said [J]. Journal of Software ,2015, 26(11):2912-2929.

　　李照奎, 丁立新, 王巖,何進(jìn)榮,丁國(guó)輝. 基于差值局部方向模式的人臉特征表示[J]. 軟件學(xué)報(bào), 2015,26(11):2912-2929.

　　[4] Wang X H, Li R J, Hu M, Ren F J. Occluded facial expression recognition based on thefusion of local features [J]. Journal of lmage and Graphics, 2016, 21 (11) :1473-1482.

　　王曉華，李瑞靜，胡敏，任福繼.融合局部特征的面部遮擋表情識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào),2016,21(11):1473-1482.

　　[5] Yang H X, Zhai Y L, Cai Y Y, et al Face recognition based on center-symmetric gradientmagnitude and phase pattern [J]. Journal of Optoelectronics·Laser, 2015(5):969-977.

　　楊恢先, 翟云龍, 蔡勇勇,等. 基于中心對(duì)稱(chēng)梯度幅值相位模式的單樣本人臉識(shí)別[J]. 光電子·激光,2015(5):969-977.

　　[6] Amin M A, Yan H. Gabor and log-gabor wavelet for face recognition[J]. Advances in FaceImage Analysis Techniques & Technologies, 2011.

　　[7] Yang C L, Wang F, Xiao D. Contourlet transform-based structural similarity for image qualityassessment[C]// 2009 ieee international conference on intelligent computing and intelligentsystems. 2009:377-380.

　　[8] Zhang J, Face Recognition technology research based on nonsubsampled contourlettransform[D]. Beijing: Beijing University of Chemical Technology, 2011.

　　張軍. 基于非下采樣Contourlet變換的人臉識(shí)別技術(shù)研究[D].北京: 北京化工大學(xué),2011.

　　[9] Perez C A, Cament L A, Castillo L E. Local matching Gabor entropy weighted facerecognition[C]// IEEE International Conference on Automatic Face & Gesture Recognition andWorkshops. IEEE, 2011:179-184.

　　[10] Huang H, Zheng X L. Hyperspectral image classification with combination of weightedspatial-spectral and KNN[J]. Optics & Precision Engineering, 2016,24(4):873-881.

　　黃鴻, 鄭新磊. 加權(quán)空-譜與最近鄰分類(lèi)器相結(jié)合的高光譜圖像分類(lèi)[J]. 光學(xué)精密工程, 2016, 24(4):873-881[11] Yang H X, Zhai Y L, Cai Y Y, et al. Face recognition based on NSSTand CSLDP[J]. Computer Engineering and Applications, 2016, 52(8):135-140.

　　楊恢先,翟云龍,蔡勇勇,等.NSST與CSLDP相結(jié)合的人臉識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用,2016,52(08):135-140+239.

     本文來(lái)源于科技期刊《電子產(chǎn)品世界》2019年第5期第41頁(yè)，歡迎您寫(xiě)論文時(shí)引用，并注明出處