基于PCA和LDA融合算法的性別鑒別

如果使式(3)具有投影的意義，即z向量是y向量到x向量的方向上的投影，如圖4所示，那么必須使得|x|=1，即z=|y|cosθ。
現(xiàn)在考慮PCA變換矩陣W第一個向量


如果在條件|w1|=1使ξ1的方差達到最大，希望最大程度的保持樣本集x原有的差異(Variance)。也就是要的值最大。這成為了一個優(yōu)化問題。目標函數(shù)是，條件是，使用拉格朗日乘數(shù)法

因此λ1是協(xié)方差矩陣M的一個特征值，w1是λ1對應的特征向量。要使其方差最大，就必須使的值最大，因為，所以，λ1應是M矩陣的最大特征值。
現(xiàn)在考慮PCA變換矩陣WT第2到第m個向量，這里的向量是互不相關(guān)的，代表著不同的投影方向，這樣可以提取出不同的主特征。要滿足這個條件，考慮協(xié)方差矩陣M，它是對稱的陣，有多個特征值λi，i∈(1，n)，因此，轉(zhuǎn)換矩陣中w1，w2，…，wm應該如下取值：首先求出M的特征向量和對應的特征值，然后依據(jù)特征值排序為λ1≥λ2≥…≥λn，它們對應的特征向量分別為w1，w2，…，wn，則取最前面的m個向量w1，w2，…，wm組成PCA變換矩陣。
出于數(shù)值計算方面的考慮，通常不使用M矩陣求特征值，和特征值對應的特征向量，而使用奇異值分解(SVD，Singular Value Decompo-sition)來計算前m個主方向。
1．3 SVD奇異值分解定理
SVD定理：設(shè)A是秩為r的nxr維的矩陣，則存在兩個正交矩陣：

由于M=AAT，其中，故構(gòu)造矩陣，M為訓練樣本集中的樣本個數(shù)。容易求出其特征值λi及其相應的特征向量vi(i=O，1，…，M-1)。由推論式可知，M的特征向量ui

1．4 LDA方法算法說明
LDA(Linear Discriminant Analysis)方法也稱為線性判別分析方法。它選擇與類內(nèi)散布的正交的矢量作為特征臉空間，從而能夠壓制圖像之間的與識別信息無關(guān)的差異，對光照及人臉表情變化都不太敏感。這種方法的最終目的就是找到一些特征使得類間離散度和類內(nèi)離散度的比值最大。

式中，Pi是先驗概率，mi是Ci類的均值，m是所有樣本的均值。
如果Sw是非奇異矩陣，在投影以后，各類樣本之間盡可能的分開一些，即類間離散度越大越好，同時各類樣本的內(nèi)部盡量密集起來，即類內(nèi)離散度越小越好。因此可以定義Fisher準則函數(shù)如下：