王博林1,， 閆德勤2， 楚永賀2

　?。?.遼寧師范大學(xué) 數(shù)學(xué)學(xué)院,，遼寧 大連 116029；2.遼寧師范大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,，遼寧 大連 116081）

       摘要：在人臉圖像識別中人臉圖像數(shù)據(jù)中有很多是稀疏的,，對于稀疏數(shù)據(jù)的降維是流形學(xué)習(xí)算法面臨的一個(gè)問題。為了有效地從高維圖像數(shù)據(jù)中提取人臉圖像的敏感信息,，提高人臉識別的速度,，文章提出了一種基于流形學(xué)習(xí)的有監(jiān)督稀疏排列的局部保持投影算法(SSLPP)的極端學(xué)習(xí)機(jī)(ELM)。

　　關(guān)鍵詞：流形學(xué)習(xí),；極端學(xué)習(xí)機(jī)

　　中圖分類號：TP18文獻(xiàn)標(biāo)識碼：ADOI： 10.19358/j.issn.16747720.2016.23.012

　　引用格式：王博林,， 閆德勤， 楚永賀. 基于稀疏排列的LPP和ELM的人臉識別［J］.微型機(jī)與應(yīng)用,，2016,35（23）：42-45.

0引言

　　近年來在流形學(xué)習(xí)的基礎(chǔ)上研究人員提出了不同的降維算法,，例如,，局部保持嵌入(Locally Linear Embedding, LLE)［1］、拉普拉斯特征映射(Laplacian Eigenmaps, LE)［2］,，這些非線性方法在人臉圖像識別中取得了理想的效果,，然而人臉圖像數(shù)據(jù)往往具有非常高的維數(shù),利用這些非線性方法是非常耗時(shí)，對如何構(gòu)建測試數(shù)據(jù)的鄰接圖關(guān)系是未知的,。為了解決上述非線性方法的耗時(shí)問題,，研究人員提出了有監(jiān)督的鄰域保持嵌入(Supervised Neighborhood Preserving Embedding, SNPE)［3］、判別信息增強(qiáng)的鄰域保持嵌入(DiscriminantEnhanced Neighborhood Preserving Embedding, DNPE)［4］,、局部最大間隔判別嵌入(Local Maximal Margin Discriminant Embedding, LMMDE)［5］等能夠很好地提取人臉圖像數(shù)據(jù)的判別信息,，并且解決了非線性方法的耗時(shí)問題。目前在人臉圖像識別中降維算法面臨的問題是：基于流形學(xué)習(xí)的各種算法對人臉圖像數(shù)據(jù)的判別信息的提取效果不佳,，極大地影響著極端學(xué)習(xí)機(jī)的分類性能,。降維算法的有效性取決于對人臉圖像數(shù)據(jù)判別信息的有效提取。稀疏性是人臉圖像數(shù)據(jù)的屬性之一,，影響著降維算法的有效性,。

　　近年來HUANG等人［6］基于單隱層前饋神經(jīng)網(wǎng)絡(luò)（SingleHidden Layer Feedforward Networks,SLFNs）結(jié)構(gòu)提出了極端學(xué)習(xí)機(jī)（Extreme Learning Machine,ELM）。ELM訓(xùn)練速度快,，避免了傳統(tǒng)SLFNs學(xué)習(xí)方法收斂速度慢及陷入局部極小解的可能,。ELM是一種基于單隱層前饋神經(jīng)網(wǎng)絡(luò)（SLFNs）的結(jié)構(gòu)，它隨機(jī)選擇輸入權(quán)值和分析確定SLFNs的輸出權(quán)值,，具有更好的泛化能力和更快的學(xué)習(xí)速度,，避免了瑣碎的人為干預(yù)，使得它在在線和實(shí)時(shí)應(yīng)用中具有較高的效率,。然而在人臉識別問題中由于人臉圖像數(shù)據(jù)往往具有非常高的維數(shù),，從而使ELM的識別率下降和分類速度變慢，為此本文提出了基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī),。本文的創(chuàng)新點(diǎn)如下：（1）將流形學(xué)習(xí)的理論與ELM結(jié)合起來,，進(jìn)而提高人臉識別的識別率和識別速度； （2）考慮到人臉圖像數(shù)據(jù)的稀疏性,，為此利用人臉圖像數(shù)據(jù)的統(tǒng)計(jì)信息動(dòng)態(tài)確定局部線性化范圍,，在LPP算法的基礎(chǔ)上依據(jù)數(shù)據(jù)的分布提出一種有監(jiān)督稀疏排列的局部保持投影算法(SSLPP)。

1基于流形學(xué)習(xí)的SSLPP降維方法

　　對于稀疏的人臉圖像數(shù)據(jù)樣本集,，樣本間重疊的信息量非常少,，為此本文通過擴(kuò)大k鄰域?yàn)閗－N(i)區(qū)域?qū)υ紨?shù)據(jù)集進(jìn)行區(qū)域信息加強(qiáng)，如圖1所示,，k－N(xi)區(qū)域?yàn)镹(xi)及其對應(yīng)的k近鄰點(diǎn)構(gòu)成,，這使得在數(shù)據(jù)樣本集較少的情況下，同樣能夠?qū)崿F(xiàn)重疊信息量非常充分的流形學(xué)習(xí)效果,。

　　本文期望k－N(i)鄰域降維后樣本的鄰域關(guān)系盡可能保持不變,，則第i個(gè)樣本鄰域最小化目標(biāo)函數(shù)為：

　　式 (1)中nc為第i個(gè)樣本鄰域所在類別的樣本個(gè)數(shù),，將代入 式(1),最小化目標(biāo)函數(shù)寫為再對所有的樣本鄰域進(jìn)行整合得到最終的優(yōu)化函數(shù)為：

　　式(2)中c為所有樣本的類別總數(shù)，uT為投影變換矩陣,，依據(jù)文獻(xiàn)［7］對LPP算法的推導(dǎo)過程如下：

　　其中的單位矩陣,，L為拉普拉斯矩陣。SSLPP算法保持了LPP算法原有的框架,，因此優(yōu)化條件可寫為：

　　其中利用拉格朗日乘子法對式(4)進(jìn)行求解可得:

　　對矩陣XLXT和XDXT進(jìn)行特征值分解，得到特征向量矩陣為U=［u1,…,uN］,。從特征向量矩陣中選取的第2到第d+1個(gè)最小特征值對應(yīng)的特征向量,，即：［u2,…,ud+1］T，則由y=uTx得到SSLPP算法,。

2ELM

　　對于N個(gè)不同的樣本(xj,tj)可表示為X=(x1,x2,…,xN)T∈RD×N,其中tj=(tj1,tj2,…,tjm)T∈Rm,，具有L個(gè)隱層節(jié)點(diǎn)激活函數(shù)為g(x)的ELM模型如下形式:

　　其中j=1,2,…,N，ai=(ai1,ai2,…,ain)為連接第i個(gè)隱層節(jié)點(diǎn)與輸入節(jié)點(diǎn)的輸入權(quán)值向量,，βi=(βi1,βi2,…,βim)為連接第i個(gè)隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)的輸出權(quán)值向量,，bi為第i個(gè)隱層節(jié)點(diǎn)的偏置值，ai·xj表示ai和xj的內(nèi)積,，tj=(tj1,tj2,…,tjm)T∈Rm為對應(yīng)于樣本xj的期望輸出向量,，對所有數(shù)據(jù)樣本進(jìn)行整合，式(6)可以改寫為如下形式：

　　其中H是網(wǎng)絡(luò)隱層節(jié)點(diǎn)輸出矩陣,，β為輸出權(quán)值矩陣,，T為期望輸出矩陣：

　　當(dāng)隱層節(jié)點(diǎn)個(gè)數(shù)與訓(xùn)練樣本個(gè)數(shù)相同時(shí)(即L=N)，可以通過式(7)直接求矩陣H的逆矩陣得到最優(yōu)的輸出權(quán)值矩陣β,，但大多情況下隱層節(jié)點(diǎn)的個(gè)數(shù)遠(yuǎn)小于訓(xùn)練樣本的個(gè)數(shù)（即LN）,，此時(shí)矩陣H為奇異矩陣，利用最小二乘解的方法對式(7)進(jìn)行求解：

　　其中,H+為矩陣H的廣義逆,。

　　為了提高傳統(tǒng)ELM的穩(wěn)定性和泛化能力,，Huang提出了等式優(yōu)化約束的ELM。等式優(yōu)化約束的ELM的優(yōu)化式子不僅最小化訓(xùn)練誤差ξ,，同時(shí)最小化輸出權(quán)值β,，因此等式優(yōu)化約束的ELM目標(biāo)式子可寫為：

　　式(12)中ξi=(ξi1,…,ξ1m)T為對應(yīng)于樣本xi的訓(xùn)練誤差向量，C為懲罰參數(shù),。式(12)的求解可通過拉格朗日方法轉(zhuǎn)化為無條件最優(yōu)化問題進(jìn)行求解,。因此ELM算法求解過程可總結(jié)如下：

　　（1)初始化訓(xùn)練樣本集,；

　?。?)隨機(jī)指定網(wǎng)絡(luò)輸入權(quán)值ai和偏置值bi；

　?。?)通過激活函數(shù)［8］計(jì)算隱層節(jié)點(diǎn)輸出矩陣H,；

　?。?)計(jì)算輸出權(quán)值,

3實(shí)驗(yàn)結(jié)果及分析

　　2個(gè)不同人臉庫數(shù)據(jù)參數(shù)設(shè)置如表1所示，人臉圖像

　　如圖2所示,。為了證明所提出算法的有效性,，在ORL實(shí)驗(yàn)中隨機(jī)選取訓(xùn)練集個(gè)數(shù)為L={2，3,，4,，5}，剩余部分為測試集,；在Yale B試驗(yàn)中隨機(jī)選取訓(xùn)練集個(gè)數(shù)為L={5,，10，20,，30},，剩余部分為測試集，不同降維算法在不同維數(shù)下的識別率曲線及識別率如圖3所示,。

　　圖3給出了ELM采用不同降維算法在ORL人臉數(shù)據(jù)上的識別率曲線,。由圖3可知ELM采用SSLPP算法的識

　　別率曲線達(dá)到了100%并且非常穩(wěn)定，SNPE算法的識別率曲線隨著位數(shù)據(jù)維數(shù)的增大出現(xiàn)了波動(dòng),，DNPE算法,、LMMDE和RAFGE算法［8］的識別率曲線隨著數(shù)據(jù)維數(shù)的增大識別率也跟著增大，DNPE算法在ORL數(shù)據(jù)上表現(xiàn)出比較好的性質(zhì),。

　　圖4給出了ELM采用不同降維算法在Yale B人臉數(shù)據(jù)上的識別率曲線,，由圖4可知ELM采用SSLPP算法的識別率曲線明顯高于其他算法并且非常穩(wěn)定。

4結(jié)論

　　為了提高人臉識別的速度和準(zhǔn)確率,，本文提出了基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī),，通過與DNPE及LMMDE、RAFGE,、SNPE算法的對比實(shí)驗(yàn)表明,，本文所提出的方法在人臉識別速度和識別率上顯著優(yōu)于其他方法，因此,，基于流行學(xué)習(xí)的極端學(xué)習(xí)機(jī)具有重要的現(xiàn)實(shí)的意義,。

　　參考文獻(xiàn)

　　［1］ROWEIS S T,SAUL L K, Nonlinear dimensionality reduction by locally linear embedding［J］.Science,2000,290(5500)：2323-2326.

　?。?］MIKHAIL B,PARTHA N.Laplacian eignmaps for dimensionality reduction and data representation［J］. Neural Computation, 2003,15(6)：1373-1396.

　?。?］Bao Xing,Zhang Li,Wang Bangjun,et al. A supervised neighborhood preserving embedding for face recognition［C］. International Joint Conference on Neural Networks,2014:278-284.

　　［4］Chai Yi,Yang Zhimin,Zhang Ke,et al. Discriminant enhanced neighborhood preserving embedding for dimensionality reduction［C］. IEEE Conference, Nov ,2013:255-210.

　?。?］Huang Pu,Tang Zhenmin,Chen Caikou,et al. Local maximal margin discriminant embedding for face recognition［J］. Vis. Commun. Image R., 2014(25):296-305.

　?。?］ Wang Dianhui，Huang Guangbin.Protein sequence classification using extreme learning machine［J］.Proceedings of International Joint Conference on Neural Networks, 2005(3):1406-1411

　　［7］ Huang Guangbin. An insight into extreme learning machines:random neurons,random features and kernels［J］. Cogn Comput,2014,6(3):376-390.

　?。?］ 馮林,，劉勝藍(lán)，張晶,，等.高維數(shù)據(jù)中魯棒激活函數(shù)的極端學(xué)習(xí)機(jī)及線性降維［J］.計(jì)算機(jī)研究與發(fā)展,，2014，51(6)：1331-1340.