文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.172267
中文引用格式: 蘇巧,,魏以民,,沈越泓. 基于神經(jīng)網(wǎng)絡(luò)的含噪動(dòng)態(tài)源分離算法[J].電子技術(shù)應(yīng)用,2018,,44(2):88-91,,96.
英文引用格式: Su Qiao,Wei Yimin,,Shen Yuehong. The separation algorithm for dynamic sources in the noisy case based on neural network[J]. Application of Electronic Technique,2018,44(2):88-91,,96.
0 引言
盲源分離(Blind Source Separation,BSS)[1]技術(shù)旨在從M個(gè)混合信號(hào)中恢復(fù)出N個(gè)統(tǒng)計(jì)獨(dú)立的源信號(hào),,這里的“盲”是指源信號(hào)和混合信道的先驗(yàn)知識(shí)未知,。由于這種“盲”的特性,BSS被廣泛的應(yīng)用于數(shù)字通信,、陣列信號(hào)處理,、語音和圖像處理等領(lǐng)域中。線性瞬時(shí)混合模型是BSS問題中最常見的模型之一,,適用于遠(yuǎn)程通信等環(huán)境,,該模型同時(shí)也是其他混合模型(如卷積混合)的基礎(chǔ)模型,其數(shù)學(xué)描述如下:
其中A為未知混合矩陣,,t為采樣時(shí)刻,,s(t)=[s1(t),…,,sN(t)]T為N個(gè)未知的統(tǒng)計(jì)獨(dú)立的源信號(hào)組成的矢量,,x(t)=[x1(t),…,,xM(t)]T由M個(gè)可獲取的混合信號(hào)組成,,n(t)=[n1(t),…,,nM(t)]T包含M路加性高斯白噪聲,。此時(shí),BSS問題轉(zhuǎn)化為尋找一個(gè)解混矩陣W,,使得輸出y(t)=Wx(t)為輸入s(t)的估計(jì),,且允許存在幅度和排列次序的不確定性。
為解決上述問題,,很多有效的方法被提出,,如基于獨(dú)立成分分析[2]、非線性主成分分析[3]的方法等,,但是這些方法大部分都需要已知源信號(hào)的數(shù)目,,而且一般都假設(shè)源信號(hào)的數(shù)目與混合信號(hào)的數(shù)目相等,,即M=N。在實(shí)際應(yīng)用中,,這樣的設(shè)定往往是不成立的,,因?yàn)樵葱盘?hào)數(shù)目作為源端信息常常是不可直接獲取的,甚至有可能動(dòng)態(tài)變化,,例如在無線通信系統(tǒng)中,,接入系統(tǒng)的用戶數(shù)目可能隨時(shí)都在改變??梢?,實(shí)際應(yīng)用中,M=N很難滿足,,當(dāng)設(shè)定接收混合信號(hào)的傳感器數(shù)目足夠多時(shí),,往往出現(xiàn)M>N的超定情況。對于源數(shù)目未知且在超定假設(shè)下的BSS問題,,文獻(xiàn)[4]首先在白化階段估計(jì)出源數(shù)目,,然后將混合信號(hào)維度M降低到
,利用自然梯度算法解決上述BSS問題,,但是當(dāng)混合矩陣為病態(tài)時(shí)或者源信號(hào)之間幅值比例失調(diào)嚴(yán)重時(shí),,這種算法可能會(huì)失效。文獻(xiàn)[5]從理論上證明了最小互信息準(zhǔn)則能夠用在超定的情況下,,并提出一種適用于未知源數(shù)目的改進(jìn)的自然梯度算法,。文獻(xiàn)[6]利用自組織結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)對瞬時(shí)源信號(hào)數(shù)目進(jìn)行估計(jì),并調(diào)整神經(jīng)網(wǎng)絡(luò)大小進(jìn)行混合信號(hào)的分離,。文獻(xiàn)[7]提出一種自適應(yīng)神經(jīng)網(wǎng)絡(luò)算法(Adaptive Neural Algorithm, ANA)進(jìn)一步提高了收斂的穩(wěn)定性,,但是收斂速度較慢。文獻(xiàn)[8]在ANA算法的基礎(chǔ)上加入了動(dòng)量項(xiàng),,提出了一種基于神經(jīng)網(wǎng)絡(luò)和動(dòng)量項(xiàng)的動(dòng)態(tài)源恢復(fù)算法(Neual Network with Momentum for Dynamic Source Number,,NNM-DSN),該算法收斂速度更快且穩(wěn)態(tài)誤差更小,。但是上述算法通常都不考慮噪聲,,算法的實(shí)用化程度不高。
本文針對含噪動(dòng)態(tài)源條件下的BSS問題,,提出了一種新型在線盲源分離算法,,該算法包括兩部分:第一部分是基于最小描述長度(Rissanen’s Minimum Description Length,MDL)[9]的一種動(dòng)態(tài)源數(shù)目估計(jì)算法,,該算法能實(shí)時(shí)精確地估計(jì)信道中的瞬時(shí)信源數(shù)目,;第二部分是基于偏差去除的變步長神經(jīng)網(wǎng)絡(luò)算法,該算法采用前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),,在學(xué)習(xí)準(zhǔn)則中加入了由噪聲引起的偏差去除項(xiàng),,并在此基礎(chǔ)上給出了變步長策略,。仿真實(shí)驗(yàn)表明,本文算法在含噪靜態(tài)源和動(dòng)態(tài)源情況下能實(shí)現(xiàn)源信號(hào)的準(zhǔn)確恢復(fù),,相比于含噪情況下的ANA算法以及NNM-DSN算法,,本文算法在靜態(tài)源和動(dòng)態(tài)源情況下性能都更加優(yōu)異,收斂速度更快,,且穩(wěn)態(tài)分離性能接近無噪情況下NNM-DSN算法的性能。
1 算法介紹
對于含噪動(dòng)態(tài)源條件下的BSS問題,,首先必須要確定瞬時(shí)源信號(hào)數(shù)目,,然后將混合信號(hào)矢量的維度降低到
維,其中M-
個(gè)高度相關(guān)的成分將被去除,,以此來調(diào)整神經(jīng)網(wǎng)絡(luò)的大小,,使得問題變成源信號(hào)數(shù)目和混合信號(hào)數(shù)目相等的含噪BSS問題,利用本文提出的基于偏差去除的變步長神經(jīng)網(wǎng)絡(luò)算法即可得到源信號(hào)的估計(jì),。圖1所示為算法的框架圖,,其中神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)算法共同作用可實(shí)現(xiàn)混合信號(hào)的分離。下面將分別介紹源數(shù)目估計(jì)和混合信號(hào)分離方法,。
1.1 源數(shù)目估計(jì)
對于動(dòng)態(tài)源的瞬時(shí)源數(shù)目估計(jì),,文獻(xiàn)[7]采用改進(jìn)的交叉驗(yàn)證(cross-validation)算法;文獻(xiàn)[8]對混合信號(hào)協(xié)方差進(jìn)行特征分解,,利用特征值的結(jié)構(gòu)對源信號(hào)數(shù)目進(jìn)行估計(jì),,但是上述算法均用于無噪聲的條件下。一些經(jīng)典的批處理源數(shù)目估計(jì)算法(如MDL)可以用在有噪聲的情況下,,因此本文基于MDL提出一種動(dòng)態(tài)源數(shù)目估計(jì)算法,,能實(shí)時(shí)精確地估計(jì)信道中的信源數(shù)目。
選用當(dāng)前時(shí)刻和前B-1時(shí)刻的混合信號(hào)值對當(dāng)前時(shí)刻的源信號(hào)數(shù)目進(jìn)行估計(jì),,定義t時(shí)刻的瞬時(shí)協(xié)方差矩陣為:
其中,,上標(biāo)H代表共軛轉(zhuǎn)置操作,t≥B,。當(dāng)t<B時(shí),,瞬時(shí)協(xié)方差矩陣按文獻(xiàn)[7]中給出的遞歸方式獲得。對瞬時(shí)協(xié)方差矩陣進(jìn)行特征值分解得到M個(gè)特征值如下(降序排列):
其中,,σ2為噪聲的功率,,則利用MDL檢測準(zhǔn)則即可估計(jì)出當(dāng)前時(shí)刻的瞬時(shí)源信號(hào)數(shù)目。
利用上述方法進(jìn)行瞬時(shí)源信號(hào)數(shù)目估計(jì)存在一個(gè)問題,,即在源信號(hào)數(shù)目變化處,,會(huì)出現(xiàn)一小段過估計(jì)的情況。如圖2所示為源信號(hào)數(shù)目變化處的示意圖,,N1為源信號(hào)數(shù)目變化前的信號(hào)個(gè)數(shù),,N2為變化后的信號(hào)個(gè)數(shù),,t1時(shí)刻為源信號(hào)數(shù)目變化的臨界點(diǎn),可以看出此時(shí)刻的前B-1個(gè)時(shí)刻處,,源信號(hào)數(shù)目保持穩(wěn)定不變,,因此利用上述方法能準(zhǔn)確地估計(jì)出源信號(hào)數(shù)目為N1。t2時(shí)刻滿足t2-B+1=t1,,且前B-1個(gè)時(shí)刻處,,源信號(hào)數(shù)目保持穩(wěn)定,因此同理可準(zhǔn)確估計(jì)出源信號(hào)數(shù)目為N2,。在t1和t2之間的時(shí)刻如t′處,,源信號(hào)數(shù)目可能會(huì)過估計(jì),但由于t1和t2的時(shí)間差小于B,,所以這種過估計(jì)的持續(xù)時(shí)間不會(huì)超過B,。
為解決上述問題,算法在檢測到源數(shù)目變化的時(shí)刻開始記錄當(dāng)前估計(jì)源數(shù)目值,,在此后的γB(1<γ≤1.5)時(shí)間內(nèi),,若估計(jì)源信號(hào)發(fā)生變化,則將第一次變化與第二次變化之間的源數(shù)目值更改為第一次變化之前的源數(shù)目值,,再從第二次源數(shù)目變化的時(shí)刻開始記錄,,重復(fù)上述的檢測,直到在記錄開始時(shí)刻后的γB時(shí)間段內(nèi)估計(jì)源數(shù)目值不發(fā)生變化,,則停止記錄,,等待下一次估計(jì)源數(shù)目變化。采用這種方法即可消除源信號(hào)數(shù)目變換處的過估計(jì)問題,。
1.2 混合信號(hào)的分離
一般地,,解混矩陣的元素wij被認(rèn)為是神經(jīng)網(wǎng)絡(luò)的權(quán)值,可以通過梯度下降法對其進(jìn)行調(diào)整,。本文考慮基于前饋神經(jīng)網(wǎng)絡(luò)的穩(wěn)健的學(xué)習(xí)準(zhǔn)則,,表達(dá)式如下:
將式(6)代入到式(4)中可得到基于偏差去除的神經(jīng)網(wǎng)絡(luò)算法,但是算法中步長μ(t)必須適當(dāng)進(jìn)行選擇,,μ(t)太小則收斂速度過慢,;反之,則穩(wěn)態(tài)波動(dòng)太大,。為克服上述問題,,引入變步長策略,參照文獻(xiàn)[11],,μ(t)可以按下列遞推式進(jìn)行調(diào)整:
2 仿真實(shí)驗(yàn)
為驗(yàn)證本文提出算法在含噪動(dòng)態(tài)源條件下的性能,,本文將與文獻(xiàn)[7]中的ANA算法和文獻(xiàn)[8]中的NNM-DSN算法進(jìn)行對比。源信號(hào)的選取與文獻(xiàn)[7-8]中一致,,設(shè)置采樣率為1 kHz,,則源信號(hào)波形示意圖如圖3所示,,混合矩陣A隨機(jī)生成,只要滿足列滿秩即可,。本文采用PI指數(shù)(performance index)[2]來評價(jià)算法的分離性能,,PI越小代表分離性能越好。
仿真實(shí)驗(yàn)包括兩種情況,,一種是靜態(tài)源的情況,,另一種是動(dòng)態(tài)源的情況。所有實(shí)驗(yàn)將進(jìn)行100次Monte Carlo試驗(yàn),,在下面的實(shí)驗(yàn)中,,n=k(k≤6)的意思是取圖3中前k個(gè)信號(hào)作為源信號(hào),設(shè)置B=200,,γ=1.2。
2.1 靜態(tài)源的情況
本小節(jié)考慮靜態(tài)源的情況,,設(shè)n=5保持不變,,接收傳感器數(shù)為8,取10 000個(gè)樣值點(diǎn),,信噪比(Signal-to-Noise Ratio,,SNR)設(shè)置為10 dB。圖4所示為靜態(tài)源情況下采用本文算法得到的源數(shù)目的估計(jì)圖,,可以看到算法很快得到了準(zhǔn)確的源數(shù)目,。圖5為靜態(tài)源情況下采用本文算法得到的輸出信號(hào)的波形圖,圖中顯示的是最后500個(gè)輸出樣值點(diǎn),,由圖可知,,輸出信號(hào)完成了源信號(hào)的恢復(fù),僅存在幅度和排列次序的不確定性,。圖6為有噪聲存在時(shí)ANA算法,、NNM-DSN算法、本文算法以及無噪聲時(shí)NNM-DSN算法在靜態(tài)源情況下的平均PI性能對比圖,,其中無噪聲時(shí)的NNM-DSN算法用來作性能參照,,由圖可知,當(dāng)噪聲存在時(shí),,ANA算法和NNM-DSN算法性能惡化且穩(wěn)定性降低,,而本文算法平均PI性能優(yōu)于含噪情況下的ANA算法和NNM-DSN算法,且接近無噪聲時(shí)的NNM-DSN算法性能,,與含噪情況下的ANA算法和NNM-DSN算法相比,,本文算法也具有更快的收斂速度。
2.2 動(dòng)態(tài)源的情況
本小節(jié)考慮動(dòng)態(tài)源的情況,,設(shè)n=3,,6,,2,取15 000個(gè)樣值點(diǎn),,具體設(shè)置方式如下:
設(shè)信噪比為10 dB,,接收傳感器數(shù)為8,圖7所示為動(dòng)態(tài)源情況下本文算法進(jìn)行源數(shù)目估計(jì)的示意圖,,可以看到源數(shù)目得到了快速準(zhǔn)確的估計(jì),。圖8為動(dòng)態(tài)源情況下采用本文算法得到的輸出信號(hào)波形圖,取3種不同源數(shù)目情況下的分離信號(hào)最后300個(gè)樣值點(diǎn),,其中空白框表示無輸出,,由此可見,混合信號(hào)被成功地分離,,僅存在幅度和排列次序的不確定性,。圖9為有噪聲存在時(shí)ANA算法、NNM-DSN算法,、本文算法以及無噪聲時(shí)NNM-DSN算法的在動(dòng)態(tài)源情況下的平均PI性能對比圖,,同樣,無噪聲時(shí)的NNM-DSN算法用來作性能參照,,當(dāng)源數(shù)目動(dòng)態(tài)變化時(shí),,所有算法都能調(diào)整至收斂,ANA算法與NNM-DSN算法在有噪聲情況下平均PI定性變差,,與有噪聲情況下的ANA算法與NNM-DSN算法比較,,本文算法平均PI性能更優(yōu),收斂速度更快,,并且穩(wěn)態(tài)時(shí)的平均PI性能接近無噪聲時(shí)的NNM-DSN算法的性能,。
3 結(jié)論
本文針對含噪動(dòng)態(tài)源的情況提出了一種新型在線盲源分離算法,包括兩部分,,即:基于MDL的動(dòng)態(tài)源數(shù)目估計(jì)算法和基于偏差去除的變步長神經(jīng)網(wǎng)絡(luò)算法,。新型算法能實(shí)時(shí)準(zhǔn)確地估計(jì)出瞬時(shí)源信號(hào)的數(shù)目,并在含噪條件下對混合信號(hào)進(jìn)行成功分離,。仿真實(shí)驗(yàn)表明,,本文算法在含噪靜態(tài)源和動(dòng)態(tài)源情況下都能準(zhǔn)確地恢復(fù)出源信號(hào),相比于含噪情況下的ANA算法和NNM-DSN算法,,本文算法具有更好的分離性能和更快的收斂速度,,且分離性能接近無噪情況下的NNM-DSN算法性能。
參考文獻(xiàn)
[1] COMON P,,CHRISTIAN J.Handbook of blind source separation:independent component analysis and applications[M].New York:Academic Press,,2010.
[2] HYVARINEN A,KARHUNEN J,OJA E.Independent component analysis[M].[S.l.]:John Wiley & Sons,,2001.
[3] KARHUNEN J,,JOUTSENSALO J.Representation and separation of signals using nonlinear PCA type learning[J].Neural Network,1994,,7(1):113-127.
[4] CICHOCKI A,,KARHUNEN J,KASPRZAK W,,et al.Neural networks for blind separation with unknown number of sources[J].Neruocomputing,,1999,24(1-3):55-93.
[5] YE J M,,ZHU X L,,ZHANG X D.Adaptive blind source separation with an unknown number of sources[J].Neural computation,2004,,16(8):1641-1460.
[6] SUN T Y,,LIU C C,HSIEH S T,,et al.Blind separation with unknown number of sources based on auto-trimmed neural network[J].Neurocomputing,,2008,17(10-12):2271-2280.
[7] SUN T Y,,LIU C C,TSAI S J,,et al.Blind source separation with dynamic source number using adaptive neural algorithm[J].Expert System With Application,,2009,36(5):8855-8861.
[8] LI H,,SHEN Y,,XUN K.Neural network with momentum for dynamic source separation and its convergence analysis[J].Journal of Networks,2011,,6(5):791-798.
[9] SCHWARZ G.Estimating the dimension of a model[J].Annu. Stat.,,1987,6(2):461-464.
[10] DOUGLAS S C,,CICHOCKI A,,AMARI S.A bias removal technique for blind source separation with noisy measurements[J].Electronics Letters,1998,,34(14):1379-1380.
[11] YUAN L,,WANG W,CHAMBERS J A.Variable step-size sign natural gradient algorithm for sequential blind source separation[J].IEEE Signal Processing Letters,,2005,,12(8):589-592.
[12] 趙偉,沈越泓,王建功,,等.一種長時(shí)長混合通信信號(hào)的分離重建方法[J].軍事通信技術(shù),,2013,34(1):62-68.