文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.174081
中文引用格式: 曾康銘,,吳杏. 多層概率決策的網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法[J].電子技術(shù)應(yīng)用,,2018,44(6):133-137.
英文引用格式: Zeng Kangming,,Wu Xing. The network big data cooperative fusion algorithm based on multi layer probabilistic joint decision[J]. Application of Electronic Technique,,2018,44(6):133-137.
0 引言
復(fù)雜網(wǎng)絡(luò)控制與大數(shù)據(jù)傳輸已經(jīng)成為大數(shù)據(jù)質(zhì)量保障面臨的關(guān)鍵研究問題[1],,特別是,,復(fù)雜網(wǎng)絡(luò)時滯擴(kuò)散性[1]、同步控制[2],、應(yīng)急通信網(wǎng)絡(luò)的大數(shù)據(jù)分析[3],、空地跨域大數(shù)據(jù)通信[4-5]等問題對大數(shù)據(jù)質(zhì)量的影響嚴(yán)重。為有效解決上述問題,,數(shù)據(jù)融合[6]被引入,,并得到廣泛應(yīng)用[7]。不過,,復(fù)雜網(wǎng)絡(luò)的大數(shù)據(jù)融合性能依然受到網(wǎng)絡(luò)復(fù)雜度,、數(shù)據(jù)碰撞和外界干擾等因素[8]制約,,這些問題亟待解決。
在充分考慮網(wǎng)絡(luò)狀況及服務(wù)器之間的通信關(guān)聯(lián)等基礎(chǔ)上,,文獻(xiàn)[9]基于OpenFlow網(wǎng)絡(luò)控制器,,集中管理網(wǎng)絡(luò)狀態(tài)信息,提出了基于OpenFlow網(wǎng)絡(luò)的數(shù)據(jù)中心服務(wù)器負(fù)載均衡策略,,從而有效改善虛擬機遷移后網(wǎng)絡(luò)擁塞而影響系統(tǒng)性能,。文獻(xiàn)[10]研究了具有隨機噪聲和隨機概率分布的隨機鏈路網(wǎng)絡(luò)的最優(yōu)控制問題。為了應(yīng)對大數(shù)據(jù)的影響,,文獻(xiàn)[11]將傳統(tǒng)的個人計算,、通信和存儲系統(tǒng)結(jié)合起來,討論了一種有效的信息系統(tǒng)容量,,以便在更有自由度的新范式下挖掘信息系統(tǒng)的潛力,。文獻(xiàn)[12]首先提出了一個通用的建模框架,,描述了在大數(shù)據(jù)流處理所有的任務(wù)關(guān)系語義間的代表,,在此基礎(chǔ)上解決了通信成本最小化的問題。文獻(xiàn)[13]提出了一種系統(tǒng)和自動化的方法來建立一個混合的入侵檢測系統(tǒng),,學(xué)習(xí)基于時域的電力系統(tǒng)場景的規(guī)范,,包括干擾、正??刂撇僮骱途W(wǎng)絡(luò)攻擊等,。文獻(xiàn)[14]所提出的區(qū)間自適應(yīng)加權(quán)波長選擇算法采用多模型融合方案,通過減少波長數(shù)量來精準(zhǔn)預(yù)測,,自適應(yīng)優(yōu)化選擇波長,。在異構(gòu)信息空間中,文獻(xiàn)[15]通過查詢時間上下文關(guān)鍵字,,研究了一種時間感知的查詢時實體識別與數(shù)據(jù)融合方法,。
在已有復(fù)雜網(wǎng)絡(luò)控制、大數(shù)據(jù)傳輸和數(shù)據(jù)融合的一系列研究基礎(chǔ)上,,本文從多層概率模型,、數(shù)據(jù)傳輸聯(lián)合決策和網(wǎng)絡(luò)寫作控制等多維角度出發(fā),研究了一種具有高傳輸精度,、高傳輸效率和低數(shù)據(jù)融合誤差的網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合機制,。
1 多層概率聯(lián)合決策模型
復(fù)雜異構(gòu)多層網(wǎng)絡(luò)的數(shù)據(jù)采集與緩存機制以實時感知數(shù)據(jù)和準(zhǔn)確處理決策信息為核心,消除外界環(huán)境的冗余信息與各類型干擾對網(wǎng)絡(luò)數(shù)據(jù)的質(zhì)量制約,。但對于多層網(wǎng)絡(luò)的數(shù)據(jù)采集與傳輸概率控制和維護(hù)系統(tǒng)穩(wěn)定性的決策機制,,成為網(wǎng)絡(luò)大數(shù)據(jù)融合的瓶頸問題。
首先,,假設(shè)一個多層離散線性隨機網(wǎng)絡(luò)系統(tǒng)如式(1)所示:
其中,,N表示多層網(wǎng)絡(luò)的分層數(shù),。
2 網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法
基于多層概率聯(lián)合決策的網(wǎng)絡(luò)收集的大數(shù)據(jù),從主層-分層角度出發(fā)采用S,、L描述,,如式(7)所示,還可以從信號強度出發(fā)采用H,、M,、L描述,如式(9)所示,。
綜上所述,,網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法實施過程如圖3所示。其中,,根據(jù)分解3步進(jìn)行三性融合,,結(jié)合聯(lián)合決策,以逆變換去噪為驅(qū)動,,實現(xiàn)協(xié)作數(shù)據(jù)融合,。
3 實驗結(jié)果分析
通過在200 m2的室內(nèi)環(huán)境部署50個傳感器節(jié)點,持續(xù)采集100小時的溫度數(shù)據(jù)為網(wǎng)絡(luò)大數(shù)據(jù)源,。傳感器節(jié)點采用無源供電方式,,會因電池耗盡而消亡,網(wǎng)絡(luò)拓?fù)鋾l(fā)生動態(tài)變化,。每個傳感器節(jié)點間隔10 s發(fā)送一次數(shù)據(jù),。可通過是否供電來激活傳感器節(jié)點,。本文所提出的網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法記為CFA-MJD,,偽代碼如下:
采用Java與C++相結(jié)合的方式實現(xiàn)上述算法,測試不同傳輸精度下的數(shù)據(jù)傳輸速率以及數(shù)據(jù)融合誤差,。實驗環(huán)境參數(shù)詳見表1。
圖4和圖5給出了兩種不同傳輸精度下所提出CFA-MJD算法的數(shù)據(jù)傳輸速率與實驗速率統(tǒng)計值的對比結(jié)果,。對比發(fā)現(xiàn),,當(dāng)傳輸精度為40%時,CFA-MJD算法的傳輸率與實驗值較為接近,;當(dāng)傳輸精度為90%時,,CFA-MJD算法的傳輸率反而高于實驗值。這表明,,所提算法可以有效改進(jìn)網(wǎng)絡(luò)大數(shù)據(jù)傳輸率并且保障較高的傳輸精度,。這是因為所提算法采用了多層隨機網(wǎng)絡(luò)架構(gòu)?;诜謱有盘柛蓴_和局部不確定因素集,,結(jié)合網(wǎng)絡(luò)整體信號傳輸優(yōu)化目標(biāo)需求,,通過聯(lián)合決策保持了大數(shù)據(jù)的一致性,并有效降低了數(shù)據(jù)發(fā)生沖突的概率,。
圖6給出了服務(wù)器響應(yīng)延遲為5 s,、10 s、15 s和20 s時,,所提算法的數(shù)據(jù)融合誤差與實際統(tǒng)計誤差的對比結(jié)果,。分析發(fā)現(xiàn),所提算法所采用的在分層協(xié)作控制下對聯(lián)合決策下的接收信號yU分解即對yU按層還原,,消除冗余信號和逐層更新yU,,以及三性融合,確保了網(wǎng)絡(luò)大數(shù)據(jù)融合精度,,并且可以很好地化解服務(wù)器大延遲造成的數(shù)據(jù)誤差,。
4 結(jié)束語
復(fù)雜異構(gòu)網(wǎng)絡(luò)的大數(shù)據(jù)傳輸面臨著效率低下、精度難以得到保障等問題,,同時網(wǎng)絡(luò)數(shù)據(jù)傳輸負(fù)荷較大,,導(dǎo)致資源利用率較低。為了有效解決上述問題,,本文提出了一種基于多層概率網(wǎng)絡(luò)模型和聯(lián)合決策的網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法,。一方面,為多層網(wǎng)絡(luò)的數(shù)據(jù)源及其存儲控制建立實時感知和分層傳輸處理模型,,在此基礎(chǔ)上提出一種具有多層概率協(xié)作的網(wǎng)絡(luò)大數(shù)據(jù)傳輸聯(lián)合決策模型,;另一方面,從主層-分層和多層接收信號強度出發(fā),,給出了網(wǎng)絡(luò)大數(shù)據(jù)的多維描述,,通過接收信號的3步分解和網(wǎng)絡(luò)的三性融合,提出了網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作數(shù)據(jù)融合算法,。實驗統(tǒng)計和仿真表明,,所提算法可以有效改善網(wǎng)絡(luò)大數(shù)據(jù)融合精度、傳輸精度和網(wǎng)絡(luò)效率等性能,。
參考文獻(xiàn)
[1] 羅毅平,,周筆鋒.時滯擴(kuò)散性復(fù)雜網(wǎng)絡(luò)同步保性能控制[J].自動化學(xué)報,2015,,41(1):147-156.
[2] 張崢,,朱炫穎.復(fù)雜網(wǎng)絡(luò)同步控制的研究進(jìn)展[J].信息與控制,2017,,46(1):103-112.
[3] WANG J,,WU Y,YEN N,et al.Big data analytics for emergency communication networks:a survey[J].IEEE Communications Surveys & Tutorials,,2016,,18(3):1758-1778.
[4] XIONG G,ZHU F,,DONG X,,et al.A kind of novel ITS based on space-air-ground big-data[J].IEEE Intelligent Transportation Systems Magazine,2016,,8(1):10-22.
[5] LIN K,,XIA F,WANG W,,et al.System design for big data application in emotion-aware healthcare[J].IEEE Access,,2016,4:6901-6909.
[6] CHIOU Y S,,TSAI F.A reduced-complexity data-fusion algorithm using belief propagation for location tracking in heterogeneous observations[J].IEEE Transactions on Cybernetics,,2014,44(6):922.
[7] Liu Kaibo,,CHEHADE A,,Song Changyue.Optimize the signal quality of the composite health index via data fusion for degradation modeling and prognostic analysis[J].IEEE Transactions on Automation Science and Engineering,2017,,14(3):1504-1514.
[8] ALAM F,,MEHMOOD R,KATIB I,,et al.Data fusion and IoT for smart ubiquitous environments:a survey[J].IEEE Access,,2017,5:9533-9551.
[9] 秦華,,閻鋼.基于OpenFlow網(wǎng)絡(luò)的數(shù)據(jù)中心服務(wù)器負(fù)載均衡策略[J].計算機工程,,2016,42(3):130-137.
[10] GATTAMI A.Optimal network control with stochastic link variations and indefinite quadratic constraints[J].IEEE Transactions on Control of Network Systems,,2017,,4(2):259-266.
[11] Fan Pingzhi.Coping with the big data:convergence of communications, computing and storage[J].China Communications,2016,,13(9):203-207.
[12] Gu Lin,,Zeng Deze,Guo Song,,et.al.A general communication cost optimization framework for big data stream processing in geo-distributed data centers[J].IEEE Transactions on Computers,2016,,65(1):19-29.
[13] PAN S,,MORRIS T,ADHIKARI U.Developing a hybrid intrusion detection system using data mining for power systems[J].IEEE Transactions on Smart Grid,,2015,,6(6):3104-3113.
[14] 陳曉輝,,黃劍.基于iPLS和CARS數(shù)據(jù)融合技術(shù)的波長選擇算法[J].計算機工程與應(yīng)用,2016,,52(16):229-232.
[15] 楊丹,,陳默,王剛,,等.異構(gòu)信息空間中時間感知的查詢時實體識別與數(shù)據(jù)融合[J].計算機科學(xué),,2017,44(3):215-219.
作者信息:
曾康銘,,吳 杏
(南寧學(xué)院 信息工程學(xué)院,,廣西 南寧530200)