《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 通信與網(wǎng)絡(luò) > 設(shè)計(jì)應(yīng)用 > 聯(lián)邦學(xué)習(xí)中基于NMSS和LoRA的魯棒防御機(jī)制研究
聯(lián)邦學(xué)習(xí)中基于NMSS和LoRA的魯棒防御機(jī)制研究
網(wǎng)絡(luò)安全與數(shù)據(jù)治理
伏欣國(guó)1，王龍1,2,，劉麗澤3, 王雷4,，趙建坤1
1.中國(guó)電子信息產(chǎn)業(yè)集團(tuán)有限公司第六研究所； 2.山東大學(xué)網(wǎng)絡(luò)空間安全學(xué)院,； 3.西安電子科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,； 4.深圳市酷開網(wǎng)絡(luò)科技股份有限公司
摘要： 針對(duì)聯(lián)邦學(xué)習(xí)中隱私泄露、數(shù)據(jù)投毒和模型篡改等安全威脅,，構(gòu)建了一種融合不可篡改秘密共享與低秩適應(yīng)技術(shù)的防御架構(gòu),。該方案采用三服務(wù)器門限驗(yàn)證機(jī)制與零知識(shí)證明技術(shù)，確保參數(shù)分片在傳輸和恢復(fù)過(guò)程中的安全性,；同時(shí),，利用低秩約束與動(dòng)態(tài)權(quán)重聚合算法，有效限制惡意攻擊干擾并降低通信開銷,。在CIFAR-10和mini-ImageNet等數(shù)據(jù)集上的實(shí)驗(yàn)充分驗(yàn)證了該方法在提高防御準(zhǔn)確率,、降低模型誤差和提升系統(tǒng)魯棒性方面的顯著優(yōu)勢(shì)，證明了方案在大規(guī)模場(chǎng)景下的實(shí)用性和可擴(kuò)展性,。結(jié)論表明,，該架構(gòu)為聯(lián)邦學(xué)習(xí)環(huán)境下安全防護(hù)提供了一種高效、可行的技術(shù)路徑,。
中圖分類號(hào)：TP309文獻(xiàn)標(biāo)識(shí)碼：ADOI:10.19358/j.issn.2097-1788.2025.04.004
引用格式：伏欣國(guó),，王龍，劉麗澤,，等. 聯(lián)邦學(xué)習(xí)中基于NMSS和LoRA的魯棒防御機(jī)制研究［J］.網(wǎng)絡(luò)安全與數(shù)據(jù)治理,，2025，44（4）：24-31.
Robust defense mechanisms in federated learning: a study based on NMSS and LoRA
Fu Xinguo1,，Wang Long1,2,，Liu Lize3，Wang Lei4, Zhao Jiankun1
1. The Sixth Research Institute of China Electronics Corporation; 2. School of Cyberspace Security, Shandong University; 3. School of Computer Science and Technology, Xidian University; 4. Coocaa Network Technology Co., Ltd.
Abstract： This study addresses security threats in federated learning, including privacy leakage, data poisoning, and model tampering. A defense architecture that integrates Non-Malleable Secret Sharing (NMSS) and Low-Rank Adaptation (LoRA) is proposed. The scheme uses a three-server threshold verification mechanism and zero-knowledge proof technology to secure parameter shards during transmission and recovery. In addition, the method applies low-rank constraints and dynamic weighted aggregation to limit malicious interference and reduce communication overhead. Experiments on the CIFAR-10 and mini-ImageNet datasets verify that the method improves defense accuracy, reduces model error, and enhances system robustness. The results show that the scheme is practical and scalable for large-scale scenarios. The study concludes that the architecture offers an efficient and feasible technical solution for secure federated learning.
Key words : federated learning; privacy-preserving; poisoning attack; LoRA

引言

聯(lián)邦學(xué)習(xí)（Federated Learning, FL）［1］作為分布式機(jī)器學(xué)習(xí)的重要范式,，通過(guò)“數(shù)據(jù)不動(dòng)模型動(dòng)”與“數(shù)據(jù)可用而不可見”的機(jī)制有效緩解了數(shù)據(jù)孤島問(wèn)題,，成為隱私保護(hù)領(lǐng)域的關(guān)鍵技術(shù)［2］。然而,，其去中心化的架構(gòu)與參數(shù)共享特性,，也引入了多重安全威脅：

(1)隱私泄露風(fēng)險(xiǎn)：模型的梯度信息可能暴露用戶數(shù)據(jù)特征,，如嵌入層泄露、全連接層梯度符號(hào)推斷等攻擊手段已被證實(shí)可重構(gòu)原始數(shù)據(jù)［3］,；

(2)投毒攻擊威脅［4］：惡意客戶端通過(guò)注入噪聲,、翻轉(zhuǎn)標(biāo)簽或植入后門，顯著降低模型性能（如本文3.2.1節(jié)攻擊強(qiáng)度影響實(shí)驗(yàn)結(jié)果顯示,，20%惡意客戶端即可使準(zhǔn)確率下降超過(guò)30%）,；

(3)服務(wù)器合謀漏洞［5］：傳統(tǒng)安全聚合協(xié)議（如Secure Aggregation）難以抵御多服務(wù)器聯(lián)合篡改，導(dǎo)致全局模型參數(shù)被惡意操控,。

面對(duì)以上多種安全威脅,，現(xiàn)有防御方案存在以下三大瓶頸：

(1)效率與安全性失衡：同態(tài)加密雖可保護(hù)隱私，但會(huì)帶來(lái)高達(dá)40%的計(jì)算開銷［6］,，而差分隱私［7］的噪聲添加在一定程度上會(huì)削弱模型可用性［8］,；

(2)魯棒性不足：基于統(tǒng)計(jì)的聚合方法（如Trim-mean［9］、Krum［10］）對(duì)高隱蔽性攻擊（如生成對(duì)抗網(wǎng)絡(luò)驅(qū)動(dòng)的投毒［11］）檢測(cè)率不足60%,；

(3)通信成本高昂：全參數(shù)傳輸在ViT-Base［12］等大模型中需15 MB/輪的通信量,，難以適配資源受限場(chǎng)景。

現(xiàn)有的聯(lián)邦學(xué)習(xí)防御機(jī)制主要側(cè)重于隱私保護(hù)與抗攻擊性,，但在面對(duì)數(shù)據(jù)投毒、模型篡改等復(fù)雜安全威脅時(shí),，防御效果仍存在不足,。針對(duì)這一問(wèn)題，本文提出了一種基于不可篡改秘密共享（Non-Malleable Secret Sharing, NMSS）［13］與低秩適應(yīng)（Low-Rank Adaptation, LoRA）［14］的融合防御架構(gòu),，具有以下創(chuàng)新點(diǎn)：

(1)三服務(wù)器門限驗(yàn)證機(jī)制：首次將NMSS與LoRA相結(jié)合,，提出了一種新型的三服務(wù)器門限驗(yàn)證機(jī)制，通過(guò)結(jié)合零知識(shí)證明（Zero-Knowledge Succinct Transparent ARguments of Knowledge, zk-STARK）［15］,，實(shí)現(xiàn)分片不可篡改性與拜占庭容錯(cuò)［16］,，理論證明合謀攻擊下僅需1臺(tái)誠(chéng)實(shí)服務(wù)器即可保障參數(shù)完整性［17］；

(2)低秩約束的魯棒性增強(qiáng)：利用LoRA將參數(shù)更新壓縮至低維子空間（秩r=8）,，限制投毒攻擊的擾動(dòng)空間,，實(shí)驗(yàn)表明可減少32%的準(zhǔn)確率下降；

(3)動(dòng)態(tài)權(quán)重聚合算法：結(jié)合客戶端行為可信度評(píng)估與自適應(yīng)范數(shù)裁剪,，在CIFAR-10數(shù)據(jù)集實(shí)現(xiàn)96.8%的篡改分片檢測(cè)率,，同時(shí)通信開銷降低至1.7 MB/輪，有效提升了防御能力,，并大幅降低了通信開銷,。

本文工作為聯(lián)邦學(xué)習(xí)安全領(lǐng)域提供三方面貢獻(xiàn)：首先在理論層面，首次將NMSS的可驗(yàn)證性與LoRA的低秩特性結(jié)合,，構(gòu)建信息論安全框架,；其次在技術(shù)層面,，設(shè)計(jì)分層式三服務(wù)器驗(yàn)證鏈，支持高效分片恢復(fù)（<10 ms/客戶端）與動(dòng)態(tài)惡意節(jié)點(diǎn)隔離,；最后在應(yīng)用層面,，在miniImageNet非獨(dú)立同分布場(chǎng)景下驗(yàn)證方案有效性，為醫(yī)療,、金融等高敏感領(lǐng)域提供可落地的解決方案［18］,。


本文詳細(xì)內(nèi)容請(qǐng)下載：

http://wldgj.com/resource/share/2000006409


作者信息：

伏欣國(guó)1，王龍1,2,，劉麗澤3, 王雷4,，趙建坤1

（1.中國(guó)電子信息產(chǎn)業(yè)集團(tuán)有限公司第六研究所，北京102209,；

2.山東大學(xué)網(wǎng)絡(luò)空間安全學(xué)院,，山東青島266237；

3.西安電子科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,，陜西西安710071,；

4.深圳市酷開網(wǎng)絡(luò)科技股份有限公司，廣東深圳518000）


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),，未經(jīng)授權(quán)禁止轉(zhuǎn)載,。