CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 硕士学位论文
题名面向非独立同分布场景的自适应与个性化联邦控制方法
作者陈薏竹
答辩日期2022-05-17
文献子类硕士
授予单位中国科学院自动化研究所
授予地点中国科学院自动化研究所
导师王飞跃 ; 王晓
关键词自适应联邦控制 个性化联邦控制 联邦学习 非独立同分布
学位名称工学硕士
学位专业模式识别与智能系统
英文摘要

大数据时代广泛存在的数据孤岛问题对人工智能的应用与落地提出了新的挑战,为进一步发挥人工智能和大数据的潜力,联邦生态从系统化的角度定义了以联邦数据、联邦控制、联邦管理、联邦服务为核心的统一整体,有助于推动从数据、服务到智能的自动化转变,这一从上游数据到下游应用的标准化、体系化的解决方案也为不同领域的实际管理需求提供了理论层面的指导。其中,联邦学习将为其提供算法层面的技术支持。
作为联邦生态的核心环节,联邦控制能够将联邦管理的抽象任务转化为具体的执行规则,并对联邦节点进行调度控制,包括制定具体的节点选择策略与协作规则。然而,受真实场景中不同联邦节点的数据采集条件、设备情况等各方面差异的影响,各节点所拥有的本地数据通常是非独立同分布的,这使得联邦训练的最终效果难以达到预期。因此,本文面向非独立同分布场景展开联邦控制方法的研究,主要工作内容如下:
1. 面向联邦控制的非独立同分布场景构建及分析。针对联邦协作场景中广泛存在标签分布偏斜、数据量偏斜等非独立同分布情况,本文首先模拟真实场景对两个公开的图像分类数据集 MNIST 和 Fashion-MNIST 进行了划分,构建了拥有不平衡类别数与样本数的客户端环境,并在此基础上进一步分析了不同分布与不同偏斜程度对联邦学习模型带来的影响,为设计训练效率更高、适应性更强
的联邦控制方法提供了基础。
2. 基于训练趋势评估的自适应联邦控制方法。为降低联邦控制在调度客户端节点进行协作时产生的高昂通信成本,本文从参与方选择与全局模型更新两个步骤出发,优化作为联邦控制中心的服务器对客户端的节点选择策略与信息整合规则。针对参与方选择步骤,本文设计了基于 Mann-Kendall 趋势检验法的训练趋势评估算法,通过跟踪各客户端的本地训练效果,自适应地选择每个全局
轮次中参与训练的客户端。针对全局模型更新步骤,本文在模型聚合时加入了梯度相似性系数,作为各参与方在模型更新中的权重。实验表明,该方法能够高效地完成联邦训练任务,并提高了全局模型的准确率等各项指标。
3. 基于相似性度量的个性化联邦控制方法。为进一步满足不同节点的个性化需求,本文设计了一种低通信成本与存储成本的分簇个性化联邦控制方法,以优化联邦控制的协作规则。首先,服务器会为各个客户端维护多个全局簇模型,当客户端完成本地训练后,服务器就会及时调度相似性度量方法为其更新集群归属,过程中无需额外的数据传输,也无需在服务器中维护大量的中间信息。此
外,基于正则化的本地训练方法也使得客户端的本地迭代更加高效,进一步提升了簇模型的个性化效果。实验结果表明,该方法不仅能够达到分簇训练的预期效果,满足客户端的个性化需求,还不会产生额外的通信成本和过多的计算开销。

语种中文
页码94
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/48884]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
陈薏竹. 面向非独立同分布场景的自适应与个性化联邦控制方法[D]. 中国科学院自动化研究所. 中国科学院自动化研究所. 2022.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace