团队成员关于拜占庭分布式机器学习的研究取得新进展，相关成果在AAAI上发表
近日，团队在拜占庭分布式机器学习方面的研究取得新进展，相关成果在AAAI Conference on Artificial Intelligence (AAAI-24) 上发表。AAAI24是人工智能领域的国际重要学术会议，被中国计算机学会推荐为A类学术会议。本届AAAI会议接收率约为23.75%。
论文“Near-Optimal Resilient Aggregation Rules for Distributed Learning Using 1-Center and 1-Mean Clustering with Outliers”入选AAAI2024，易宇豪研究员为第一作者，吕建成教授为通讯作者。论文提出基于带异常值的1-center/1-mean 聚类算法的两阶段聚合机制，实现拜占庭攻击环境下的鲁棒分布式机器学习。
背景：
分布式机器学习使用多个设备联合训练大规模模型，由于其保持数据分散且私有的特性，已在多个领域得到广泛应用。然而，分布式机器学习对于节点故障或恶意攻击十分敏感，已有研究表明，即使是少量的拜占庭节点也能明显降低全局模型的训练性能。拜占庭节点向服务器发送任意错误的信息从而干扰全局模型的训练，为抵御其攻击，参数服务器往往使用弹性聚合机制对来自客户端的信息（如梯度、动量）进行过滤，确保全局模型正常收敛。现有的弹性聚合机制往往基于特定的假设，或者具有过高的计算复杂度，难以进行比较、分析和性能优化。
论文：Near-Optimal Resilient Aggregation Rules for Distributed Learning Using 1-Center and 1-Mean Clustering with Outliers
方法概要：
我们提出了基于带异常值的1-center/1-mean聚类算法的近似最优聚合机制“two-phase aggregation stochastic heavy ball algorithm”，命名为2PRASHB。带异常值的1-center/1-mean聚类问题是计算几何领域的经典问题，我们将其近似算法应用于拜占庭分布式学习，利用各客户端更新向量的几何特性进行异常值过滤。理论方面，我们基于多个鲁棒性度量准则对1-center/1-mean聚类算法进行了评估，发现1-center/1-mean聚类算法在多个度量准则下都能达到近优鲁棒性，且适用于各客户端数据同质和异构两种场景。因此，我们使用1-center/1-mean聚类算法作为拜占庭分布式学习的鲁棒聚合器（Aggregator）。此外，我们还讨论了两种相反的攻击类型：Sneak Attack和Siege Attack。在这两种拜占庭攻击下，没有任何一种聚合机制能保证提供优于朴素均值聚合的性能。针对此问题，我们提出了一个两阶段弹性聚合框架2PRASHB：第一阶段使用1-center/1-mean聚合器分别针对两种拜占庭攻击进行鲁棒聚合，得到两个聚合结果，作为候选者；第二阶段由各客户端对候选者进行投票，选择得票最高的候选者作为最终聚合结果，然后更新全局模型。2PRASHB的整体架构如图1。
图1：2PRASHB的整体架构。左侧为拜占庭分布式机器学习架构和两种相反的攻击类型，右侧为2PRASHB聚合机制的流程图和1-center/1-mean聚合器的示意图。
我们在FEMNIST数据集上使用非凸损失函数进行了图像分类实验，结果表明，相比其他方法，我们的算法(Cent2P/Mean2P)在两种数据分布环境和各种拜占庭攻击下都能取得最佳的测试准确率。消融实验和其他数据集上的实验结果进一步验证了2PRASHB相对于其他工作的有效性。
图2：同质客户端（各客户端的数据集独立同分布）仿真实验结果
图3：异构客户端（各客户端的数据集非独立同分布）仿真实验结果
[1] Yi, Yuhao, Ronghui You, Hong Liu, Changxin Liu, Yuan Wang and Jiancheng Lv. “Near-Optimal Resilient Aggregation Rules for Distributed Learning Using 1-Center and 1-Mean Clustering with Outliers.” (2023). In Proceedings of the 38th AAAI Conference on Artificial Intelligence (AAAI’24), 2024
部分作者简介：
易宇豪，特聘研究员，硕导，中国计算机学会、中国自动化学会会员，研究领域为网络系统中的决策与优化算法、分布式机器学习。主持国自然青年基金一项、参与国家级项目两项。在权威期刊和会议上发表论文二十余篇，包括IEEE Trans. Inf. Theory、SIAM Control Optim.、IEEE Trans. Cybern.、AAAI、IJCAI、WWW、IEEE CDC等。