第四章 异构联邦 (Heterogeneous Federated Learning)
一、导读
4.1 本章学习目标
理解联邦学习中异构性的多种表现形式及其对系统性能的影响
掌握数据异构性（Data Heterogeneity）的数学定义和度量方法
深入理解系统异构性（System Heterogeneity）对联邦学习算法设计的影响
掌握处理数据异构性的主要算法：FedProx、SCAFFOLD、FedNova 等
了解处理模型异构性（Model Heterogeneity）的技术方案
理解个性化联邦学习（Personalized Federated Learning）的核心思想与方法
掌握联邦学习中公平性（Fairness）问题的定义和解决方案
能够针对不同异构场景选择合适的技术方案
4.2 为什么本章如此重要
异构性是联邦学习区别于传统分布式学习的本质特征，也是联邦学习研究中最核心的挑战之一。在传统分布式学习中，数据通常可以被随机打散并均匀分配到各个计算节点，从而满足独立同分布（IID）假设。然而在联邦学习中，每个客户端的数据是自然产生的，受到地理位置、用户行为、设备类型、使用场景等多种因素的影响，数据分布呈现出高度的异构性。
数据异构性不仅影响模型的收敛速度和最终性能，还可能导致全局模型对某些客户端不公平。在医疗联邦学习中，如果不同医院的患者群体存在显著差异，全局模型可能对某些医院的诊断准确率较低，这在临床应用中可能带来严重后果。因此，理解和处理数据异构性是联邦学习走向实际应用的关键。
除了数据异构性，系统异构性也是联邦学习面临的独特挑战。联邦学习系统中的客户端可能包括不同品牌、不同型号、不同计算能力的设备，它们的 CPU 性能、内存大小、网络带宽、电池容量都存在显著差异。这种系统异构性导致不同客户端完成本地训练的时间差异巨大，"掉队者"问题严重影响系统的整体效率。
模型异构性是另一个重要但较少被讨论的问题。在实际应用中，不同客户端可能使用不同的模型架构（如不同的神经网络结构），这使得传统的参数平均聚合方法无法直接应用。处理模型异构性需要新的聚合策略和知识迁移技术。
本章将系统介绍联邦学习中各种异构性的定义、影响和处理方法，为读者提供应对实际联邦学习场景中异构性挑战的理论基础和实践能力。
4.3 核心问题引导
联邦学习中的异构性有哪些不同的表现形式？它们之间有什么联系？
如何数学化地度量数据分布的异构程度？常用的度量指标有哪些？
FedProx 是如何通过近端项解决数据异构性问题的？其理论保证是什么？
SCAFFOLD 的控制变量（Control Variate）机制是如何修正梯度漂移的？
系统异构性导致的掉队者问题有哪些解决方案？同步和异步方法的优劣是什么？
当不同客户端使用不同的模型架构时，如何进行有效的模型聚合？
个性化联邦学习与标准联邦学习的本质区别是什么？有哪些实现路径？
如何在联邦学习中定义和量化模型的公平性？有哪些公平性优化方法？
二、核心概念详解
4.1 数据异构性的分类与度量
数据异构性是联邦学习中最基本的异构形式，可以从多个维度进行分类和度量。
从统计异构性的角度，可以分为以下几类：协变量偏移（Covariate Shift），即不同客户端的特征分布 $P_k(X)$ 不同，但条件分布 $P(Y|X)$ 相同；先验概率偏移（Prior Probability Shift），即不同客户端的标签分布 $P_k(Y)$ 不同；概念偏移（Concept Shift），即不同客户端的条件分布 $P_k(Y|X)$ 不同。在实际联邦学习场景中，通常是多种偏移的混合。
度量数据异构性的常用方法包括：Dirichlet 分布参数 $\alpha$，通过从 Dirichlet 分布中采样来生成不同异构程度的数据划分，$\alpha$ 越小表示异构程度越高；标签分布的熵，通过计算每个客户端标签分布的信息熵来度量其数据多样性；Wasserstein 距离，通过计算不同客户端数据分布之间的 Wasserstein 距离来度量其差异程度。
数据异构性对联邦学习的影响是多方面的。首先，它导致客户端的本地梯度方向存在差异，在模型聚合时产生"梯度漂移"（Gradient Drift）现象，使得全局模型的优化路径偏离最优方向。其次，数据异构性导致全局模型难以同时满足所有客户端的需求，可能出现某些客户端性能优异而另一些客户端性能较差的情况。此外，数据异构性还会影响联邦学习的收敛速度，异构程度越高，通常需要更多的通信轮次才能达到满意的性能。
4.2 FedProx：处理数据异构性的近端方法
FedProx 是处理数据异构性的代表性算法之一，由 Li 等人在 2020 年提出。其核心思想是在每个客户端的本地目标函数中添加一个近端项（Proximal Term），限制本地模型在训练过程中不偏离全局模型太远。
FedProx 的本地目标函数定义为：
$$h_k(w) = F_k(w) + \frac{\mu}{2} \|w - w_t\|^2$$
其中 $F_k(w)$ 是客户端 $k$ 的原始本地目标函数，$w_t$ 是当前全局模型，$\mu$ 是近端项系数（超参数）。
近端项的直觉是：当本地模型 $w$ 偏离全局模型 $w_t$ 时，近端项会产生一个惩罚，将本地模型"拉回"到全局模型附近。参数 $\mu$ 控制这种约束的强度：$\mu = 0$ 时退化为标准 FedAvg；$\mu$ 越大，本地模型越接近全局模型。
FedProx 的理论贡献在于证明了在数据异构性存在的情况下，近端项可以保证算法的收敛性。具体而言，对于非凸目标函数，FedProx 证明了在适当的条件下，算法可以收敛到一个稳定点，且收敛界与数据异构性参数 $\Gamma$ 和本地训练轮数 $E$ 有关。关键的是，通过适当选择 $\mu$，可以控制数据异构性对收敛的影响。
在实践中，$\mu$ 的选择需要根据数据异构程度进行调整。数据异构程度越高，$\mu$ 应该设置得越大，以更强的约束防止本地模型过度偏离。自适应 $\mu$ 选择策略可以根据训练过程中的梯度漂移程度动态调整 $\mu$ 值。
4.3 SCAFFOLD：基于控制变量的梯度漂移修正
SCAFFOLD（Stochastic Controlled Averaging for Federated Learning）是另一种处理数据异构性的重要算法，由 Karimireddy 等人于 2020 年提出。与 FedProx 通过约束本地训练不同，SCAFFOLD 通过修正梯度更新方向来消除数据异构性的影响。
SCAFFOLD 的核心思想是引入"控制变量"（Control Variate）来估计和修正梯度漂移。每个客户端 $k$ 维护一个控制变量 $c_k$，服务器维护全局控制变量 $c$。控制变量的更新规则为：
客户端 $k$ 在每轮通信中计算梯度修正项：
$$\Delta c_k = \frac{1}{E \cdot \eta} (w_t - w_{t+1}^k) - c$$
然后更新本地控制变量：$c_k \leftarrow c_k + \Delta c_k$
在本地训练中，客户端使用修正后的梯度进行更新：
$$w \leftarrow w - \eta (g - c_k + c)$$
其中 $g$ 是原始随机梯度，$c - c_k$ 是修正项。
修正项的直觉是：$c_k$ 估计了客户端 $k$ 的梯度方向与全局梯度方向的偏差，$c - c_k$ 则将客户端的梯度方向"拉回"到全局方向。这一修正有效地消除了数据异构性引起的梯度漂移。
SCAFFOLD 的理论优势在于其收敛速率与数据异构性参数 $\Gamma$ 无关（在适当的条件下），这意味着即使数据分布高度异构，算法仍然可以高效收敛。然而，SCAFFOLD 需要额外的存储空间来维护控制变量（每个客户端和服务器都需要存储），增加了系统的内存开销。
4.4 系统异构性与掉队者问题
系统异构性（System Heterogeneity）指联邦学习系统中客户端在计算能力、存储空间、网络带宽、可用时间等方面的差异。这种异构性是联邦学习系统面临的独特挑战，在传统分布式学习中通常不存在。
系统异构性的主要表现包括：计算能力差异，不同设备的 CPU/GPU 性能可能相差数十倍；网络条件差异，有线网络、Wi-Fi、4G/5G 的带宽和延迟差异巨大；存储限制，部分设备可能无法存储完整的全局模型；能量约束，移动设备的电池容量限制了可执行的计算量；可用性差异，不同设备的在线时间和参与训练的意愿不同。
掉队者（Straggler）问题是系统异构性带来的最直接影响。在同步联邦学习中，服务器需要等待所有被选中的客户端完成本地训练后才能进行聚合。计算能力弱或网络条件差的客户端可能成为掉队者，拖慢整个训练过程。
解决掉队者问题的主要策略包括：异步联邦学习（Asynchronous FL），服务器在收到任意一个客户端的更新后即进行聚合，无需等待所有客户端。代表性算法包括 FedAsync 和 M-FL。然而，异步聚合引入了"模型过时"（Model Staleness）问题，即基于旧版本全局模型训练的客户端更新可能不适用于当前版本。半异步联邦学习（Semi-Asynchronous FL），服务器设定一个等待时间窗口，在窗口内完成训练的客户端参与本轮聚合，超时的客户端被忽略。自适应策略（Adaptive Strategy），根据客户端的历史表现动态调整分配给每个客户端的计算任务量，为计算能力弱的客户端分配更少的本地训练轮数或更小的模型。
4.5 模型异构性与知识蒸馏
模型异构性（Model Heterogeneity）指联邦学习中不同客户端使用不同的模型架构或模型大小。这种异构性在实际场景中很常见：不同设备可能支持不同大小的模型（受内存和计算能力限制）；不同客户端可能根据自身数据特点选择了不同的模型架构；随着技术发展，部分客户端可能已经升级到新模型而其他客户端仍使用旧模型。
传统的 FedAvg 要求所有客户端使用相同的模型架构，因为参数平均操作需要在对应的参数之间进行。当模型架构不同时，参数之间不存在一一对应关系，简单的参数平均无法进行。
处理模型异构性的主要方法包括：
知识蒸馏（Knowledge Distillation）方法：不直接聚合模型参数，而是通过知识蒸馏在客户端之间共享知识。具体地，每个客户端使用一个公共的无标签数据集（或代理数据集），在其他客户端的模型上进行推理，获取输出分布（Soft Label），然后用这些输出分布来训练自己的本地模型。代表性工作包括 FedDF 和 CTD。
参数对齐（Parameter Alignment）方法：通过某种方式将不同模型映射到一个公共的参数空间，然后在该空间中进行聚合。例如，可以通过网络剪枝（Pruning）将所有模型稀疏化到相同的结构，或者通过知识蒸馏将所有模型的知识转移到一个公共的小模型中。
个性化模型方法：放弃寻找统一的全局模型，允许每个客户端维护自己的个性化模型。客户端之间通过部分参数共享、正则化约束或元学习等方式实现知识迁移，同时保持模型的个性化。
三、深入分析与讨论
3.1 个性化联邦学习的理论框架
个性化联邦学习（Personalized Federated Learning, pFL）是处理数据异构性的重要范式。与标准联邦学习追求单一全局模型不同，个性化联邦学习的目标是为每个客户端找到一个适合其本地数据分布的个性化模型。
从统计学习的角度看，个性化联邦学习可以建模为多任务学习（Multi-Task Learning）问题。每个客户端的本地模型是一个独立的"任务"，联邦学习的目标是在利用客户端间共享信息的同时，保留每个任务的个性化特征。
个性化联邦学习的主要方法可以分为以下几类：
全局-局部分解方法：将模型参数分为全局部分和局部部分。全局部分在所有客户端之间共享和聚合，局部部分仅在本地训练。例如，在 CNN 中，卷积层参数作为全局部分共享特征提取能力，全连接层参数作为局部部分适应本地数据分布。
正则化方法：在本地目标函数中添加正则化项，约束本地模型不偏离全局模型太远（如 FedProx），或者不偏离某个个性化参考模型太远。Per-FedAvg 使用元学习（Meta-Learning）框架，学习一个易于个性化到本地数据的全局初始化。
混合方法：结合多种个性化策略。例如，FedBABU 保持模型上层（靠近输出层）不训练，只训练下层（靠近输入层），然后在上层为每个客户端学习一个个性化的分类头。
个性化联邦学习的评估标准也与标准联邦学习不同。除了全局平均性能外，还需要关注个性化性能（每个客户端在其本地测试集上的性能）、性能方差（衡量个性化效果的一致性）以及公平性指标。
3.2 联邦学习中的公平性问题
联邦学习中的公平性（Fairness）是一个日益受到关注的问题。由于数据异构性的存在，全局模型可能对某些客户端表现良好而对另一些客户端表现较差。在某些应用场景中，这种不公平性可能带来严重的后果。
公平性的定义可以从多个角度理解：分组公平（Group Fairness），要求模型在不同客户端群体（如不同地区、不同设备类型）上的性能差异不超过某个阈值；最小性能保证（Minimax Fairness），要求最大化最差客户端的性能；分布公平（Distributional Fairness），要求模型性能的分布满足某种公平性准则（如均等机会）。
实现公平联邦学习的主要方法包括：约束优化方法，在优化目标中添加公平性约束，如 $\min_w \max_k F_k(w)$（最小化最差客户端的损失）；重新加权方法，根据客户端的性能动态调整其在聚合中的权重，给性能较差的客户端更高的权重；模型混合方法，为每个客户端提供全局模型和本地模型的混合，混合比例根据本地数据分布自适应调整。
公平性与效率之间存在固有的权衡。追求完全公平可能需要牺牲全局平均性能，因为资源被更多地分配给了表现较差的客户端。在实际应用中，需要根据具体场景的需求，在公平性和效率之间找到合适的平衡点。
3.3 异构联邦的前沿研究方向
异构联邦领域的研究仍在快速发展，多个前沿方向值得关注。
基础模型联邦学习（Foundation Model Federated Learning）研究如何在联邦学习框架下训练和适配大规模基础模型（如大语言模型）。由于基础模型的参数量巨大（数十亿到数千亿），直接应用传统的联邦学习算法面临通信和计算方面的巨大挑战。参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术如 LoRA、Adapter 等为这一问题提供了新的解决思路。
跨模态联邦学习（Cross-Modal Federated Learning）研究如何在不同客户端拥有不同模态数据（如文本、图像、音频）的情况下进行协作学习。这要求联邦学习系统能够处理模型异构性和数据异构性的双重挑战。
持续联邦学习（Continual Federated Learning）研究如何在数据分布随时间变化的动态环境中进行联邦学习。这不仅需要处理空间上的数据异构性，还需要处理时间上的概念漂移（Concept Drift）。
四、实践案例
4.1 FedProx 在跨机构医疗数据联邦学习中的应用
在一个跨 8 家医院的医疗影像联邦学习项目中，各医院的数据分布存在显著差异。不同医院的影像设备品牌、成像参数、患者群体特征都不相同，导致严重的数据异构性。使用标准 FedAvg 训练时，全局模型在某些医院上的表现明显低于其他医院。
引入 FedProx 后，通过在本地目标函数中添加近端项（$\mu = 0.001$），有效限制了各医院本地模型偏离全局模型的程度。实验结果显示，FedProx 将各医院间模型性能的方差降低了 35%，最差医院的诊断准确率提升了 8 个百分点。
在实践中，$\mu$ 值的选择对结果影响较大。过小的 $\mu$ 无法有效约束梯度漂移，过大的 $\mu$ 则限制了各医院根据本地数据特点进行适配的能力。项目通过网格搜索确定了最优的 $\mu$ 值，并发现最优值与数据异构程度正相关。
4.2 个性化联邦学习在推荐系统中的应用
在一个跨平台推荐系统的联邦学习项目中，不同平台的用户群体存在显著差异（年龄、兴趣、消费习惯等）。使用统一的全局推荐模型无法很好地满足各平台的个性化需求。
项目采用了全局-局部分解的个性化联邦学习方案。推荐模型的 Embedding 层和底层网络作为全局部分进行联邦聚合，顶层的推荐头（Prediction Head）作为局部部分在本地训练。这样，各平台共享了底层的用户和物品表示学习能力，同时保持了顶层推荐策略的个性化。
实验结果表明，个性化联邦学习方案相比标准 FedAvg 在平均推荐准确率上提升了 12%，同时各平台间的性能方差降低了 40%。与每个平台独立训练的本地模型相比，个性化联邦学习通过共享底层知识，在数据量较少的平台上获得了显著的性能提升。
五、常见误区与注意事项
5.1 误区一：数据异构性总是有害的
数据异构性虽然增加了联邦学习的优化难度，但它也反映了真实世界数据的多样性。在某些情况下，适度的数据异构性可以提高全局模型的泛化能力，因为它迫使模型学习到更鲁棒的特征表示。关键不是消除数据异构性，而是设计能够有效利用异构数据的算法。
5.2 误区二：个性化联邦学习不需要全局模型
个性化联邦学习的目标是为每个客户端找到个性化模型，但全局模型仍然发挥着重要作用。全局模型提供了来自其他客户端的共享知识，是个性化的基础和起点。完全没有全局信息的纯本地训练往往效果较差，特别是在本地数据量有限的情况下。
5.3 误区三：更多的本地训练总是能改善性能
在数据异构性存在的情况下，过多的本地训练会导致客户端模型过度拟合本地数据，偏离全局模型，反而降低聚合后的性能。FedProx 的近端项正是为了解决这一问题。本地训练轮数的选择需要综合考虑数据量、异构程度和模型复杂度。
5.4 注意事项：公平性与效率的权衡
在追求公平性的过程中，需要注意公平性与效率之间的权衡。过度关注最差客户端的性能可能导致全局平均性能显著下降。在实际应用中，应该根据业务需求设定合理的公平性目标，而不是追求绝对的公平。
5.5 注意事项：异构性度量的选择
不同的异构性度量方法可能给出不同的结论。在选择异构性度量时，需要考虑其与实际模型性能之间的相关性。Dirichlet 分布参数 $\alpha$ 虽然易于控制，但可能无法准确反映真实场景中的数据异构性。建议结合多种度量方法，并通过实际实验验证。
六、本章小结
本章系统介绍了联邦学习中异构性的多种表现形式及其处理方法。数据异构性通过梯度漂移影响模型收敛，FedProx 和 SCAFFOLD 分别从约束本地训练和修正梯度方向两个角度解决了这一问题。系统异构性导致的掉队者问题可以通过异步聚合和自适应策略来缓解。模型异构性需要借助知识蒸馏或参数对齐等技术来处理。个性化联邦学习为每个客户端提供定制化模型，在保持知识共享的同时适应本地数据特点。公平性是异构联邦中不可忽视的问题，需要在效率和公平之间找到平衡。这些技术和方法为应对实际联邦学习场景中的异构性挑战提供了系统的解决方案。
七、思考题与练习
设计一个实验，定量分析数据异构程度（使用 Dirichlet 分布参数 $\alpha$ 控制）对 FedAvg、FedProx 和 SCAFFOLD 三种算法性能的影响。描述实验设置、评估指标和预期结果。
推导 FedProx 的本地目标函数关于模型参数 $w$ 的梯度，并分析近端项 $\frac{\mu}{2}\|w - w_t\|^2$ 如何影响梯度方向和大小。
比较同步联邦学习和异步联邦学习在以下场景中的适用性：（a）客户端数量和计算能力差异很大；（b）数据异构性很高；（c）对模型收敛速度要求很高。
设计一个基于知识蒸馏的模型异构联邦学习方案。假设有 3 个客户端分别使用 ResNet-18、ResNet-34 和 MobileNetV2，描述你的方案并分析其优缺点。
实现一个个性化联邦学习算法，将模型分为全局部分和局部部分。在 CIFAR-10 上使用 10 个客户端（Non-IID 划分）进行实验，比较个性化方案与标准 FedAvg 的性能差异。
分析以下公平性优化策略的效果：（a）基于客户端性能的动态加权聚合；（b）最小化最大损失（Minimax）优化目标；（c）约束最差客户端性能不低于某个阈值。
调研并总结联邦学习中处理系统异构性的至少三种工程实践策略，分析它们在不同硬件环境下的效果。
讨论基础模型（如大语言模型）联邦学习面临的独特异构性挑战，以及可能的解决方案。