第三章 安全聚合 (Secure Aggregation)
一、导读
3.1 本章学习目标
理解联邦学习中模型更新可能泄露隐私信息的根本原因
掌握安全聚合（Secure Aggregation）的定义、目标和威胁模型
深入理解基于掩码（Masking）的安全聚合协议的数学原理
了解基于同态加密（Homomorphic Encryption）的安全聚合方案
掌握基于秘密共享（Secret Sharing）的安全聚合协议
理解安全聚合与差分隐私（Differential Privacy）的区别与互补关系
分析安全聚合协议在通信效率、计算开销和容错性方面的权衡
了解安全聚合在大规模联邦学习系统中的工程实现挑战
3.2 为什么本章如此重要
第二章中我们详细学习了 FedAvg 算法，了解到联邦学习通过不共享原始数据来保护隐私。然而，一个关键的认知误区是认为联邦学习天然具备完善的隐私保护能力。事实上，大量研究已经证明，联邦学习中客户端上传的模型更新（梯度或参数）可能包含丰富的训练数据信息，攻击者可以利用这些信息推断出敏感的训练样本。
安全聚合作为联邦学习隐私保护的核心技术之一，旨在确保中央服务器只能获得所有参与客户端模型更新的聚合结果，而无法获取任何单个客户端的模型更新。这一安全保证对于建立参与方的信任至关重要。在医疗、金融等对隐私保护要求极高的领域，安全聚合往往是联邦学习系统部署的必要前提。
安全聚合的重要性还体现在它与联邦学习算法设计的深度耦合中。理想的安全聚合协议应该对上层算法透明，即聚合结果应该与不使用安全聚合时完全一致。然而在实际实现中，安全聚合协议会引入额外的通信开销、计算开销和容错性挑战。如何在保证安全性的前提下最小化这些额外开销，是安全聚合研究的核心问题。
此外，安全聚合技术本身也是密码学与分布式系统交叉领域的研究热点。从早期的基于同态加密的方案，到基于秘密共享的高效协议，再到结合差分隐私的轻量级方案，安全聚合技术的演进反映了隐私保护领域在安全性、效率和实用性之间不断寻求平衡的努力。
3.3 核心问题引导
为什么仅仅依靠联邦学习的"数据不出本地"原则不足以保护隐私？
安全聚合要解决的核心问题是什么？它的威胁模型包含哪些假设？
基于掩码的安全聚合协议是如何工作的？掩码如何生成和消除？
同态加密在安全聚合中扮演什么角色？其计算开销如何优化？
秘密共享与安全聚合之间有什么联系？如何设计高效的安全聚合协议？
安全聚合与差分隐私能否结合使用？各自的优势和局限是什么？
当部分客户端掉队（Drop Out）时，安全聚合协议如何保证正确性？
大规模联邦学习系统中，安全聚合的工程实现面临哪些挑战？
二、核心概念详解
3.1 联邦学习中的隐私威胁模型
在设计安全聚合方案之前，必须明确定义威胁模型（Threat Model），即系统需要防范哪些类型的攻击者以及攻击者的能力范围。
半诚实服务器模型（Semi-honest Server Model）是安全聚合中最常见的威胁模型。在该模型中，中央服务器被假设为按照协议规范诚实执行所有操作，但同时会试图从收到的消息中推断出关于客户端训练数据的额外信息。这种模型适用于许多实际场景，例如云服务提供商虽然希望提供正确的服务，但也有动机从客户数据中获取商业价值。
恶意服务器模型（Malicious Server Model）是更强的威胁模型，其中服务器可能偏离协议规范，发送精心构造的消息来攻击客户端。例如，服务器可能向某个客户端发送一个特殊的全局模型，使得该客户端返回的模型更新直接暴露其训练数据。防御恶意服务器需要更复杂的密码学工具，如零知识证明（Zero-Knowledge Proof）和可验证计算（Verifiable Computation）。
诚实但好奇的客户端模型（Honest-but-Curious Client Model）中，部分客户端可能试图从协议执行过程中推断其他客户端的私有信息。安全聚合协议需要确保即使多个客户端串通，也无法获取非串通客户端的私有信息。
在这些威胁模型的基础上，安全聚合的目标可以形式化定义为：在协议执行结束后，服务器只能获得聚合结果 $\sum_{k \in S} \Delta w_k$（其中 $\Delta w_k$ 是客户端 $k$ 的模型更新），而无法获得任何单个 $\Delta w_k$ 的信息（信息论安全或计算安全意义上的）。
3.2 基于掩码的安全聚合协议
基于掩码（Masking）的安全聚合是最直观且高效的安全聚合方案之一。其核心思想是为每个客户端的模型更新添加一个随机掩码，使得所有掩码之和为零，从而在聚合时掩码自动抵消。
协议的基本流程如下：假设有 $K$ 个参与客户端，每个客户端 $k$ 的模型更新为 $\Delta w_k$。在训练开始前或每轮通信开始时，客户端之间通过配对密钥协商（Pairwise Key Agreement）建立安全通道。具体地，每对客户端 $(k, j)$ 使用 Diffie-Hellman 密钥交换协议协商一个共享密钥 $s_{kj}$，基于该密钥生成随机掩码 $m_{kj}$。
客户端 $k$ 对其模型更新添加掩码后上传：
$$\Delta w_k' = \Delta w_k + \sum_{j \neq k} m_{kj}$$
其中掩码 $m_{kj}$ 满足 $m_{kj} = -m_{jk}$（即客户端 $k$ 和 $j$ 之间的掩码互为相反数）。
服务器收到所有客户端的掩码更新后进行聚合：
$$\sum_{k=1}^{K} \Delta w_k' = \sum_{k=1}^{K} \left(\Delta w_k + \sum_{j \neq k} m_{kj}\right) = \sum_{k=1}^{K} \Delta w_k + \sum_{k=1}^{K} \sum_{j \neq k} m_{kj}$$
由于 $m_{kj} = -m_{jk}$，所有掩码项两两抵消，最终得到：
$$\sum_{k=1}^{K} \Delta w_k' = \sum_{k=1}^{K} \Delta w_k$$
服务器因此获得了正确的聚合结果，而无法推断出任何单个客户端的模型更新。
该协议的关键优势在于其高效性：掩码的添加和消除只需要简单的向量加法操作，不需要复杂的密码学运算。同时，它提供了信息论安全（Information-Theoretic Security），即即使服务器拥有无限的计算能力，也无法破解单个客户端的模型更新。
3.3 基于同态加密的安全聚合
同态加密（Homomorphic Encryption, HE）是另一种实现安全聚合的重要密码学工具。同态加密允许在密文上直接进行特定的代数运算，运算结果解密后与在明文上执行相同运算的结果一致。
在联邦学习的安全聚合中，同态加密的应用方式如下：每个客户端使用公钥对其模型更新进行加密，将密文上传至服务器。服务器在密文上执行聚合运算（通常是加法同态），得到加密的聚合结果。最后，由指定的客户端或独立的解密方对聚合结果进行解密，得到明文聚合值。
根据支持运算的类型，同态加密方案可以分为部分同态加密（Partially Homomorphic Encryption, PHE）、 somewhat 同态加密（Somewhat Homomorphic Encryption, SHE）和全同态加密（Fully Homomorphic Encryption, FHE）。在安全聚合中，由于聚合操作主要是加法运算，部分同态加密（如 Paillier 加密方案）即可满足需求。
Paillier 加密方案具有加法同态性质：给定两个明文的加密 $E(m_1)$ 和 $E(m_2)$，可以计算 $E(m_1 + m_2) = E(m_1) \cdot E(m_2) \mod n^2$，其中 $n$ 是公钥参数。这一性质使得服务器可以在不知道任何客户端模型更新的情况下完成聚合。
然而，同态加密的计算开销显著高于基于掩码的方案。Paillier 加密的加密和解密操作涉及大数模幂运算，对于深度学习模型中数百万甚至数十亿的参数，计算开销可能成为系统瓶颈。为了解决这一问题，研究者提出了多种优化策略，包括批量加密（Batch Encryption）、参数分块（Parameter Partitioning）以及与秘密共享相结合的混合方案。
3.4 基于秘密共享的安全聚合
秘密共享（Secret Sharing）是密码学中的基础工具，允许将一个秘密值分割为多个份额（Share），分发给多个参与方，使得只有足够数量的参与方联合才能恢复原始秘密值。
在安全聚合中，最常用的是加法秘密共享（Additive Secret Sharing）和 Shamir 秘密共享。加法秘密共享将秘密 $s$ 分割为 $K$ 个份额 $s_1, s_2, \ldots, s_K$，满足 $s = s_1 + s_2 + \cdots + s_K$。每个客户端持有自己模型更新的一个秘密共享，服务器收集所有份额后进行聚合。
具体而言，客户端 $k$ 的模型更新 $\Delta w_k$ 被秘密共享为 $(\Delta w_k^{(1)}, \Delta w_k^{(2)}, \ldots, \Delta w_k^{(K)})$，其中 $\sum_{j=1}^{K} \Delta w_k^{(j)} = \Delta w_k$。份额 $\Delta w_k^{(j)}$ 被发送给客户端 $j$。每个客户端 $j$ 收到所有客户端的份额后，计算本地聚合 $\sum_{k=1}^{K} \Delta w_k^{(j)}$，并将结果发送给服务器。服务器将所有本地聚合结果相加，得到最终的全局聚合 $\sum_{k=1}^{K} \Delta w_k$。
秘密共享方案的优势在于可以自然地处理客户端掉队问题。通过设置秘密共享的门限（Threshold），只要存活的客户端数量超过门限，就可以正确恢复聚合结果。这一特性对于大规模联邦学习系统尤为重要，因为移动设备的不可靠性使得客户端掉队是常态而非例外。
3.5 安全聚合中的客户端掉队处理
客户端掉队（Client Drop-out）是联邦学习中的常见问题，也对安全聚合协议的设计提出了挑战。在基于掩码的安全聚合中，如果某个客户端在上传掩码更新后掉队，其对应的掩码无法被正确抵消，导致聚合结果错误。
Bonawitz 等人提出的安全聚合协议通过引入多轮交互和密钥协商机制来解决客户端掉队问题。协议分为五个阶段：第一，密钥协商阶段，客户端之间交换 Diffie-Hellman 密钥对的公钥；第二，掩码种子共享阶段，客户端使用配对密钥加密掩码种子并互相分享；第三，客户端执行本地训练并添加掩码后上传结果；第四，服务器检查哪些客户端成功上传，未上传的客户端被标记为掉队；第五，存活的客户端解密掉队客户端的掩码种子，恢复掩码并从聚合结果中消除。
这一设计的关键在于：对于存活客户端之间的掩码，它们自然抵消；对于掉队客户端的掩码，通过存活客户端的合作可以恢复并消除。这样，最终聚合结果只包含存活客户端的模型更新之和，且服务器无法获取任何单个存活客户端的模型更新。
三、深入分析与讨论
3.1 安全聚合的效率-安全性权衡
安全聚合协议的设计本质上是在安全性、通信效率和计算效率之间进行权衡。
从安全性角度看，基于掩码的方案提供信息论安全，基于同态加密的方案提供计算安全（依赖于密码学假设的计算困难性），而结合差分隐私的方案提供统计安全（形式化的隐私保证）。信息论安全是最强的安全保证，但通常伴随着更高的通信开销。
从通信效率角度看，基于掩码的方案需要在客户端之间交换掩码种子，通信量与客户端对的数量成正比（$O(K^2)$）。对于大规模联邦学习系统（$K$ 很大），这一开销可能不可接受。层次型密钥协商和基于树的协议可以将通信复杂度降低到 $O(K \log K)$ 或 $O(K)$。同态加密方案的通信开销主要在于加密后的模型参数传输，通常比明文参数大 2 到 3 倍。
从计算效率角度看，基于掩码的方案计算开销最小（仅涉及向量加法），同态加密方案的计算开销最大（涉及大数模幂运算）。秘密共享方案的计算开销介于两者之间。在实际部署中，需要根据系统的具体约束（客户端计算能力、网络带宽、安全要求）选择合适的方案。
3.2 安全聚合与差分隐私的协同
安全聚合和差分隐私是两种互补的隐私保护技术，它们的结合可以提供更全面的隐私保证。
安全聚合保护的是单个客户端的模型更新不被服务器获知，但它不保护聚合结果中可能包含的个体信息。例如，如果只有一个客户端参与聚合，那么聚合结果就等于该客户端的模型更新，安全聚合无法提供任何保护。差分隐私通过在聚合结果中添加精心校准的噪声，确保单个客户端的参与或退出对输出结果的影响是可忽略的。
DP-FedAvg 是将差分隐私与 FedAvg 结合的典型方案。在该方案中，每个客户端首先对模型更新进行裁剪（Clipping），限制其 $L_2$ 范数不超过某个阈值 $S$。然后，服务器在聚合结果上添加高斯噪声或拉普拉斯噪声。通过合理设置裁剪阈值和噪声尺度，可以实现 $(\epsilon, \delta)$-差分隐私保证。
当安全聚合与差分隐私结合使用时，安全聚合确保服务器无法看到单个客户端的贡献，差分隐私确保聚合结果不会泄露个体信息。这种双重保护机制在隐私保护要求极高的场景（如医疗数据训练）中尤为重要。然而，两者的结合也带来了额外的复杂性，如噪声的添加可能影响模型收敛速度，需要在隐私预算和模型性能之间进行权衡。
3.3 安全聚合的前沿研究方向
安全聚合领域仍在快速发展，多个前沿方向值得关注。
轻量级安全聚合协议的研究致力于降低安全聚合的计算和通信开销，使其适用于资源受限的移动设备。研究方向包括基于纠错码（Error-Correcting Code）的聚合方案、基于随机投影（Random Projection）的压缩聚合方案以及利用硬件加速（如 GPU、TEE）的优化方案。
鲁棒安全聚合（Robust Secure Aggregation）研究如何在安全聚合的基础上检测并抵御恶意客户端的攻击。传统的拜占庭鲁棒聚合规则（如 Krum、Median、Trimmed Mean）需要在明文上操作，与安全聚合的密文操作存在矛盾。如何在保护隐私的同时实现鲁棒聚合，是一个重要的开放问题。
跨轮次安全聚合（Cross-Round Secure Aggregation）研究如何在多轮联邦学习中高效地重用安全聚合的密钥材料。每轮都重新进行密钥协商和掩码生成的开销很大，如何设计跨轮次的安全机制，在保证前向安全（Forward Security）的同时减少重复开销，是一个具有挑战性的研究方向。
四、实践案例
4.1 Google 的大规模安全聚合部署
Google 在其联邦学习基础设施中部署了基于 Bonawitz 等人方案的安全聚合协议，用于保护 Gboard 等产品的模型训练。这是安全聚合技术在工业界最大规模的部署之一。
在该系统中，每轮联邦学习涉及数千到数万台 Android 设备。系统采用两阶段安全聚合协议：第一阶段进行密钥协商和掩码种子共享，第二阶段执行本地训练和掩码更新上传。为了处理大规模客户端的场景，系统采用了分层聚合架构，由多个边缘聚合节点分担中央服务器的压力。
工程实践中面临的主要挑战包括：客户端掉队率高（移动设备的网络不稳定性和用户行为不可预测性）、设备计算能力差异大（低端设备可能无法及时完成密码学运算）、通信延迟高（掩码种子共享需要多轮交互）。针对这些挑战，系统采用了异步执行、超时机制和自适应参数调整等策略。
该部署的经验表明，安全聚合的额外通信开销约为原始模型传输的 10% 到 30%，额外计算开销在可接受范围内。安全聚合对最终模型质量的影响可以忽略不计（聚合结果与不使用安全聚合时完全一致）。
4.2 医疗联邦学习中的安全聚合应用
在一个多医院协作的医学影像分析项目中，安全聚合被用于保护各医院的模型更新安全。该项目涉及 5 家医院，使用联邦学习协同训练一个胸部 X 光片的肺炎检测模型。
由于医疗数据的敏感性，项目要求即使中央服务器被攻破，也无法获取任何单个医院的模型更新。因此，系统采用了基于同态加密的安全聚合方案。每家医院使用 Paillier 公钥对其模型更新进行加密后上传，服务器在密文上完成聚合，最后由一家指定的医院进行解密。
在该场景中，客户端数量较少（5 家医院），但模型参数量较大（ResNet-50，约 2500 万参数）。同态加密的计算开销成为主要瓶颈，每次加密操作约需要 10 毫秒，总加密时间约 4 小时。为了解决这一问题，系统采用了参数分块和并行加密的优化策略，将总加密时间降低到约 30 分钟。
该案例说明，安全聚合方案的选择需要根据具体场景的特点（客户端数量、模型大小、安全要求、计算资源）进行综合考量。在客户端数量少但安全要求高的场景中，同态加密方案是一个可行的选择。
五、常见误区与注意事项
5.1 误区一：安全聚合可以替代差分隐私
安全聚合保护的是单个客户端的模型更新不被服务器获知，但它不保护聚合结果。如果参与聚合的客户端数量很少，或者某个客户端的数据分布与全局分布差异很大，聚合结果仍可能泄露该客户端的信息。差分隐私通过添加噪声确保单个客户端的参与对输出影响可忽略，提供了更强的隐私保证。两者应该结合使用而非相互替代。
5.2 误区二：安全聚合不影响模型质量
理论上，安全聚合的聚合结果与明文聚合完全一致，不影响模型质量。但在实际实现中，由于浮点数精度、量化误差等因素，安全聚合可能引入微小的数值偏差。在大多数情况下，这种偏差可以忽略不计，但在精度要求极高的场景中需要注意。
5.3 误区三：安全聚合可以防御所有攻击
安全聚合只防御服务器对单个客户端模型更新的窥探，不防御数据投毒攻击、后门攻击等模型层面的攻击。恶意客户端仍然可以通过上传精心构造的模型更新来影响全局模型。安全聚合需要与鲁棒聚合规则结合使用，才能同时防御隐私窥探和恶意攻击。
5.4 注意事项：密钥管理的安全性
安全聚合协议的安全性依赖于密钥材料的安全管理。如果客户端的私钥泄露，攻击者可以解密该客户端的掩码种子，进而恢复其他客户端的模型更新。在实际部署中，需要确保密钥材料的安全存储和及时更新，建议使用硬件安全模块（HSM）或可信执行环境（TEE）来保护密钥。
5.5 注意事项：协议复杂度与工程实现
安全聚合协议的工程实现比普通的 FedAvg 复杂得多，涉及多轮交互、密钥协商、异常处理、状态管理等多个环节。在实际部署前，需要充分测试协议在各种异常场景下的行为（如客户端掉队、网络超时、密钥失效等），确保系统的鲁棒性和可靠性。
六、本章小结
本章系统介绍了联邦学习中安全聚合技术的核心概念、主要方案和工程实践。我们首先分析了联邦学习中模型更新可能泄露隐私信息的威胁模型，然后详细讲解了基于掩码、同态加密和秘密共享三种主要的安全聚合方案的数学原理和实现方式。通过对比分析，我们理解了不同方案在安全性、通信效率和计算效率方面的权衡。安全聚合与差分隐私的结合可以提供更全面的隐私保护，而客户端掉队处理是大规模部署中的关键挑战。Google 的大规模部署和医疗联邦学习案例展示了安全聚合在实际应用中的可行性和价值。安全聚合是联邦学习隐私保护的重要支柱，但它不是万能的，需要与其他安全机制配合使用才能构建完整的隐私保护体系。
七、思考题与练习
设计一个梯度泄露攻击实验：假设你知道全局模型和某个客户端上传的梯度更新，尝试重建该客户端的一个训练样本。分析攻击成功的条件和影响因素。
比较基于掩码和基于同态加密的安全聚合方案在以下维度的差异：安全性级别、通信开销、计算开销、容错能力、实现复杂度。
推导基于掩码的安全聚合协议中，当有 $t$ 个客户端掉队时，存活客户端需要交换多少信息才能正确消除掉队客户端的掩码。
设计一个结合安全聚合和差分隐私的联邦学习协议，分析其隐私保证（epsilon, delta 的值）和对模型性能的影响。
实现一个基于 Paillier 同态加密的安全聚合原型，在 CIFAR-10 上测试其性能（模型准确率和计算时间），并与明文聚合进行对比。
分析安全聚合在以下攻击模型下的安全性：（a）服务器与一个客户端串通；（b）服务器试图通过发送恶意全局模型来攻击客户端；（c）多个客户端串通试图推断其他客户端的信息。
调研并总结至少两种鲁棒安全聚合方案，分析它们如何在保护隐私的同时抵御恶意客户端的攻击。
设计一个适用于大规模联邦学习系统（10000+ 客户端）的高效安全聚合协议，分析其通信复杂度和计算复杂度。