什么是联邦学习？

人工智能 (AI) 模型需要海量数据。这些数据集通常集中于单一位置进行模型训练，因此数据集中包含的任何个人身份信息 (PII) 都有可能在传输或存储时暴露。

联邦学习有助于解决这些问题，因为敏感信息仍保留在节点上，从而保护了数据隐私。它还允许协作学习，不同的设备或服务器有助于完善 AI 模型。

联邦学习涉及 4 个主要阶段：

● 初始化

● 本地训练

● 全局汇总

● 迭代

联邦学习首先在中央服务器上初始化全局机器学习模型。这一模型是联邦学习过程的基础。

中央服务器将全局模型分发到连接的客户端节点，这些节点可以是其他服务器或边缘设备，例如智能手机和物联网 (IoT) 设备。它还会传递相关信息，包括超参数等配置变量以及训练数据的历次或完整遍数。

在接收全局模型和所有必要的详细信息后，每个客户端节点都会继续进行训练。这一训练过程类似于神经网络，客户端节点仅使用其设备或本地数据来训练模型。

当它们完成了一定数量的历次后，客户端节点会将更新后的模型参数或梯度传输到中央服务器，不会发回经过完整训练的本地模型或原始数据。

中央服务器汇总所有客户端节点的更新。它会采用不同的聚合形式，但常见方法是“联邦平均”，即计算所有更新的加权平均值，然后将这些组合更新纳入全局模型。

中央服务器再次将新的全局模型分发到连接的客户端节点，并重复联邦学习过程，直到模型完全收敛或训练完成。

联邦学习可以根据数据集的结构或客户端节点的性质而变化。它通常分为以下类别：

● 跨设备

● 跨孤岛

● 水平式

● 垂直式

跨设备联邦学习使用连接不稳定且计算资源有限的设备，例如手机和物联网设备。这种类型的联邦学习需要考虑不可靠的网络连接，并且由于客户端节点只能处理小型数据集，因此通常需要许多设备来进行本地训练。¹

例如，电子商务公司可根据多个设备的用户数据来训练推荐引擎，以提供更加个性化的产品推荐。¹

与跨设备联邦学习方法不同，跨孤岛所需的服务器或数据中心数量有限，且具有稳定的连接性和足够强大的计算资源以存储和处理大量数据。客户端节点被视为承载个人数据的孤岛，出于隐私考虑，这些数据不得离开系统或与外界共享。¹

跨孤岛联邦学习在金融和医疗保健等行业中具有重要价值。例如，医院联盟可以利用自己的患者数据训练共享模型，以增强对某些疾病的诊断或预测能力。同样，银行联盟可以利用自己的交易记录训练通用机器学习算法，以优化欺诈检测。¹

在水平式联邦学习中，客户端节点数据集具有相同功能或结构，但样本不同。例如，诊所可以训练共享分析模型，因为各个诊所的临床试验数据变量相同，但涉及试验的患者数据值不同。

与之相对，垂直式联邦学习涉及共享相同样本但具有不同结构或特征的客户端节点数据集。例如，零售商和银行可能会建立合作伙伴关系，以提供更个性化的客户服务，他们可以训练通用的推荐引擎，因为他们可能拥有相同的客户数据，但采购和财务信息各不相同。

联邦学习的去中心化特性具有以下主要优势：

● 效率

● 增强数据隐私

● 提高合规性

联邦学习无需访问或传输大型数据集。这会降低延迟并减少训练机器学习模型所需的带宽。

联邦学习系统的隐私保护架构意味着敏感数据永远不会离开设备。这有助于最大限度地降低网络攻击或数据泄露的风险。

大多数联邦学习系统还实施了包括差异化隐私和安全多方计算 (SMPC) 在内的加密技术，以增强数据隐私。

差异隐私在模型更新传输到中央服务器之前会增加噪声，而 SMPC 允许中央服务器对加密模型更新进行安全聚合计算。这些方法使逆向工程或区分哪个客户端节点贡献了更新变得困难，从而加强了数据安全。

由于数据在本地保存和处理，联邦学习可以帮助企业遵守数据保护法规。对于处理私人数据的金融和医疗保健等行业来说，合规性至关重要。

联邦学习标志着 AI 模型训练的革命性转变，但它也存在局限性。以下是与联邦学习相关的一些挑战：

● 对抗性攻击

● 通信开销

● 异质性

联邦学习容易受到数据投毒攻击，即威胁参与者在本地训练过程中注入恶意数据，或更改用于传输的模型更新，以破坏或损坏中央模型。

异常检测、对抗训练、严格的访问控制和其他安全措施有助于防范此类攻击。

客户端节点与中央服务器之间的定期交流可能会导致严重的瓶颈。为了提高通信效率，可以考虑一些策略，例如在传输之前压缩模型更新、执行量化和稀疏化以传递更新的子集或仅传递必要的更新。实施这些策略时必须权衡随之而来的准确性下降问题。

联邦学习的去中心化设计可以增强数据多元性，从而减少 偏见。然而，这也意味着数据可能并非独立同分布，且可能不平衡。某些设备或许比其他设备拥有更多的数据，致使全局模型偏向这些数据密集型节点。

解决此类统计异质性的方法包括：采用考虑分布变化的抽样方法、在模型训练时聚类数据分布相似的节点，以及使用专为异构网络设计的优化算法（如 FedProx）。

系统异构性也是一个问题，设备具有不同的计算功能。自适应本地训练可用于根据节点可以处理的内容来定制模型训练。

联邦学习有望帮助解决现实世界中的问题，各组织甚至可以跨越国界和地理区域联合起来。以下是一些可以从联邦学习中获得益处的行业：

● 财务

● 医疗保健

● 零售和制造业

● 城市管理

金融机构可以共同合作，使信用风险评估模型的数据多样化，从而为服务不足的群体提供更好的信贷机会。他们还可以使用联邦学习来提供更个性化的银行和投资建议，从而改善用户体验。

医院和研究机构可以训练共享深度学习模型，辅助发现治疗罕见疾病的药物。联邦学习系统还有助于优化治疗方案，提升针对弱势患者群体的疗效。

零售商可以使用联邦学习来跟踪多个地点的销售和库存情况，而无需泄露任何客户数据，从而最大限度地提高库存水平并减少浪费。同时，制造商可以汇总来自供应链不同部分的数据以优化物流。

智慧城市可以利用联邦学习从分散在城市各处的大量设备和传感器中收集洞察分析，同时保护居民数据的私密性。例如，这些洞察分析可用于更好地指挥交通，或监测空气和水污染等环境状况。

在实际应用中实施联邦学习可能很复杂，但存在多个框架可以在分散数据上训练模型并简化服务器和客户端工作流。以下是一些流行的联邦学习框架：

● Flower

● IBM Federated Learning

● NVIDIA FLARE

● OpenFL

● TensorFlow Federated

Flower 是一个开源 框架，用于协作式 AI 和数据科学领域。它可用于构建具有众多连接客户端的联邦 AI 系统。它与大多数机器学习框架兼容，并可与各种硬件平台和操作系统互操作。

IBM Federated Learning 是企业环境中的联邦学习框架。它适用于各种机器学习算法，包括决策树、朴素贝叶斯分类器、神经网络和强化学习。

IBM 联邦学习还配备了丰富的融合方法库，用于组合模型更新，并支持各种公平技术，以帮助对抗 AI 偏见。

NVIDIA FLARE（联邦学习应用程序运行时环境）是一款用于联邦学习的开源且与领域无关的软件开发工具包。

它具有内置的训练和评估工作流、隐私保护算法以及用于联邦平均和 FedProx 的学习算法。NVIDIA FLARE 还有用于编排和监控的管理工具。

OpenFL 是一个基于 Python 的开源联邦学习框架，最初由 Intel 创建，现在属于 Linux® 基金会。OpenFL 可与 PyTorch 等深度学习框架和 TensorFlow 等机器学习库配合使用。其安全功能包括差异化隐私和对基于硬件的可信执行环境的支持。

TensorFlow Federated (TFF) 是一个开源框架，由 Google 开发，用于使用去中心化数据进行机器学习。TFF 的应用程序编程接口 (API) 分为 2 层：

● 联邦学习 API 是高级层，可以执行联邦学习任务，例如使用现有机器学习模型进行训练或评估。

● Federated Core API 是构建新的联邦学习算法的低层。