联邦学习原理、方法和未来方向_链圈子

联邦学习是一种机器学习技术，它通过多个独立的会话，每个会话使用自己的数据集来训练一个算法。这种方式与传统的集中式机器学习技术不同，后者需要将本地数据集合并到一个训练会话中，也与假设本地数据样本是独立同分布的方法不同。联邦学习使得多个参与者可以在不共享数据的情况下，构建一个共同的、健壮的机器学习模型，从而解决了数据隐私、数据安全、数据访问权和异构数据访问等关键问题。它的应用涉及了包括国防、电信、物联网和制药等行业。一个重要的开放问题是何时/是否联邦学习优于汇总数据学习。另一个开放问题涉及设备的可信度和恶意参与者对学习模型的影响。

联邦学习的目标是在多个本地数据集上训练一个共同的机器学习模型，例如深度神经网络。一般原理是在本地数据样本上训练本地模型，并在一定频率下在这些本地节点之间交换参数（例如深度神经网络的权重和偏置），以生成一个由所有节点共享的全局模型。联邦学习与分布式学习的主要区别在于对本地数据集属性的假设，因为分布式学习最初旨在并行化计算能力，而联邦学习最初旨在训练异构数据集。虽然分布式学习也旨在在多个服务器上训练一个单一模型，但一个常见的潜在假设是本地数据集是独立同分布（i.i.d.）并且大致具有相同的大小。而这些假设都不适用于联邦学习；相反，数据集通常是异构的，并且它们的大小可能相差几个数量级。此外，参与联邦学习的客户端可能是不可靠的，因为它们更容易出现故障或退出，因为它们通常依赖于较弱的通信媒介（例如Wi-Fi）和电池供电系统（例如智能手机和物联网设备），而与之相比，分布式学习中的节点通常是数据中心，它们具有强大的计算能力，并且通过快速网络相互连接。

数学上，联邦学习的目标函数如下：

其中K是节点数，wk​是节点k看到的模型w的权重，Fk​(w)是节点k的本地目标函数，它描述了模型权重如何符合节点k的本地数据集。联邦学习的目标是在所有节点的本地数据集上训练一个共同的模型，换句话说：

本文将讨论联邦学习独特的特征和挑战，提供当前方法的广泛概述，并概述一些未来工作的方向，这些方向与广泛的研究领域相关。