MATLAB算法实战应用案例精讲-【人工智能】联邦学习（二）（附python代码实现）

目录

前言

几个高频面试题目

面向隐私保护的机器学习（PPML）和安全机器学习（Secure ML）的区别：

联邦学习、安全计算是什么关系？ 

联邦学习有哪些类型？如何区分横向联邦学习和纵向联邦学习？

什么是IID？什么是Non-iid？

联邦学习训练后的模型是一个公共的模型，而各个客户端的数据经常是Non-iid的，怎么办？

联邦学习中，不同数据孤岛在联邦学习过程中是否有隐含权重（即算法模型中本身没有设计权重，但实际学习中形成了不同权重）,如何解决？

联邦学习对数据污染的鲁棒性如何？理论上是否存在“胡克盲点”式攻击可能（即通过少量针对性数据污染攻击，导致算法模型直接被污染至不可用状态）？

联邦学习里，非凸优化的联邦平均（Federated averaging）是怎么做的呢？也就是说，当模型的参数被平均的时候，是否模型表现会变的更差？

联邦学习对RPA部署及数据中台部署的影响？

如何看待差分隐私在联邦学习中的应用？

算法原理

什么是联邦学习

联邦学习的产生动机：

联邦学习分类

横向联邦学习

纵向联邦学习

联邦迁移学习

【联邦学习常用框架】

联邦学习1.0 – 传统联邦学习（Federated Learning）

联邦学习2.0 -- 安全多方学习（Secure Multi-party Learning）

联邦学习3.0 -- 群学习（Swarm Learning）

代码实现

python

---

 

前言

经典的机器学习方法基于样本数据（库）训练得到适用于不同任务和场景的机器学习模型。这些样本数据（库）一般通过从不同用户、终端、系统中收集并集中存储而得到。在实际应用场景中，这种收集样本数据的方式面临很多问题。一方面，这种方法损害了数据的隐私性和安全性。在一些应用场景中，例如金融行业、政府行业等，受限于数据隐私和安全的要求，根本无法实现对数据的集中存储；另一方面，这种方法会增加通信开销。在物联网等一些大量依赖于移动终端的应用中，这种数据汇聚的通信开销成本是非常巨大的。

联邦学习允许多个用户（称为客户机）协作训练共享的全局模型，而无需分享本地设备中的数据。由中央服务器协调完成多轮联邦学习以得到最终的全局模型。其中，在每一轮开始时，中央服务器将当前的全局模型发送给参与联邦学习的客户机。每个客户机根据其本地数据训练所接收到的全局模型，训练完毕后将更新后的模型返回中央服务器。中央服务器收集到所有客户机返回的更新后，对全局模型进行一次更新，进而结束本轮更新。通过上述多轮学习和通信的方法，联邦学习消除了在单个设备上聚合所有数据的需要，克服了机器学习任务中的隐私和通信挑战，允许机器学习模型学习分散在各个用户（客户机）上存储的数据。

联邦学习自提出以来获得了广泛的关注，并在一些场景中得以应用。联邦学习解决了数据汇聚的问题，使得一些跨机构、跨部门的机器学习模型、算法的设计和训练成为了可能。特别地，对于移动设备中的机器学习模型应用࿰