清华大学刘洋:联邦教育的先驱,扩展了纵向联合学习和联合转移学习

　　2016 年，谷歌最早提出了联邦学习（Federated Learning），通过让用户数据不出本地，而在设备本地进行模型训练。

　　目的是保障大数据交换时的信息安全、保护终端数据和个人数据隐私以及合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。

　　由于其将训练数据的“横向划分”，在后来的分类中被称为横向联邦学习。

　　在那之后的三、四年时间里，一股联邦学习研究热潮被掀起，该领域每年的论文数量从个位数上升至上百篇，联邦学习迈入加速发展的阶段。

　　清华大学刘洋的研究方向是机器学习、联邦学习等。她是纵向联邦学习、联邦迁移学习等算法框架和“广义”联邦机器学习概念的主要提出者之一，在国际上率先提出了包括线性回归模型、树模型、神经网络模型等多种机器学习模型在加密分布式场景下的训练算法，两次获得国际人工智能领域 AAAI 工业创新应用奖。

　　此外，刘洋还参与共同创建国际最早、最大的工业联邦学习开源平台（FATE）和生态体系（FedAI.org），并共同编写了世界上首个联邦学习的 IEEE 国际标准 P3652.1。

　　其学术成果被 Openmined PySyft、百度 PaddleFL、字节跳动 Fedlearner、FedML 和 微众银行 FATE 等多个国际主流隐私计算和联邦学习开源项目实现，并应用于智慧金融、智慧医疗、智慧营销等领域。

　　以问题为驱动，以产业化为目标

　　刘洋认为当时谷歌提出的横向联邦学习并没能解决企业之间数据孤岛问题。而在 AI 持续落地的行业背景下，尤其是小企业缺少数据的支持，产业需要解决如何让小企业享受到大企业的数据价值，即保障数据、隐私安全的前提下破除孤岛问题。

　　2018 年，刘洋踏上了离开美国的飞机，回到国内加入微众银行，并在之后的三年里曾担任微众银行资深研究员、AI 部门联邦学习研究团队负责人。在此之前，她曾在美国多家科技公司从事大数据方向工作。

　　“智能产业需要以数据为驱动，而国内在数据资源和场景方面是最多的，相应的机会也就更多。”在做出回国决定时，丰富的技术落地场景是重要因素之一。

　　刘洋表示，不论是在学界还是业界，她研究风格从来都是以问题为驱动、以产业化为目标。

　　在微众银行时期，刘洋带领团队推进关于联邦学习，AI 隐私和信任的研究和应用示范，在金融，医疗保健和计算机视觉等领域落地首个联邦学习应用系统。

　　期间，刘洋与微众银行首席人工智能官杨强首先提出了“广义”联邦学习概念与分类。

　　在学界的影响方面，相关论文在 ACM TIST 发表以来被下载超过 2 万次，引用近 2 千次，仅用 2 年时间成为 ACM TIST 史上最受欢迎前 2 位文章，也是联邦学习领域全球高引文章。

　　刘洋带领研究团队率先提出纵向联邦学习和联邦迁移学习等算法框架，以及多种机器学习模型在加密分布式场景下的训练算法。

　　如今这两种算法已经成为业界和学界主流的框架，获得隐私计算领域相关 30 余件授权专利，超过 130 件专利申请，并在 JMLR、AAAI、IJCAI、USENIX 等人工智能领域重要国际期刊和会议发表学术论文 40 余篇，Google Scholar 引用数超过 7000 次。

　　在刘洋的带领下，微众银行提出了一种主要针对于纵向联邦学习的联邦学习系统架构：首先在加密空间上对样本进行对齐，识别出参与联邦学习的各个相同的用户；在识别出这些用户后，通过协作者对用户数据进行加密模型训练。加密训练包含以下步骤：公钥的分发与收集、加密过程中中间结果的交互、加密汇总梯度与损失、更新双方模型。

　　在训练过程中，传递的并不是数据本身或数据的加密形式，而是运算过程中产生的中间结果的加密形式。整个训练过程保证了效果的前提下，没有向其它各方泄露任何的底层数据，从而保证了数据安全。

　　相比之下，谷歌用联邦学习服务自己的 To C 业务端的需求，而刘洋团队提出的纵向联邦学习则能满足 B 端需求，用以解决企业与企业之间的数据孤岛难题，利于打造一个更开放、类似企业联盟的生态。

　　在纵向联邦学习的训练过程中，多主体需要每次迭代时实时交换梯度更新信息进行联合计算和训练，导致通信效率成为决定纵向联邦学习框架可扩展性的主要瓶颈问题，制约了纵向联邦学习的广泛应用。

　　针对这一问题，刘洋和团队潜心钻研。近日，由刘洋担任一作的论文（由刘洋和明尼苏达大学张欣为合作，通讯作者为刘洋和微众银行首席 AI 官杨强教授）发表在“信息与通信工程”学科的国际顶级期刊上。

　　研究团队提出了面向分布式特征的纵向联邦学习的高效通信协作学习框架，通过系统地采用本地 Block Coordinate Descent（BCD）算法和联邦协作，在保证理论收敛性的指导下进行足够数量的局部更新来解决纵向联邦学习场景中昂贵的通信开销问题。

　　纵向联邦学习方法允许具有关于同一用户不同属性集的多方联合构建模型，而无需公开其原始数据或模型参数，突破了传统纵向联邦学习通信瓶颈并提高了安全性，助力跨机构间数据价值流通。

　　“联邦学习进入2.0 阶段”

　　在产业落地方面，微众银行将刘洋团队研发的联邦学习技术用于小微企业信贷以及个人贷款的风险管理，据介绍，在金融领域的应用中，可以通过联邦学习技术打通企业征信和发票数据的交互渠道，结合第三方数据建立风控模型。

　　“通过使用联邦学习技术，我们可以对企业的征信进行更好的预测和评分。”刘洋表示。

　　微众银行曾在 2020 年通过联邦学习，完善了多家小微企业的征信评分。该项目最终获得了当年深圳市金融科技专项奖一等奖，这也是深圳为产业转化项目给到的最高奖项之一。

　　目前联邦学习技术持续完善，将在 AI、金融、医疗、智能制造等领域获得广泛应用的空间。

　　在自动驾驶领域，驾驶能力升级依赖持续的数据收集和系统迭代，传统自动驾驶系统训练往往是将所有车辆数据收到一个模型里进行训练，这种方式采集的成本很高。

　　5G 的逐渐普及将拓展联邦学习在其中的应用，将传统的集中式学习框架逐渐过渡到分布式的终端智能的互相学习的体系，这种体系可以使各个终端持续的进行分布式学习，而不用批量的收集数据，最终促进车端的智能化程度。

　　此外，联邦学习可以解决车与车之间的数据不共享、企业之间数据不能共享的问题；在车路协同的发展模式下，纵向联邦学习有助于打通路侧设备，交通数据等多方数据，同时避免延迟和隐私问题。

　　而在 AI 医疗场景下，医疗机构之间的数据无法互通带来了数据孤岛现象严重，各家医院都难以积累足量的数据。联邦学习技术可以在数据不出数据中心的情况下，进行模型的学习，提供一个隐私安全计算的环境，使得各方在保护用户隐私和信息安全的前提下提升系统效率，扩展 AI 在医疗领域的应用。

　　由于市场成熟度仍较低，刘洋团队还在打通技术从论文到落地的各个环节。“过去一年，我们联合产业界的伙伴做了非常多前期的示范性工作。智慧医疗对隐私计算的需求非常大，因此也成为了工作的重心。”

　　刘洋说：“技术在医疗场景中落地能够真正服务于医生，连接来自不同医院的数据，打造更精准的模型辅助诊断，最终让更广泛的就医群体受益。”

　　刘洋表示，其科研的目标一直都是解决真正的产业问题，在解决实际产业问题过程中驱动科研进展。她认为，目前联邦学习技术已经发展到了 2.0 阶段，即搭建了基础的架构，未来的工作重心则是让技术更安全、更高效地应用到产业当中。