下一代分布式AI协同合作范式 冯霁 (分布式前景)
8月7日-8月9日，2020年全球人工智能和机器人峰会（简称“CCF-GAIR 2020”）在深圳如期举办！CCF-GAIR由中国计算机学会（CCF）主办，香港中文大学（深圳）、雷锋网联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办，以“AI新基建 产业新机遇”为大会主题，致力打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。
8月9日下午，在「联邦学习与大数据隐私专场」上，创新工场南京人工智能研究院执行院长冯霁进行了题为「联邦学习：下一代分布式AI协同合作范式」的演讲。
以下是冯霁老师在大会的演讲实录，AI科技评论作了不修改原意的整理和编辑：
近几年，联邦学习技术带来了非常好的潜在商业落地场景与创业机会，创新工场AI研究院也花了许多精力去探究与联邦学习有关的商业落地以及现有的科研发展情况。
一、分布式计算
首先，我跟大家介绍一项与联邦学习有关的技术：分布式计算。
大家不妨先想想，分布式计算是怎么来的？
以上图所示自然语言处理模型的大小为例。最早的NLP模型大约有1200万个参数，截止目前为止最新的GPT-3则有1750亿个参数。不管是模型的大小还是训练集的大小，都在以接近指数级别的方式在增长。这时候，如果一台电脑没有足够大的容量处理海量数据，就需要使用分布式算法对数据进行并行处理。
假如你有超过30T的训练数据，那么我们就把这30T的数据均等地划分到100台服务器上，这样每台服务器就只占30T的1%。应用分布式计算时，每一个子节点只拥有一部分的数据，每一个子的Worker（进程）在本地进行一次梯度计算（相当于把本地所有数据扫一遍），计算出梯度之后，将计算结果传到中央服务器中，再由服务器把所有的梯度进行一遍更新。
分布式计算的特点是：这些数据只有单一拥有者，也就是说，我们看似把数据进行了某种程度上的划分，但数据的归属者只有一个。分布式并行计算的主要目的是为了提升效率。
有人会问，在分布式计算中，数据是不是没有出本地呢？确实是没有出本地，但是在以下的任务中，它和联邦学习的区别还是比较大的。
二、从分布式计算角度理解联邦学习
联邦学习刚被推出时就是分布式计算的一个变体。
在之前的范式中，worker一般分布在比较大的集群里，所有worker由一个非常高效的网络连接，worker与worker之间的通信效率非常高。但是在联邦学习中，有很多任务基本无法承担这种通信的代价。比如谷歌的手机输入法（最早的联邦学习应用）。每个人的手机可以看成是一个本地设备，如果每一次运算都要传一个梯度的信息，那么手机与云端通信的效率是非常低下的。如果在这种AI计算中用传统的分布式计算方式进行更新，效率会非常低下。
所以最早的联邦学习的第一篇算法并没有谈到同态加密，也没有谈到其他加密算法，就只是用计算来换取通信的效率。传统的分布式计算在每次进行计算时候，本地的计算节点会把所有的数据扫一遍，传一遍梯度。最早的联邦学习版本相当于是在本地让模型尽可能收敛之后，再传到中央服务器上，这样就相当于是用计算来换通信，解决了To C端联邦学习的目的。
刚才所提到的框架是分布式计算的升级版本，但仍然有许多不足。如果仅仅用计算换通信是没有办法解决一些现实问题的，比如：
1、多数据拥有者场景
当我们面临一个拥有多数据owner（拥有者）的场景，很多家医院想进行协同合作，这时候场景需要存在一个联盟激励。为什么用户要加入这个联邦学习系统中呢？这是传统的分布式计算所未曾面临的问题，因为数据的拥有者是单一的。此外，节点可能处于高度不稳定的状态。比如To C端的手机，有时候会掉线，有时候会没电，有时候压根没有计算反应。其次，计算成本非常高，尤其是To C端。也许5G的到来会缓解成本高的问题，但与传统的分布式机器学习相比，该场景的通信成本相对还是更高的。
2、数据隐私保护的要求更高
3、模型的鲁棒性/攻防安全问题
4、数据非独立同分布现象
以To C端为例，甲的手机上的图像跟乙的手机上拍的图像处于高度不平衡的状态。比如说一个男生的手机上只拍了几百张照片，一个女生的手机上可能有上万张照片。除了照片的数量，照片内容也不一样，女生可能更多是自拍或者人像，男生的照片内容则是其他。
三、研究展望
接下来分享的是我们认为在联邦学习领域值得研究的学术问题。
1、攻击防御
一个典型现象是：攻击者监听了联邦学习worker节点上中央服务器之间的信报，通过监听梯度/参数信息就可以猜出你的原始数据。这一块已经有了较为成熟的解决方案，比如同态加密、MPC、TEE等技术。但我们认为当下这些解决方案并不是最完美的，还存在计算效率不足与部署不方便等等缺陷。
上图是我们去年所做的发表在NIPS上的毒化训练，给数据下毒。数据下毒是一种非常独特的攻击方式。我们在训练集上修改肉眼不可见的扰动。如果做了相应的修改，任何的分类器经受过下毒的训练，当它看到干净的测试样板之后，基本上做出的决定都是错误的。
联邦学习的特点是：如果我们只下毒了一个或者多个参与方，有可能把整个模型进行毒化，也就是说在libConfuse算法下，我们可以通过下毒的方式攻击相关联邦学习的参与方。
如何设计一些更为鲁棒性的联邦学习算法来抵御这些攻击，是我们正在做的事情。
2、Non-I.I.D非独立同分布
目前联邦学习主要有三种应用：To C、To B和To G。尤其是在To C场景中，绝大多数情况下，联邦学习的数据会随着时间的变化而变化。也就是说，你在每一个时间点获得的数据样本并不是从独立同分布中采样出来的。在传统机器学习中有一个核心的算法假设，即数据都是独立同分布的。因此，在非独立同分布的场景下，有很多经典的机器学习算法没有办法被成功应用。所以我们认为，非独立同分布如何配合联邦学习的框架是一个很重要的学术问题。
假如随着时间的迁移，每一个联邦学习的参与者所拥有的数据是不平稳的。在这种情况下，集成学习能发挥很好的作用。给大家举几个论文的例子（如上图所示）。第一篇研究是使用了对冲的方式来对冲掉非平稳序列的风险。第二篇使用了模型重用的方式，因为分布随着时间的变化而变化，这是可以利用模型重用的集成算法来调用之前的知识，进一步应对非平稳概念的迁移。
四、研究方法
目前在联邦学习或其他机器学习框架中，常见的一种算法是Gradient Boosting Machine（GBM)。
它是一类串行的计算方法，每一次训练一个分类器，第二个分类器的训练是基于第一次分类器的结果。这种模型（尤其是在表格的数据中）有非常优秀的建模结果，但还是存在许多问题：
首先，因为它是一个串行训练的过程，所以训练成本大。基于这个算法本身的性质，我们没办法将N个分类器同时并行训练。其次，XGBoost很难适应随着分布迁移而产生的跟时序数据有关的问题。最后，像XGBoost之类的算法因自身存在的弊端，难以处理高维的回归任务。比如在GitHub的页面上，不管是XGBoost还是LightGBM对高维的回归问题都没有很好的解决方案。
为此，我们最近提出Soft Gradient Boosting MaCHIne（软梯度提升机）：
如果每一个基分类器都是可微的话，那么我们就把GBM的整个架构连接成一个可相关图，然后分别注入本地和全局的损失（两者恰好等于基分类器GBM中所对应的本地损失）。由于两个系统是可微分的，我们就可以同时训练所有分类器。第二个好处是，由于这样的更新方式可以用SGD训练，所以在适应streaming>
上图所示是相应的实验结果。大家可以看到不管是在联邦学习还是非分布式的场景下，SGB都比传统的GBM/XGBoost与联邦算法有更好的性能提升。“Federated Soft Gradient Boosting Machine for Streaming>
在分布式计算的场景下，我们也可以设计一个完全去中心化的网络拓扑结构（如下图所示）。
这就像杨强老师所说的：羊只能去邻居家吃草。在上图所示的全新架构里，只有相邻的节点之间才能交换梯度信息。如果两个节点之间没有一条边连着，那么就不可以进行通信。
从机器学习的角度来看，如果通过去中心化的网络拓扑结构来做相应的随机梯度下降，它能不能收敛？这取决于网络连接的强度。如果连接得非常稠密，它就会收敛得跟中心化的一样好。
基于这个理论保证，我们是否可以去设计一个去中心化的联邦学习架构，并将这个架构与其他一些目前比较火的技术进一步结合？
4、联盟动机的经济学分析
这是联邦学习框架区别于其他机器学习模型的地方，其中涉及到激励机制的分析。
五、总结
综上，我们认为联邦学习是一类重要的新型分布式人工智能协同合作平台，其未来潜在的研究方向包括：
1、模型安全方面的对抗攻防，比如数据下毒等等。
2、数据隐私的保护机制，比如设计除了同态加密和多方安全计算之外的隐私保护机制，以更好保护本地数据。
3、在联邦学习框架下设计能够适应非独立同分布的更好的算法。我们认为联邦集成学习也许是解决的方向之一。
4、设计新型的网络拓扑架构，比如是否存在一个更加高效的去中心化的联邦学习架构。
5、联邦学习的经济学机制。
提问：针对非独立同分布的情况，可不可以用语言信息来解决这个场景？
冯霁：这是两个范畴的知识。我认为是可以的，相当于用Mind Learning的方式去寻找一个能够适应复杂环境的更好的算法。我不用一个现有的算法去适应非独立同分布的问题，而是设计出一个算法去学习适应这个环境。我觉得这应该是能够起作用的方向。
原创文章，未经授权禁止转载。详情见 转载须知 。
【中公教育行测-行测备考平台】提供行测答题技巧、行测题库、行测常识，涉及公务员、事业单位、教师、银行、国企招聘等行测资料及试题。
我们的旅游网站提供全球各地的旅游目的地、景点、美食和文化体验，为您提供详细的旅游攻略和路线规划，让您轻松探索世界之美。同时，我们还提供多种住宿选择，让您的旅途更加舒适和难忘。
滁州市南谯区百聪草坪专业合作社位于安徽马尼拉草坪种植基地——滁州市珠龙镇，马尼拉草坪销售热线：15205500909，我们的草坪的品种齐全，质量好，价格优惠。凭着本本分分的生产经营赢得了许多的客户的好评，目前已经辐射到了周边几个省市，生产量可以满足任何客户的需求。主要生产经营的品种有：马尼拉，百慕大，高羊茅，虎皮草(中华结缕）等各种草坪。
金蝶云|金蝶云星辰|金蝶云星空|焦作金蝶|金蝶软件|金蝶ERP/K3|焦作电商软件|焦作电商ERP|在线会计|在线进销存|云之家|焦作金蝶软件售后培训|焦作店铺进销存|焦作市如虎科技|云会计|云进销存|云财贸|精斗云|云报销|云POS|在线会计代账
海口秀英区渊臻科技有限公司，是一家集汽车电瓶，汽车配件，汽车音响等产品的专业销售企业。致力于为汽车电瓶，汽车配件，汽车音响技术及产品服务。经营产品种类涵盖不同的客户需求：汽车电瓶，汽车配件，汽车音响等产品。我们无以为报，唯有不断努力，为您带来更优质的服务，更多样化的交流机会和更精彩的参展体验。
锦江区千彩阳光水族用品店多年来一直从事成都鱼缸定制,成都海鲜池定制,成都实木鱼缸等水族产品,咨询热线：18982061599
『德语助手』权威的德语在线词典，为您提供德语翻译、德语动词变位、德语输入法、德语学校课程学习、德语题库字典、德语背单词、德语入门听力发音等。
青岛三木机械设备有限公司生产裁板锯，为您提供裁板锯价格，裁板锯参数等信息，精密裁板锯、砂光机、木工排钻以及相关辅助设备等木工机械已有二十余年生产经验，是一家专业木工机械生产厂家
南通科美自动化科技有限公司
汉飞投资控股集团有限公司
福建四喜建筑工程服务有限公司，是一家现代建筑业服务型公司，公司注册资本金3600万，公司于2013年成立至今，组建了一支技术过硬、业务熟练、品德兼优的建筑业施工及服务队伍。公司拥有建筑多个施工总承包和专业承包、劳务分包、地质勘察施工劳务等资质；拥有一流的建筑业人力资源服务团队，集人才咨询、培训、输出、资质申报、资质维护于一体，承接各类建筑工程施工；承接各类型建筑施工劳务、地质勘察施工劳务
唐山市建筑工程质量协会
雷锋网报道，随着金融云在金融行业的广泛应用，价值日益得到体现，云上金融已经成为了广泛的共识，在9月6日召开的2018朗迪金融科技峰会上，腾讯金融云总经理胡利明分享了如何在云端构建智慧金融的相关话题，据他介绍，中国的智慧金融发展可以划分为四个阶段，当前，大部分金融机构都处在第二个阶段向第三个阶段演进的过程中，而在智慧金融的发展过程中，行...。
导读，农夫养了一只小羊，想给它吃各种不同营养成分的草料，需要去各地收集草料再运送回来喂它，但是有一天，草料场担心，熟客，农夫暴露他们的商业机密，不再允许将草料向外运输了，农夫非常着急，怎么办好呢，苦苦思考后，农夫想了个法子，带小羊到各个草场吃草，羊在各地移动，而草料不出本地，草料场既不用担心商业机密暴露，小羊也能健康成长，如果把草料换...。
大家好，我就是倪蘋，社区昵称是MLer，1，毕业于纽约大学计算机科学专业，我目前正在利物浦大学从事机器学习算法相关的研究和开发工作，研究领域包括NLP，CV和分布式计算，之前一直在关注领域内的各大顶会，后来通过AI科技评论的公众号发现了AI研习社，ai.yanxishe.com，，分享、交流的圈子又扩大了数倍，再此感谢研习社提供的交流...。
雷锋网按，本文作者系中国科学院软件研究所协同创新中心研究员薛云志，经济观察报记者陈伊凡采访整理，来源于经济观察报，本次转载已获授权，我从2012年接触区块链技术至今，已有6个年头，区块链从技术角度来说就是一个分布式的数据库，其特点就是去中心化、去信任和不可篡改，如果说人工智能是发展生产力，区块链技术则着眼于生产关系，有可能改变未来公司...。
雷锋网AI科技评论消息，日前，GoogleDevelopersblog正式撰文发布TensorFlow1.4版本，此次的更新迎来三个重大变化，Keras位于TensorFlowcore中，DatasetAPI支持更多功能，引入效用函数tf.estimator.train，and，evaluate等等，雷锋网AI科技评论编辑整理如下，T...。
12月27日消息，腾讯云分布式数据库TDSQL日前在东吴证券新一代核心交易系统中成功落地，助力该系统成为行业首个从基础设施和底层系统到上层应用全面自主可控的核心交易系统，目前系统稳定运行两周，平稳承载了16万多客户实盘交易业务，日均交易量接近亿元，据了解，这是迄今为止国内首个券商核心系统采用国产分布式数据库并成功投产的案例，也是继在银...。
11月3日，蚂蚁集团在云栖大会公布科技业务全景图，并发布云原生、隐私计算、安全科技、区块链等六大科技产品，助力机构数字化迈向产业协作数字化的产品体系浮出水面，多年BASIC技术战略迎来商业化实践成果，蚂蚁集团副总裁、数字科技事业群总裁蒋国飞透露，蚂蚁数字科技业务秉持，以数助实，的价值理念，在服务企业及机构数字化、产业协作数字化、可信价...。
3月24日，中国计算机学会技术前线委员会，CCFTF，将于深圳大学科技楼二号报告厅召开主题为，联邦学习，FederatedMachineLearning，技术及数据隐私保护，的第14期中国计算机学会技术前线研讨会，届时，将会有多位业内资深专家莅临现场围绕，联邦学习，这一主题做特邀报告，人工智能经过漫长发展，近些年成功突破技术与算力上...。
雷锋网AI科技评论按，3月24日，由CCF主办、微众银行和深圳大学微众金融科技研究院协办的第14期中国计算机学会技术前线研讨会于深圳大学科技楼二号报告厅圆满召开，研讨会的主题为，联邦学习，FederatedMachineLearning，技术及数据隐私保护，本次研讨会由微众银行首席AI官、香港科技大学杨强教授主持，同时，杨强教授还...。
7月18日，国际数据公司IDC发布，中国金融行业分布式事务型数据库市场份额，2023，技术验证结束，迎接高速增长，报告，下称，报告，报告，显示，2023年，腾讯云TDSQL凭借其在金融行业的长期大力投入，以20.6%的市场份额斩获中国第一，其中，在银行子市场，TDSQL同样以21.9%的市场规模稳居TOP1，成为金融行业本土化转...。
雷锋网AI金融评论报道，作为全球知名的数据库服务器提供商，甲骨文，Oracle，在2013年超越IBM，成为全世界第二大的企业软件公司，而在区块链行业，有一家专注于用区块链技术重构数据库的公司，它的创始人在和雷锋网AI金融评论的专访中表示，要做区块链行业的甲骨文，这家来自新加坡的区块链初创企业Bluzelle，在去年八月获得150万美...。
2023年2月27日，小米在2023年MWC世界移动通信大会，MWC2023，上正式发布小米无线AR眼镜探索版，小米无线AR眼镜探索版是首个无线分布式计算的AR眼镜产品，拥有视网膜级光环境适应显示体验，与手机一碰即连，支持创新微手势交互、完整大屏应用生态以及丰富互联互通场景，吸引了众多现场媒体驻足了解，开启无线时代，端到端延迟低至50...。
悬在教培行业头顶的，达摩克里斯之剑，终于挥下，在，双减政策，发布后，一夜之间，涉及到学科类培训的上市企业在资本市场遭遇了灭顶之灾，然而，在双减政策的寒风过后，教育市场并非是寸草不生，有一个教育细分赛道，似乎正在酝酿一场新的变革，下一个风口是教育机器人吗，双减政策对教育机器人的行业影响不大，，长期面向学校、机构和家庭提供STEAM教育...。
如今的人们对养生的意识渐渐增强，广大市民会经常出入各大养生会所，希望在专业人士的调养下让身体变的更加健康，长期以往将养生会所行业的发展空间加大，鑫道堂古方养生会所是备受万众瞩目的一个品牌，公司经营的养生项目种类繁多，满足不同消费者的养生所需，经过多年来的发展将品牌的名气和价值不断提升，是比较好的加盟项目，加盟鑫道堂古方养生会所公司怎么...。
发表在行业动态2021，3，217，55摘要，根据洛图科技最新的，中国智能投影零售市场月度追踪，报告，2021年1月智能投影仪销量35.6万台，同比增长68%，环比增长18%；销额为7.8亿元，同比增长52%，环比下降3%；其中当贝投影销量同比超350%，根据洛图科技最新的，中国智能投影零售市场月度追踪，报告，2021年开年，智能投影...。
外地期间12日，以色列国防军宣布申明称，今日下午以色列北部、中部包含特拉维夫在内的多地拉响防空警报后，以色列空军阻拦了三枚从黎巴嫩方向发射的炮弹，申明未提及人员伤亡及财富损失状况，总台记者王寅，...。
7月10日晚，四川内江市东兴区纪委监委颁布通报，日前，内江市东兴区纪委监委对内江市东兴区双才核心卫生院原党支部书记陈光春重大违纪违法疑问启动了立案审查考查，经查，陈光春理想决计丢失，纪法看法淡漠，为覆盖理想向组织提供虚伪状况；与他人串供，反抗组织审查；违犯中央八项规则精气和廉洁需要，收受或者影响公正口头公务的礼金；常年下班期间与治理服...。
