迁移学习前沿探究探讨 低资源 领域泛化与安全迁移
迁移学习是机器学习的一个重要研究分支，侧重于将已经学习过的知识迁移应用于新的问题中，以增强解决新问题的能力、提高解决新问题的速度。
4月8日，在AI TIME青年科学家——AI 2000学者专场论坛上，微软亚洲研究院研究员 王晋东 做了《 迁移学习前沿探究探讨：低资源、领域泛化与安全迁移 》的报告，他提到，目前迁移学习虽然在领域自适应方向有大量研究，相对比较成熟。但低资源学习、安全迁移以及领域泛化还有很多待解决的问题。
针对这三方面的工作，王晋东提供了三个简单的、新的扩展思路，以下是演讲全文，AI科技评论做了不改变原意的整理。
所有内容可以在作者整理维护的Github上最流行的迁移学习仓库：transferlearning.xyz 上找到相关材料
今天介绍迁移学习三个方向的工作： 低资源、领域泛化与安全迁移 。迁移学习英文名称：Transfer learning，基本范式是通过微调“重用”预训练模型。纵观机器学习的绝大多数应用，都会采用这种预训练+微调的范式，节省成本。
上图迁移学习范式示例，在Teacher网络模型中，经过输入、输出一整套流程训练，已经获得比较好的性能。Student模型想要训练，则可以固定或者借用Teacher网络的Tk层，然后单独根据任务微调模型，如此可以获得更好的性能。
目前，在Cv领域，已经存在ResNet；在NLP领域已经有BERT、RoBERT等模型可供使用。如上图，2016年GitHub上有个统计，关于迁移学习的Repository总计有2220个，当前可能会更多。
上图展示了，过去五年，迁移学习领域在顶级会议上取得的进展。最早是吴恩达在NIPS16上表示迁移学习在未来非常重要；然后，CVPR2018上有一篇最佳论文是关于迁移学习的；同年，IJCAI18上，有团队用迁移学习的手法赢得ADs竞赛；2019年，ACL会议上，有学者强调迁移学习的范式在NLP领域非常重要，一年后，一篇迁移学习论文拿到了该会议的最佳论文提名。
一直到去年，深度学习三巨头表示，现实的世界中，数据分布不稳定，有必要开发快速适应小数据集变化的迁移模型。
事实上，随着我们认知越来越多，会逐渐认识到迁移学习有很多问题待解决，需要不断开发新的方法。
在移学习范式中，如果训练数据和预训练模型刚好匹配，则能开发出性能优越的应用；如果有较大差异，则可以借助“外援数据”进行修正，然后获得目标模型，进而在测试（未知）数据上获得较好表现。
从训练数据到测试数据，整套流程中，其实存在很多问题，例如：
目前，领域自适应方面已经有大量研究成果、该领域相对较成熟。但低资源学习、安全迁移以及领域泛化等方面还有很多待解决的问题。
低资源学习的本质是，依赖少量的有标签的样本去学习泛化能力强的模型，期望其在未知的数据上表现良好。但问题在于，在各种场景下如何确保小数据中的标签仍然含有知识、且这些知识能被迁移到大量的无标签数据上。
经典的工作来自于NeurIPS 2020，当时谷歌在论文中提出FixMatch算法，通过一致性正则和基于阈值的置信度来简化半监督学习，设置固定阈值调整迁移学习的知识。
公式如上，模型学习的置信度要根据阈值来判定，如果大于一定的域值，就使用这些数据进行训练和预测；否则这些数据则不参与下次训练。
那么，对于半监督学习而言，预训练模型仅考虑阈值就足够了吗？谷歌在论文中，将阈值设置为0.95，显然这个数字是由谷歌的实验得出，其实我们在真实世界中，永远无法得知的取值是多少。
基于此，需要学习一个更真实的阈值，也即开发一种自适应学习，让模型根据数据灵活决定值。为了验证这一想法，我们先回答“选择固定阈值还是灵活阈值”。
如上图（左）所示，固定阈值的Loss下降的特别慢。同时，通过对比两种选择的ACC指标也能证明，如上图（中），对于不同的类别，需要设置不同的阈值。
在“动态调整”的思想下，我们在NeurIPS 2021上提出FlexMatch算法，有以下几个特点：
实验结果表明，如上图（右）所示，在同样的数据集上，该方法呈现正向曲线，效果比较稳定。FlexMatch的设计思想借用了“课程学习”，半监督学习常用给不确定样本打伪标签的策略，伪标签的学习应该是循序渐进的迁移的过程，即由易到难的过程，然后类别的学习也是由易到难的过程。同时，FlexMatch采取了聚类假设：类别和阈值息息相关。
以上是该思想的流程图，和FixMatch大同小异，不同之处是强调在不同类别上，会预估学习难度，然后自适应调整阈值。
以上是在CIFAR10/100、SVHN、STL-10和ImageNet等常用数据集上进行了实验，对比了包括FixMatch、UDA、ReMIXmatch等最新最强的SSL算法。实验结果如上表所示，可以发现FlexMatch在标签有限的情况下能显著改进。在未引入新的超参数、无额外计算的情况下，对于复杂任务，也有显著改进，且收敛速度显著提升。
值得一提的是，针对该领域，我们开源了一个半监督算法库TorchSSL，目前已支持算法有：Pi-Model，MeanTeacher，Pseudo-Label，VAT，MixMatch，UDA，ReMixMatch，FixMatch。
现实世界中存在大量语言，但有很少的标注数据，世界上有7000种语言，常用的语言也就那么几十种，剩下绝大大多数都是低资源的语言。需要对小数据进行模型训练，同时能够避免模型过拟合。所以，针对低资源语言的自动语音识别(ASR)仍然是端到端(E2E)模型的一个挑战。
迁移学习的解决方案是，对资源丰富的语言进行预训练，对资源低的语言进行微调，对资源丰富的语言和资源低的语言进行多任务学习，同时对资源丰富的语言进行元学习，以快速适应资源不足的语言。
具体而言，要发现语言之间的联系，例如上图表明，不同的语言、不同的语系之间会有相似、相关性。这些语言具体怎么分布，有哪些相似性？我们的目标是如何自适应学习这种关系。
当前主要有两种方法：隐式、显式。其中，隐式是指不对他们的关系做任何假设，通过网络直接学习；显式是指假设语言之间存在线性关系，简化算法。
基于上述两点，我们就设计了两个简单的算法MetaAdapter和SimAdapter。前者能够直接学习不同语言之间的关系；后者假设语言之间是线性关系，用注意力机制进行学习。同时，结合MetaAdapter和SimAdapter，我们设计了SimAdapter+，能达到更好的效果。具体模型结构如下所示，只用微调数据里面的参数，就可以去完成网络的训练。
领域泛化的目的是利用多个训练分布来学习未知领域的通用模型。存在数据属性随时间动态变化，导致动态分布变化等问题。因此，需要捕捉数据的动态分布变化，例如如何量化时间序列中的数据分布。
针对上述挑战，我们提出AdaRNN。首先将时间序列中分布动态改变的现象定义为时序分布漂移 (Temporal Covariate Shift, TCS)问题，如上图所示将一段时间的数据分为A、B、C以及未知数据，可以看出A、B之间，B、C之间以及A、C之间的数据分布相差比较大，如何解决？分两步走：先来学习数据最坏情况下的分布，然后匹配最坏分布的差距。
具体而言，采用聚类方法优化问题，然后用贪心算法求解序列分布，将数据分成几段；最后，设计领域泛化进行匹配分布。
我们在四个真实数据集上测试了算法的效果，包括1个分类任务(行为识别)和3个回归任务(空气质量预测、用电量预测和股价预测)。实验结果表明，模型性能有一定的提升。此外，我们发现不仅在RNN上，Adaptive方法对于Transformer结构也一样有效。
安全迁移体现在迁移学习的各个方面，例如如何确保迁移学习模型不会被滥用？如何在保证效果的同时降低迁移模型的复杂性？如何进行安全的迁移学习、避免模型受到恶意攻击而对用户造成影响？
举个例子，在软件工程领域，如果软件有恶意BUG，一旦你在开源社区下载该软件，不仅会继承该软件好的功能，也会继承它的容易受攻击的弱点。另外，如果黑客知道用户的软件使用了哪段开源代码，便可以对你的应用软件发动相应攻击。
我们统计了一下，在Teacher到student的微调范式中，Student可以从Teacher中继承那些易受攻击的弱点的概率为50%~90%。换句话说，最坏的情况是Teacher怎么被攻击，Student便可以被攻击。因为Teacher的模型是公开的。
因此，安全迁移研究的目的是如何减少预训练模型被攻击的情况，同时还能维护性能。这其中会解决未知攻击、DNN模型缺乏可解释性等难题。
我们考虑两种攻击：对抗攻击，例如熊猫图片中加入某些噪声，AI会将其识别成长臂猿；后门攻击，神经网络结构本身就存在一些可能被利用的东西，例如输入数字7，然后输出数字8。
针对安全迁移问题，我们提出ReMoS算法，主要思想是：找出网络有用权重，剔除无用权重。第一步：需要计算神经元；第二步：评估Teacher模型对Student模型的重要性，计算两者之差；根据以上两步，就可以轻松裁减不需要的权重。
实验结果发现，ReMoS方法几乎不会显著增加计算量，其收敛速度与微调模型基本一致，显著好于从头开始训练。
上图（右）画出了剪枝之后的权重和网络层的关系。此结果说明随着网络层数据的加深，网络越来越与学生任务相关，因此，在深层的权重大部分被重新初始化了。这一发现也符合深度网络可迁移性的结论。
总结一下，今天主要介绍了三方面，低资源学习、领域泛化以及安全迁移。我为这三个方面提供了三个简单的、新的扩展思路。希望接下来的研究者能够设计出更好的框架，新的理论，然后在迁移学习的安全性方面去做一些探索。
原创文章，未经授权禁止转载。详情见 转载须知 。
实习僧，专注实习,校招的校园招聘平台。为大学生提供国内外行业巨头在内的40万+企业实习、校园招聘岗位信息。助力大学生职业发展，帮助企业有效招聘，找实习校招就上实习僧。
信阳升华化工科技有限公司16年专注研发生产真石漆搅拌机,为客户提供一站式解决方案,主营:立式真石漆搅拌机、干粉搅拌机、腻子粉搅拌机、卧式真石漆搅拌机等,致力于帮助客户一站式解决真石漆问题,咨询电话：19603768669.
全国人大常委会官方网站，是全国人大及其常委会的重要舆论媒介，信息公开、服务代表、联系人民的重要平台。
深圳市亿美电器维修工程有限公司致力于深圳空调维修，深圳空调拆装，深圳空调清洗，空调加雪种，空调清洗，空调移机，以及冷水机维修，制冰机维修，冷库维修与安装等业务。包括深圳深圳中央空调拆装,深圳美的空调拆装，深圳格力空调拆装，深圳中央空调清洗，深圳沙井空调拆装。
河南皓泉水处理材料有限公司专业生产石英砂滤料，鹅卵石滤料，无烟煤滤料，锰砂滤料，稀土瓷砂滤料，陶粒滤料，海绵铁滤料，纤维球，长柄滤头，铁碳微电解填料，活性氧化铝等净水材料,是一家重合同守信用的斜管填料生产厂家，我们期待与您的合作！
一家家装为您提供优质的装修服务，拥有优质的装修建材，精湛的装修工艺，让您售前无虑，售后无忧。
西安封箱胶带定制厂家推荐西安中森华茂实业有限公司其主要经营西安封箱胶带,西安外墙胶带,西安美纹纸胶带,西安透明胶带等一系列产品,及加工生产于一体.多年生产加工经验.相关设备20余台套.源头企业.厂家直销,在市场获得一致好评.价格合适,质量有保障.欢迎大家来电咨询!
273游戏网(www.273game.com)是非常专业的绿色安全下载站,每天都会推荐超多热门安卓游戏和软件下载,还有着精心推荐的热门排行榜,下载渠道也是非常快速稳定的,让所有用户有着最舒适的下载体验,欢迎大家来273游戏网下载资源!
潮尚旅行是北京推荐的周边游旅行社,主要为北京天津河北朋友解决一日两日周末的旅游出行线路,平台会定期组织滑雪、亲子、团建拓展等活动,为您的出行解决交通门票客栈旅店等问题。
南京手机号码在线选号，南京手机靓号免费申请、南京手机卡选号大厅、电话卡网上申请办理。南京移动、联通、电信无限流量卡、腾讯大王卡、阿里宝卡、移动大王卡，电信星卡申请办理官方入口，打造号码行业生态系统。
磨粉机设备厂家-上海世邦集团生产的工业磨粉机主要有：LM立磨，LUM超细立式磨粉机，MTW欧版磨粉机，MTM雷蒙磨粉机，SCM超细磨粉机等，主要用于煤粉制备、石灰石制粉、公路矿粉等非金属矿制粉领域的细粉和超细粉的制粉需求。世邦集团生产的磨粉机，厂家直销，报价合理，售后完善...
抗爆阀,气密阀,抗爆涂层,抗爆门,抗爆窗,空气净化机
交通问题与经济发展息息相关，若城市发展带来的经济收益无法抵消交通拥堵带来的经济损失，则城市难以继续发展，解决问题前需先寻得问题根源，现实中造成交通拥堵有六大原因，针对上述六大原因，大华股份智慧交通算法总工梅雨做客雷锋网，详述了大华在城市交通拥堵治理层面的实践、思考，他提到，全面的精确的交通检测是做好交通治理的前提条件，交通治理必须要深...。
向量数据库已经成为除大模型之外的又一热词，众所周知，数据是构建大模型的三大要素之一，所以从一定程度上来说，向量数据库能突破大模型在时间和空间上的限制，为企业利用数据价值带来更多的帮助，也有人形象比喻道，大模型是人的，大脑，，向量数据库就像，海马体，一样，能够为大模型提供，长期记忆，谈到向量数据库，还要从大模型说起，目前对于大模型业界...。
没有一个冬天不会过去，没有一个春天不会到来，近日网上流传一封来自SaaS行业的公开信，信中提到，中国的SaaS企业，尤其是中小企业短期面临着业务停顿与资金流断流风险，SaaS厂商既被推到前所未有的，风口，时刻，更是置身一个充满巨大考验的危急关头，疫情与SaaS行业打了个照面，留下一地未解的难题，客观来看，这些难题不是百分百由于疫情造成...。
发表在综合交流大区2018，12，2615，08色彩如何优化硬件是基础家用投影机的色彩如何优化，对于很多不熟悉投影机原理的朋友来说，其实并不明白投影机的色彩优化，其实是分硬件和软件两个方面的，这两个方面缺一不可，仅仅依靠软件优化，达不到顶级效果，仅仅有硬件优势，也无法真正做到色彩优异，今天我们就来谈谈家用投影机的色彩优化问题，你不知道...。
为颈椎消费过万，年轻人组团“吊脖子”,腰椎,颈托,颈椎病,肩周炎,吊脖子
1.联结国在第63届联结国大会上选择将6月8日定为，环球陆地日，2.联结国秘书长潘基文在这一日子宣布讲话，强调人类行为对陆地生态形成了渺小侵害，3.他呐喊团体和群体独特承当起包全陆地环境和正当应用陆地资源的责任，4.2009年，联结国将第一个环球陆地日的主题定为，咱们的陆地，咱们的责任，，并确定6月8日为庆贺这一天的时期，5.201...。
十二生肖属鼠的人可以说和老鼠的性情差不多，在他的环球里必需是进门看眼色，是一个十分敏感的生肖属相，上方是我分享的，一同来看看吧，属鼠的兽性情与命运属鼠的人容易相处，上班致力，生活节省，除非他十分青睐的人，他是不会小气解囊的，所以，假设你从他那里获取一件珍贵礼物，那么，他对你的评估必定相当高，但是虽然他会一丝不苟，并以此来炫耀，但他从不...。
很显然没有，只要先坐车到宜宾，遂宁到宜宾四个小时的样子，宜宾道南溪只需半个小时，这几年的票价不确定了，遂宁绿动天英新动力汽车开售有限公司是海鲜网么该公司不是海鲜网，遂宁绿动天英新动力汽车开售有限公司是一家专一于新动力汽车开售的公司，成立于2021年，法定代表人是王浩，注册位置于四川省遂宁市大英县蓬莱镇新城区中海小道盛会国内1幢1楼1号...。
斯堪尼亚，这个瑞典的汽车制作商，其消费的车辆关键在瑞典的工厂中实现，该品牌的卡车分为四个关键类别，配送、修建、远程运输和重型运输，每款卡车都在车头有特定的编号，这个编号可以协助识别其发起机规格和实用用途，例如，，164L，和，580，指的是驳回16升排量、580马力发起机的4系列短途运输车，在日常生存里，斯堪尼亚卡车承当着关键的角色，...。
1.多平台比价其实无论是在国际玩还是出国旅行，订酒店这块形式都差异不大，重要是围绕该区域内关系的旅行APP平台，像泰国适宜第一次性出国游的国度，国际出名的携程、去哪儿、飞猪等平台均可检查泰国外地住宿状况，但我倡导大家可以下载Agoda和Booking两个国际通用APP，比起国际软件，这两个APP首先房源短缺、用户评论多、都可以在苹果或...。
这款车叫普利茅斯猎兽，也有人叫潜行者，99年左右由克莱斯勒开局消费，是一款超级跑车，减速度好，有敞篷，车长得奇异，但公司却一下就接到了超越十万辆的订单！！这是辆什么车啊，普利茅斯，猎兽，鉴定终了普利茅斯也称逆风，是美国克莱斯勒汽车公司一个分部，1928年被克莱斯勒汽车公司收买，普利茅斯是当年英国向美国迁徙僧侣的港口，逆风部的产品就用普...。
Spyder是一个简单的Python开发环境，最大的特点就是模仿MATLAB的工作空间的功能，可以很方便地观察和修改数组的值
目前涉及石墨烯的所有讨论和研究，都是尝试利用该材料的柔韧特性创建复合材料，应用在可穿戴和柔性电子上，雷锋网也曾经做过不少覆盖，只是目前大部分石墨烯复合材料都存在坚硬和不灵活的问题，雷锋网消息，日前来自爱尔兰的科研团队灵光乍现，将石墨烯和儿童玩具SillyPutty，彩色橡皮泥，组合在一起，瞬间点燃了纳米材料社区的激情，所产生的全新复合...。
因为上一代用骁龙765G的骚操作，在大家心目当中，GooglePixel系列算是断更一代，而Pixel6系列就不同了，有Google自研SoC——GoogleTensor，Tensor是张量的意思，名字就很AI，很ML，、追上时代的相机硬件，也有相对厚道的价格，重回旗舰市场的计算摄影大佬，终于肯用现代的CMOS了！机圈立即奔走相告，直...。
发表在综合交流大区2020，8，715，20随着科技的进步，如今已经研发出手机投影仪，即在手机的基础上，增加了投影功能，支持全网通4G和双卡双待，具备前后摄像头，可谓是功能强劲，那么这种手机投影仪多少钱呢，笔者整理出几款销量较高的型号，供大家了解市场行情，一、众赢V1S投影手机目前售价3799元该款手机投影仪的镜头设置在顶部左侧，打开...。
据泰国媒体报道，7月13日，泰国警方发现一具遗体，疑心为此前失踪的中国女性YanRuimin，兖女士，，警方正在启动DNA关系检测，▲泰国警方在农村地域发现疑似受益人遗体泰国警方称，嫌疑人为MaQingyan，6月30日曾在曼谷租车，7月1日，兖女士乘坐这辆车，今日晚些时刻，监控摄像头曾拍下嫌疑人与兖女士独特乘坐此车的画面，起初，嫌疑...。
第五代移动通讯技术，5thGenerationMobileCommunicationTechnology，简称，是一种具备高速率、低时延和大衔接特点的新一代宽带移动...还在用4G，6G就要来了?各国6G争夺战近20年前就已悄然打响1.当中国在全球5G领域取得领先地位时，美国意识到自己处于落后状态，并已开始布局6G技术，令人惊讶的是，...。
