迁移学习前沿探究探讨 低资源 领域泛化与安全迁移
迁移学习是机器学习的一个重要研究分支，侧重于将已经学习过的知识迁移应用于新的问题中，以增强解决新问题的能力、提高解决新问题的速度。
4月8日，在AI TIME青年科学家——AI 2000学者专场论坛上，微软亚洲研究院研究员 王晋东 做了《 迁移学习前沿探究探讨：低资源、领域泛化与安全迁移 》的报告，他提到，目前迁移学习虽然在领域自适应方向有大量研究，相对比较成熟。但低资源学习、安全迁移以及领域泛化还有很多待解决的问题。
针对这三方面的工作，王晋东提供了三个简单的、新的扩展思路，以下是演讲全文，AI科技评论做了不改变原意的整理。
所有内容可以在作者整理维护的Github上最流行的迁移学习仓库：transferlearning.xyz 上找到相关材料
今天介绍迁移学习三个方向的工作： 低资源、领域泛化与安全迁移 。迁移学习英文名称：Transfer learning，基本范式是通过微调“重用”预训练模型。纵观机器学习的绝大多数应用，都会采用这种预训练+微调的范式，节省成本。
上图迁移学习范式示例，在Teacher网络模型中，经过输入、输出一整套流程训练，已经获得比较好的性能。Student模型想要训练，则可以固定或者借用Teacher网络的Tk层，然后单独根据任务微调模型，如此可以获得更好的性能。
目前，在Cv领域，已经存在ResNet；在NLP领域已经有BERT、RoBERT等模型可供使用。如上图，2016年GitHub上有个统计，关于迁移学习的Repository总计有2220个，当前可能会更多。
上图展示了，过去五年，迁移学习领域在顶级会议上取得的进展。最早是吴恩达在NIPS16上表示迁移学习在未来非常重要；然后，CVPR2018上有一篇最佳论文是关于迁移学习的；同年，IJCAI18上，有团队用迁移学习的手法赢得ADs竞赛；2019年，ACL会议上，有学者强调迁移学习的范式在NLP领域非常重要，一年后，一篇迁移学习论文拿到了该会议的最佳论文提名。
一直到去年，深度学习三巨头表示，现实的世界中，数据分布不稳定，有必要开发快速适应小数据集变化的迁移模型。
事实上，随着我们认知越来越多，会逐渐认识到迁移学习有很多问题待解决，需要不断开发新的方法。
在移学习范式中，如果训练数据和预训练模型刚好匹配，则能开发出性能优越的应用；如果有较大差异，则可以借助“外援数据”进行修正，然后获得目标模型，进而在测试（未知）数据上获得较好表现。
从训练数据到测试数据，整套流程中，其实存在很多问题，例如：
目前，领域自适应方面已经有大量研究成果、该领域相对较成熟。但低资源学习、安全迁移以及领域泛化等方面还有很多待解决的问题。
低资源学习的本质是，依赖少量的有标签的样本去学习泛化能力强的模型，期望其在未知的数据上表现良好。但问题在于，在各种场景下如何确保小数据中的标签仍然含有知识、且这些知识能被迁移到大量的无标签数据上。
经典的工作来自于NeurIPS 2020，当时谷歌在论文中提出FixMatch算法，通过一致性正则和基于阈值的置信度来简化半监督学习，设置固定阈值调整迁移学习的知识。
公式如上，模型学习的置信度要根据阈值来判定，如果大于一定的域值，就使用这些数据进行训练和预测；否则这些数据则不参与下次训练。
那么，对于半监督学习而言，预训练模型仅考虑阈值就足够了吗？谷歌在论文中，将阈值设置为0.95，显然这个数字是由谷歌的实验得出，其实我们在真实世界中，永远无法得知的取值是多少。
基于此，需要学习一个更真实的阈值，也即开发一种自适应学习，让模型根据数据灵活决定值。为了验证这一想法，我们先回答“选择固定阈值还是灵活阈值”。
如上图（左）所示，固定阈值的Loss下降的特别慢。同时，通过对比两种选择的ACC指标也能证明，如上图（中），对于不同的类别，需要设置不同的阈值。
在“动态调整”的思想下，我们在NeurIPS 2021上提出FlexMatch算法，有以下几个特点：
实验结果表明，如上图（右）所示，在同样的数据集上，该方法呈现正向曲线，效果比较稳定。FlexMatch的设计思想借用了“课程学习”，半监督学习常用给不确定样本打伪标签的策略，伪标签的学习应该是循序渐进的迁移的过程，即由易到难的过程，然后类别的学习也是由易到难的过程。同时，FlexMatch采取了聚类假设：类别和阈值息息相关。
以上是该思想的流程图，和FixMatch大同小异，不同之处是强调在不同类别上，会预估学习难度，然后自适应调整阈值。
以上是在CIFAR10/100、SVHN、STL-10和ImageNet等常用数据集上进行了实验，对比了包括FixMatch、UDA、ReMixmatch等最新最强的SSL算法。实验结果如上表所示，可以发现FlexMatch在标签有限的情况下能显著改进。在未引入新的超参数、无额外计算的情况下，对于复杂任务，也有显著改进，且收敛速度显著提升。
值得一提的是，针对该领域，我们开源了一个半监督算法库TorchSSL，目前已支持算法有：Pi-Model，MeanTeacher，Pseudo-Label，VAT，MixMatch，UDA，ReMixMatch，FixMatch。
现实世界中存在大量语言，但有很少的标注数据，世界上有7000种语言，常用的语言也就那么几十种，剩下绝大大多数都是低资源的语言。需要对小数据进行模型训练，同时能够避免模型过拟合。所以，针对低资源语言的自动语音识别(ASR)仍然是端到端(E2E)模型的一个挑战。
迁移学习的解决方案是，对资源丰富的语言进行预训练，对资源低的语言进行微调，对资源丰富的语言和资源低的语言进行多任务学习，同时对资源丰富的语言进行元学习，以快速适应资源不足的语言。
具体而言，要发现语言之间的联系，例如上图表明，不同的语言、不同的语系之间会有相似、相关性。这些语言具体怎么分布，有哪些相似性？我们的目标是如何自适应学习这种关系。
当前主要有两种方法：隐式、显式。其中，隐式是指不对他们的关系做任何假设，通过网络直接学习；显式是指假设语言之间存在线性关系，简化算法。
基于上述两点，我们就设计了两个简单的算法MetaAdapter和SimAdapter。前者能够直接学习不同语言之间的关系；后者假设语言之间是线性关系，用注意力机制进行学习。同时，结合MetaAdapter和SimAdapter，我们设计了SimAdapter+，能达到更好的效果。具体模型结构如下所示，只用微调数据里面的参数，就可以去完成网络的训练。
领域泛化的目的是利用多个训练分布来学习未知领域的通用模型。存在数据属性随时间动态变化，导致动态分布变化等问题。因此，需要捕捉数据的动态分布变化，例如如何量化时间序列中的数据分布。
针对上述挑战，我们提出AdaRNN。首先将时间序列中分布动态改变的现象定义为时序分布漂移 (Temporal Covariate Shift, TCS)问题，如上图所示将一段时间的数据分为A、B、C以及未知数据，可以看出A、B之间，B、C之间以及A、C之间的数据分布相差比较大，如何解决？分两步走：先来学习数据最坏情况下的分布，然后匹配最坏分布的差距。
具体而言，采用聚类方法优化问题，然后用贪心算法求解序列分布，将数据分成几段；最后，设计领域泛化进行匹配分布。
我们在四个真实数据集上测试了算法的效果，包括1个分类任务(行为识别)和3个回归任务(空气质量预测、用电量预测和股价预测)。实验结果表明，模型性能有一定的提升。此外，我们发现不仅在RNN上，Adaptive方法对于Transformer结构也一样有效。
安全迁移体现在迁移学习的各个方面，例如如何确保迁移学习模型不会被滥用？如何在保证效果的同时降低迁移模型的复杂性？如何进行安全的迁移学习、避免模型受到恶意攻击而对用户造成影响？
举个例子，在软件工程领域，如果软件有恶意BUG，一旦你在开源社区下载该软件，不仅会继承该软件好的功能，也会继承它的容易受攻击的弱点。另外，如果黑客知道用户的软件使用了哪段开源代码，便可以对你的应用软件发动相应攻击。
我们统计了一下，在Teacher到student的微调范式中，Student可以从Teacher中继承那些易受攻击的弱点的概率为50%~90%。换句话说，最坏的情况是Teacher怎么被攻击，Student便可以被攻击。因为Teacher的模型是公开的。
因此，安全迁移研究的目的是如何减少预训练模型被攻击的情况，同时还能维护性能。这其中会解决未知攻击、DNN模型缺乏可解释性等难题。
我们考虑两种攻击：对抗攻击，例如熊猫图片中加入某些噪声，AI会将其识别成长臂猿；后门攻击，神经网络结构本身就存在一些可能被利用的东西，例如输入数字7，然后输出数字8。
针对安全迁移问题，我们提出ReMoS算法，主要思想是：找出网络有用权重，剔除无用权重。第一步：需要计算神经元；第二步：评估Teacher模型对Student模型的重要性，计算两者之差；根据以上两步，就可以轻松裁减不需要的权重。
实验结果发现，ReMoS方法几乎不会显著增加计算量，其收敛速度与微调模型基本一致，显著好于从头开始训练。
上图（右）画出了剪枝之后的权重和网络层的关系。此结果说明随着网络层数据的加深，网络越来越与学生任务相关，因此，在深层的权重大部分被重新初始化了。这一发现也符合深度网络可迁移性的结论。
总结一下，今天主要介绍了三方面，低资源学习、领域泛化以及安全迁移。我为这三个方面提供了三个简单的、新的扩展思路。希望接下来的研究者能够设计出更好的框架，新的理论，然后在迁移学习的安全性方面去做一些探索。
原创文章，未经授权禁止转载。详情见 转载须知 。
华南城网是工业品原材料采购交易平台，以工业品原材料采购批发为核心，依托全国8大华南城实体商贸市场，为国内中小企业提供线上采购批发服务。
高考在线官网，是一家专注高考志愿填报服务的大数据平台，为高考考生提供高考数据全方位免费查询服务、高考志愿模拟填报服务等。
口子之家是专业的网贷口子交流论坛,提供2024年最新秒下款的网贷口子、靠谱的借款平台以及贷款申请经验等,还有论坛口子大神一手技术指导,快速解决你的资金难题!
易初特种电线电缆（昆山）有限公司
Continentalhydraulics|液压泵|液压阀|亚太区销售服务中心：021-58780503，原厂授权品质保证。
上海天皋电气有限公司主要生产销售供安全,行车,管式,移动,单极,钢体,无接缝,天车200A滑触线,300A滑触线,500A滑触线,800A滑触线,多极滑触线,单极滑触线,导电滑触线等,要问集电器,价格,型号,规格,哪家好?我们是专业滑触线生产厂家.
河北路德工程技术有限公司专注步道砖机械化铺设整套施工的厂家，提供园林铺装石材、路缘石铺设、广场砖铺设、石材铺设、步道砖修复、路面砖灌缝、石材夹具、步道砖、切砖器、铺砖机、大石板安装、人行道垫层施工及一站式解决方案，产品畅销华北、华东、华中、华南、西南、西北、东南、东北等地。
老赵随笔是一个收集国内外VPS，云主机，服务器优惠促销信息，提供VPS新手教程，VPS评测，VPS代购代付服务的博客。
盐城市明悦节能环保技术有限公司主要生产：制砂选粉机，砂石选粉机，转子选粉机，复合选粉机，石英砂选粉机，粉煤灰选粉机，氢氧化钙选粉机，布袋除尘器，脉冲除尘器，矿山除尘器，采石场破碎机除尘器，砂石除尘器，制砂机除尘器，破碎机除尘器，振动筛除尘器，沙子烘干机，石英砂烘干机，压裂砂烘干机，尾矿砂烘干机，尾矿烘干机，方形摇摆筛等设备。全国服务热线：18012577773
AboutLab专业实验室电商平台,力求专业,快速,价格美丽
青岛普华重工是一家专业生产抛丸机的厂家,主要产品有通过式抛丸机,路面抛丸机,喷砂房,喷漆房等，是目前国内首家集表面清理抛丸设备,铸造机械,涂装生产线,数控锻压及自动化设备科研开发,多行业生产贸易为一体的高新技术企业。
产品包括：汽车电瓶，汽车配件，汽车音响。公司的研发人员在吸收世界先进技术的基础上将科学技术知识应用的实际设计中，生产出了极具竞争力的产品。公司秉承顾客至上，锐意进取的经营理念，坚持客户第一的原则为广大客户提供优质的服务。在经济全球化的今天，将不断提升自我，打造完美诚信企业。 公司始终坚持科技领先，
人们的健康养生一直在逐渐的提升，因此在线下四件经常会到养生馆中对自己的身体进行调理，促使了国内健康养生行业在快速的发展，壹亩梁方是一家有名的养生连锁品牌，专注于为年轻人提供健康养生需求，凭借着不错的服务品质，赢得了消费者的认可，成为了加盟商所关注的品牌，那么壹亩梁方加盟需要多少钱，门店如何选址，壹亩梁方加盟需要多少钱，壹亩梁方加盟需要...。
想要创业的道路上面一直拥有很好的顾客的话，很大程度上面要选择串串行业了，其中从大品牌又或者是一些小品牌美食的数量都很多，一直处于红火的状态当中就要属串串，就如颜色一样的充满着朝气，下面就一起来看看其中的一个品牌，杯中乐小串串火锅加盟好吗多项扶持全程助你成功经营，从很久之前在成都的某一个小店当中，就开始有一个火锅店的老板想到了一个东西，...。
字幕组双语原文，精读，Transformer模型深度解读英语原文，TheAnnotatedTransformerfromIPython.displayimportImageImage，filename=images，aiayn.png，在过去的一年里，，注意力就是你所需要的，中的Transformer被很多人所关注，除了在翻译质量上...。
近日，2022年医学人工智能大会，CMAI2022，暨第二届，中国医学学术期刊发展，高端论坛召开，本次高峰论坛邀请了多位顶尖医院的放射科主任及人工智能技术的权威专家，共同探讨人工智能技术在医学影像中的临床应用与科研进展，分享研究心得，，医健AI掘金志，作为本次大会的支持单位，全程参与嘉宾的演讲内容与深度报道，首都医科大学宣武医院...。
发表在极米投影仪2023，8，710，26极米H6Pro是极米H6的升级版本，主要升级了光源，提高了投影亮度，具体极米H6Pro和H6区别有哪些呢，下面就通过详细的参数配置对比分析两者的区别，看看极米H6Pro和H6有什么不同，极米H6Pro对比H6有哪些提升，极米H6Pro和H6区别有哪些，1.光学参数对比在光源方面，极米H6Pro...。
指经过健康的饮食，良好的睡眠，平和的心态加上适量的运动来达到减少身体脂肪堆积的一种现象，设法纠正肥胖者异常反应造成的不当行为，即用行为科学分析肥胖者摄食行为的特征和运动类型，以此为基础，合理修正导致肥胖的行动，目前市面上分为代餐法、运动法、行为矫正法、药物法、手术法、运动等多种方法，...。
男人的衣柜指的是海澜之家，海澜之家，英文缩写，HLA，是海澜之家集团股份有限公司旗下的服装品牌，总部位于中国江苏省江阴市，主要采用连锁零售的模式，销售男性服装、配饰与相关产品，2014年4月11日，海澜之家正式登陆A股市场，证券代码为；2015年12月29日，根据标准普尔发布的统计数据，海澜之家股份有限公司的市值已超过600亿人民...。
市值缩水四分之三，这家创业公司迎来十年大考,速腾,汽车,雷达,自动驾驶
1、关上阅读器，输入进入，或许搜查webqq，可以搜查到webqq的官网网页，点击进入qq的网页版，2、关上webqq的网页版之后，webqq含有旧的版本和最新的版本，选用webqq的图标，点击立刻体验，3、在输入框中输入须要登录的qq的账号和明码，点击登录，假设没有qq可以点击启动注册qq账号就可以登录了，4、输入完qq的账号和明码...。
[全球时报综合报道]据英国，卫报，13日报道，斯塔默指导的工党政府今日发布，屋顶反派，方案，该方案旨在使数百万英国度庭装置太阳能电池板，以降落国际动力费用，处置气象危机，据报道，英国动力大臣米利班德13日晚示意，政府将激励修建商和房主以任何方式将屋顶太阳能电池板推行到数百万个家庭，这样英国度庭就可以，自己供电，增加账单，同时协助应答气...。
计算方法，一团体出世的年、月、日、时各有定数，年、月、日、时的重量都有详细规则，只需把年、月、日、时的重量加在一同，依照，称骨歌，一查，就可确定这团体永世的命运，以阴历为准，年份的重量，鼠甲子1924，1984一两二钱丙子1936，1996一两六钱戊子1948，2008一两五钱庚子1900，1960七钱壬子1912，1972五钱牛乙...。
江西省气候台2024年7月3日16时32散颁布高温黄色预警信号，估量未来三天，九江、景德镇、南昌、萍乡、宜春、新余、鹰潭、上饶、抚州、吉安十市和赣州市北部日最高气温将达35℃以上，部分地域可达37℃，请留意防暑降温，高温预警级别颜色等级有哪些1.热浪滚滚！今日中午，亚洲气温分布图显示出全国多地气温上升，特别是北京、潍坊、邯郸、周口等城...。
当下市场上，涌现出越来越多料理门店，借助风味的口感，还有格调的装修氛围等，均是取得了大众认可，并推进了行业发展热度，有喜屋以日式街景风格为主打，显示出较大品牌魅力，吸引了众多粉丝的青睐，同时在产品口感和外形上均是展现出不错的优势，以其纯正浓郁的美食味道，无疑是满足了广大消费者的味蕾需求，许多顾客都是慕名而来，专程来这里品尝美食，这样的...。
转载自丨SiP系统级封装技术首先，什么叫自主可控，最直观的理解就是当别人，卡脖子，的时候不会被卡住，集成电路产业通常被分为芯片设计、芯片制造、封装测试三大领域，参看下图，我们逐一进行分析，芯片设计主要从EDA、IP、设计三个方面来分析；芯片制造主要从设备、工艺和材料三个方面来分析；封装测试则从封装设计、产品封装和芯片测试几方面来分析，...。
当电商行业快速发展时，快递的重要性也被凸显出来，不过传统的快递模式送货时间慢，并不能及时送达给消费者手中，百城当日达便是在此情况下应运而生，百城当日达是指在规定的城市内，二十四小时之内送达，让消费者可以在很短的时间内收到自己心仪的商品，也因此百城当日达受到很多的关注，有智慧之选价值，那么现在百城当日达加盟费多少，可随着小编一起来了解下...。
随着现在人们的创业意识越来越强，市面上的一些加盟品牌也就成为了大部分人会选择的一个方向，虽然每一个品牌都具有自己的特色，但是能够让消费者满意也是一件非常不容易的事情，小气茶茶饮品牌在进入到市场之后，就可以紧紧的抓住现在消费者的消费心理，品牌也给想要创业的人员创造了一个非常好的合作机会，更重要的是他们还可以更加在意顾客的心理，加盟选择小...。
发表在坚果投影仪2023，10，2309，12坚果O2Ultra是O2的全面升级版本，是一款超短焦激光投影仪，具体坚果O2Ultra投影仪怎么样呢，下面就分享详细的参数配置，看看坚果O2Ultra在各方面有什么样的配置，有什么优缺点，是否适合家用，坚果O2Ultra投影仪怎么样，1.光学参数坚果O2Ultra采用的是三色激光光源，拥有...。
