微软亚研提出TinyMIM，用知识蒸馏改进小型ViT|实验|vit|预训练|科学家|财务报表|财务会计|tinymim
用微信扫码二维码
分享至好友和朋友圈
掩码建模（MIM,MAE）被证明是非常有效的自监督训练方法。然而，如图1所示，MIM对于更大的模型效果相对更好。当模型很小的时候（比如ViT-T5M参数，这样的模型对于现实世界非常重要），MIM甚至可能一定程度上降低模型的效果。比如用MAE训练的ViT-L比普通监督训练的模型在ImaGenet上的分类效果提升3.3%，但是用MAE训练的ViT-T比普通监督训练的模型在ImageNet上的分类效果降低了0.6%。
在这篇工作中我们提出了TinyMIM，其在保持ViT结构不变并且不修改结构引入其他归纳偏置（inductivebias）的基础上、用蒸馏的方法迁移大模型上的知识到小模型。
我们系统性的研究了蒸馏目标、数据增强、正则化、辅助损失函数等对于蒸馏的影响。在严格的只用ImageNet-1K作为训练数据的情况下（包括Teachermodel也只用ImageNet-1K训练）和ViT-B作为模型，我们的方法实现了当前最好的性能。如图所示：
把我们的方法（TinyMIM）和基于掩码重建的方法MAE，以及监督式学习的方法从头开始训练的DeiT作比较。MAE在模型比较大的时候有显著的性能提升，但是在模型比较小的时候提升幅度有限甚至会伤害模型的最终效果。我们的方法TinyMIM在不同模型的大小上都有大幅提升。
1.蒸馏的目标（Distillationtargets）:1）蒸馏token之间的关系比单独蒸馏classtoken或者特征图（featuremap）更有效；2）用中间层作为蒸馏的目标更有效。
2.数据增强和模型正则化（Dataandnetworkregularization）：1）用带掩码的图片效果更差；2）学生模型需要一点droppath，但是teacher模型不需要。
3.辅助损失函数（auxiliarylosses）：MIM作为辅助损失函数没有意义。
4.宏观蒸馏策略（Macrodistillationstrategy）：我们发现序列化的蒸馏（ViT-B->ViT-S->ViT-T）效果最好。
我们系统性的调研了蒸馏的目标，输入的图片，蒸馏目标模块。
2.1影响蒸馏效果的因素
a.中间block特征和输出特征
当i=L时，指的是Transformer输出层的特征。当i b.注意力（Attention）特征和前馈层（FFN）层特征 Transformer每一个block有Attention层和FFN层，蒸馏不同的层会带来不同的影响。 在Attention层内会有Q，K，V特征，这些特征用于计算注意力机制，我们也调研了直接蒸馏这些特征。 Q，K，V用于计算注意力图，这些特征之间的关系也可以作为知识蒸馏的目标。 传统的知识蒸馏是直接输入完整的图片。我们的方法为了探索蒸馏掩码建模模型，所以我们也探索了带掩码的图片是否适合作为知识蒸馏时候的输入。 2.2知识蒸馏方法对比 最简单的方法就是类似DeiT直接蒸馏MAE预训练模型的classtoken: 2）特征蒸馏：我们直接参考了featuredistillation[1]作为对比 我们的方法在ImageNet-1K上预训练，而且教师模型也是在ImageNet-1K预训练。然后我们将我们预训练的模型在下游任务（分类、语义分割）上进行了微调。模型表现如图： 我们的方法显著超过之前基于MAE的方法，尤其是小模型。具体来讲，对于超小的模型ViT-T，我们的方法实现了75.8%的分类准确性，相比MAE基线模型实现了4.2的提升。对于小模型ViT-S，我们实现了83.0%的分类准确性，比之前最好的方法提升了1.4。对于Base尺寸的模型，我们的方法分别超过MAE基线模型和以前最好的模型CAE4.1和2.0。 同时我们也测试了模型的鲁棒性，如图所示： TinyMIM-B对比MAE-B，在ImageNet-A和ImageNet-R分别提升了6.4和4.6。 同时蒸馏QK,VV关系而且在计算关系的时候有Softmax实现了最好的效果。 TinyMIM这种蒸馏关系的方法实现了比MAE基线模型，classtoken蒸馏，特征图蒸馏都更好的效果，在各种尺寸的模型上都是如此。 我们发现蒸馏第十八层实现了最好的效果。
谷普下载提醒您：让你提前汇款，或价格明显低于市价，均有骗子嫌疑，请不要轻易相信。
相关资料：txt下载、doc下载、文章搜索、网址搜索、百度搜索、好搜搜索、搜狗搜索、必应搜索
本文链接：http://www.gpxz.com/article/ebbcc7ea04cd2b5a314d.html
买手机号码、卖手机号码，想办手机卡就上集号吧！手机靓号文化网站！提供各地手机号码大全，移动靓号、联通靓号、电信号码网上选号，最新套餐资费介绍，还有更多固话座机号、车牌号、新能源车牌、400电话、电话号码等你来拿，集号吧号码网为卖家提供号码发布、靓号店铺等服务，打造号码行业电子商务平台
乐报修是杭州笛升科技有限公司旗下为家庭或企业用户提供在线报修服务的网络平台，通过乐报修平台，可以让用户更快更方便的报修。
山东恒标知识产权服务有限公司是由知识产权局认可的备案代理机构，作为全方位知识产权保护专家，主营ISO体系认证，ISO9001、ISO14001、ISO18001、ISO20000，双软认证，高企认定，商标、专利，等业务。
延安卓天云集团
《贵州健康报》是经国家新闻出版署批准，由贵州省卫生健康委员会主管，国内统一刊号为CN52-0041的权威报刊。我们秉承“传播健康知识，引领美好未来”的办报理念，以宣传健康为使命、讲好健康知识为核心、服务全国人民为已任、深化融媒推广为重点；密切关注医疗卫生服务体系、大健康产业，构建最具权威性和影响力的健康传播综合服务平台。
星智汇南京独栋写字楼
视多发卡网隶属于河南售权益网络科技有限公司，视多发卡网是全网最大的发卡网类型网站，专注发卡网类型网站一条龙搭建，网络安全运维服务，高防防御策略部署，系统维护托管运营！
十年伺服电机技术服务-深圳欧诺克,200+客户的认可与支持,业务遍布全国各地,主要以伺服电机,伺服驱动器,交流直流伺服电机,大功率直流无刷驱动器占据市场份额,欢迎您的来电咨询.
北京中招国联科技有限公司成立于2007年，主要负责集团旗下“招标网”（zhaobiao.cn）的平台运营。针对招投标过程中的供应商提供信息服务，以会员服务的方式建立营收。
心标教育网专注于小学试卷、初中试卷、高中试卷等下载资源的试卷网站。为广大家长提供免费在线心标诊断，并生成诊断报告及进一步的诊断试卷。新增针对薄弱环节的专项练习试卷题库供家长下载。
一款基于Vue3、element-plus开发的个人博客网站，用于记录自己的前端学习、生活等
儿童早教项目现在在市场中是一项非常火热的加盟项目，很多的人们在选择加盟项目时，就想要加盟儿童早教项目，经过调查，贝迪堡在市场中拥有着很高的人气，那么贝迪堡早教怎么样，适合加盟吗?该项目整体来说，在市场中是一家非常有发展前景的加盟项目，加盟商开店经营选择加盟这个项目，可以的帮助创业者快速的走向成功，贝迪堡早教怎么样，适合加盟吗?该项目在...。
数码相机的历史可以追溯到上个世纪四五十年代，1951年宾·克罗司比实验室发明了录像机，这种新机器可以将电视转播中的电流脉冲记录到磁带上，到了1956年，录像机开始大量生产，它被视为电子成像技术产生，数码相机是集光学、机械、电子一体化的产品，它集成了影像信息的转换、存储和传输等部件，具有数字化存取模式，与电脑交互处理和实时拍摄等特点，光...。
520的浪漫是玫瑰和咖啡缺一不可，近日，万咖啡，WanVita，推出新品咖啡——粉红拿铁，助力520爱的表达，萃取棚晒阿拉比卡咖啡豆，加入新鲜牛奶和超级食物甜菜根粉，制成爱意满满的红粉拿铁，颜值和风味俱佳，一杯红丝绒质感的粉红拿铁，用粉红的色彩唤醒人们内心深处的天真烂漫，万咖啡招牌饮品粉红拿铁，2020年，万达酒店及度假村在宁波万达美...。
人有在端午节吃粽子的习惯，粽子的种类还比较多，有三角粽、竹筒粽等等，竹筒粽是海南地区特色的粽子，竹筒粽在制作的过程中，吸收了竹筒的清香，所以口味特别的清香，而且，还有很高的营养价值，制作方法也很简单，用料也不复杂，只需要一些制作粽子的米，还有竹筒就可以了，有的智慧之选者就想卖竹筒粽子，但是不知道卖竹筒粽子能好吗，接下来，小编就简单的为...。
新高考改革逐步深入，每个学校都面临着如何帮助学生们提早做好学业规划和学业能力提升的问题，北京师范大学亚太实验学校对此高度重视，从2021年9月起，特邀北京师范大学学业规划研究中心杨娟教授团队刘璇老师为七、八年级开设，生涯探索规划，兴趣选修课程，带领同学们探索自己未来的学业前途，并进一步通过学业能力的提升，为自己的理想积蓄力量，保驾护航...。
成人用品店在业内有着较大的市场分布范围，是很多消费者日常需求较大的零售门店，在国内也有着很多发展出色的成人用品零售项目，以出色的经营模式取得了较好的成绩，其中爱爱谷成人用品就是很多消费者青睐的选择，在业内有着出色的发展表现，爱爱谷成人用品以一站式成人用品销售代理的方式面向诸多的加盟创业人士，携手诸多的加盟商一起进行项目的经营发展，在合...。
新高考改革逐步深入，每个学校都面临着如何帮助学生们提早做好学业规划和学业能力提升的问题，北京师范大学亚太实验学校对此高度重视，从2021年9月起，特邀北京师范大学学业规划研究中心杨娟教授团队刘璇老师为七、八年级开设，生涯探索规划，兴趣选修课程，带领同学们探索自己未来的学业前途，并进一步通过学业能力的提升，为自己的理想积蓄力量，保驾护航...。
美术在艺术的行业内是非常的受欢迎，而且很多的孩子从小就喜欢画画，看着自己画出的一些可爱又卡通的形象，让自己也很开心，并且感到有一丝的自豪，如今在教育市场规模逐渐加大的过程中，大卫美术教育出现在行业内，支持孩子们爱上美术，并且可以经过一些多方面的学习会发现美术所包含的意义，大卫美术教育好不好，可以加盟吗，大卫美术如今是成功推出了一些新的...。
每个人想要去开内衣店的初衷都是不同的，因为自己的经历和生活环境的差异，开店的目的也会一定不同，今天我们要说说一类伟大有特殊的人群，宝妈，首先，宝妈族是到店消费中亲子服务、丽人服务等品类的主力军，在育儿的同时，也关注自己的形象管理，追求精致有品质的生活，愿意为舒适的体验消费，护肤穿搭更是日常花销的大项，在内衣市场中，宝妈们不仅是内衣市场...。
现在儿童阅读馆十分流行，为什么大家会选择来这个地方看书，而不是在家看呢，原因是，儿童阅读馆是专门面向孩子阅读场所，相比于在家阅读，主要有以下几点优势，1、书的种类更多受制于居住面积、环境，家长能为孩子提供的书目是有限的，另外，家长往往很担心买了书，孩子不爱看，书只能被闲置，而像书果星球儿童阅读馆这样的门店藏书通常都会有1000册以上，...。
净水器租赁哪个牌子好，美淳净水器加盟代理，在净水器行业发展，目前还没有相关净水协会制定净水器行业标准体系，那么在这个行业里面，目前没有哪个净水器品牌敢说自己是老大，在2016年各个行业都受影响下，在目前来说净水器在迅速发展的市场化进程中，越来越多的企业由于经营不善的原因，陆续退出了这个行业，而行业规模型和有技术实力支撑的企业此时有了更...。
一日三餐都离不开厨房，那么，在制作饭菜的过程中，厨房中的废品一定不会少，那么青菜叶、鱼骨头、土豆皮、鸡蛋壳等各类废品所滋生除来的细菌和有害物质是多么的可怕，厨房废品处理器的出现，帮助很多家庭解决了废品如何处理的问题，格莱佳在这一行业中口碑还不错，那很多创业的小伙伴想了解，格莱佳厨房废品处理加盟条件是什么，格莱佳厨房废品器，它采用的是傻...。
雷锋网报道，随着金融云在金融行业的广泛应用，价值日益得到体现，云上金融已经成为了广泛的共识，在9月6日召开的2018朗迪金融科技峰会上，腾讯金融云总经理胡利明分享了如何在云端构建智慧金融的相关话题，据他介绍，中国的智慧金融发展可以划分为四个阶段，当前，大部分金融机构都处在第二个阶段向第三个阶段演进的过程中，而在智慧金融的发展过程中，行...。
雷锋网消息，2020年5月7日，专注人工智能领域云端算力平台的燧原科技今日宣布完成B轮融资7亿元人民币，由半导体产业基金武岳峰资本领投，腾讯、上海双创、海松资本，万物资本、达泰资本、红点创投中国基金跟投，顺序不分先后，本轮资金将用于产品量产和业务规模化，技术支持团队扩充，高端专家人才引进，以及继续投入第二代云端训练及推断产品的开发，...。
温馨提示，创维电视第三方刷机固件下载https，www.znds.com，rom，list，330.html方法一，准备工作，创维50M9、U盘、电脑一、从电脑里下载好当贝市场，点击立即下载，和影视快搜，点击立即下载，并拷贝到U盘；二、首先打开创维50M9的主页，选择，酷开应用圈，，进入后选择推荐，打开左下角，搜索，功能；三、将U...。
如今越来越多的快递店出现在城市中，得益于庞大的市场需求量，许多快递店保持着源源不断的业务量，将生意做得风生水起，而那些从业者更是从中受益匪浅，逐步实现了人生理想，为向读者朋友推荐该项目，文章将对快递店加盟费需要多少钱展开详细论述，给有需要的朋友献上一篇致富经，快递店加加盟费需要多少钱小丑快递是起源于陕西省的物流品牌，其凭借合理的收费与...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
