微软亚研提出TinyMIM，用知识蒸馏改进小型ViT|实验|vit|预训练|科学家|财务报表|财务会计|tinymim
用微信扫码二维码
分享至好友和朋友圈
掩码建模（MIM,MAE）被证明是非常有效的自监督训练方法。然而，如图1所示，MIM对于更大的模型效果相对更好。当模型很小的时候（比如ViT-T5M参数，这样的模型对于现实世界非常重要），MIM甚至可能一定程度上降低模型的效果。比如用MAE训练的ViT-L比普通监督训练的模型在Imagenet上的分类效果提升3.3%，但是用MAE训练的ViT-T比普通监督训练的模型在ImageNet上的分类效果降低了0.6%。
在这篇工作中我们提出了TinyMIM，其在保持ViT结构不变并且不修改结构引入其他归纳偏置（inductivebias）的基础上、用蒸馏的方法迁移大模型上的知识到小模型。
我们系统性的研究了蒸馏目标、数据增强、正则化、辅助损失函数等对于蒸馏的影响。在严格的只用ImageNet-1K作为训练数据的情况下（包括Teachermodel也只用ImageNet-1K训练）和ViT-B作为模型，我们的方法实现了当前最好的性能。如图所示：
把我们的方法（TinyMIM）和基于掩码重建的方法MAE，以及监督式学习的方法从头开始训练的DeiT作比较。MAE在模型比较大的时候有显著的性能提升，但是在模型比较小的时候提升幅度有限甚至会伤害模型的最终效果。我们的方法TinyMIM在不同模型的大小上都有大幅提升。
1.蒸馏的目标（Distillationtargets）:1）蒸馏token之间的关系比单独蒸馏classtoken或者特征图（featuremap）更有效；2）用中间层作为蒸馏的目标更有效。
2.数据增强和模型正则化（Dataandnetworkregularization）：1）用带掩码的图片效果更差；2）学生模型需要一点droppath，但是teacher模型不需要。
3.辅助损失函数（auxiliarylosses）：MIM作为辅助损失函数没有意义。
4.宏观蒸馏策略（Macrodistillationstrategy）：我们发现序列化的蒸馏（ViT-B->ViT-S->ViT-T）效果最好。
我们系统性的调研了蒸馏的目标，输入的图片，蒸馏目标模块。
2.1影响蒸馏效果的因素
a.中间block特征和输出特征
当i=L时，指的是Transformer输出层的特征。当i b.注意力（Attention）特征和前馈层（FFN）层特征 Transformer每一个block有Attention层和FFN层，蒸馏不同的层会带来不同的影响。 在Attention层内会有Q，K，V特征，这些特征用于计算注意力机制，我们也调研了直接蒸馏这些特征。 Q，K，V用于计算注意力图，这些特征之间的关系也可以作为知识蒸馏的目标。 传统的知识蒸馏是直接输入完整的图片。我们的方法为了探索蒸馏掩码建模模型，所以我们也探索了带掩码的图片是否适合作为知识蒸馏时候的输入。 2.2知识蒸馏方法对比 最简单的方法就是类似DeiT直接蒸馏MAE预训练模型的classtoken: 2）特征蒸馏：我们直接参考了featuredistillation[1]作为对比 我们的方法在ImageNet-1K上预训练，而且教师模型也是在ImageNet-1K预训练。然后我们将我们预训练的模型在下游任务（分类、语义分割）上进行了微调。模型表现如图： 我们的方法显著超过之前基于MAE的方法，尤其是小模型。具体来讲，对于超小的模型ViT-T，我们的方法实现了75.8%的分类准确性，相比MAE基线模型实现了4.2的提升。对于小模型ViT-S，我们实现了83.0%的分类准确性，比之前最好的方法提升了1.4。对于Base尺寸的模型，我们的方法分别超过MAE基线模型和以前最好的模型CAE4.1和2.0。 同时我们也测试了模型的鲁棒性，如图所示： TinyMIM-B对比MAE-B，在ImageNet-A和ImageNet-R分别提升了6.4和4.6。 同时蒸馏QK,VV关系而且在计算关系的时候有Softmax实现了最好的效果。 TinyMIM这种蒸馏关系的方法实现了比MAE基线模型，classtoken蒸馏，特征图蒸馏都更好的效果，在各种尺寸的模型上都是如此。 我们发现蒸馏第十八层实现了最好的效果。
谷普下载提醒您：让你提前汇款，或价格明显低于市价，均有骗子嫌疑，请不要轻易相信。
相关资料：txt下载、doc下载、文章搜索、网址搜索、百度搜索、好搜搜索、搜狗搜索、必应搜索
本文链接：http://www.gpxz.com/article/ebbcc7ea04cd2b5a314d.html
设置MEAT关键字，提高网站各大搜索引擎的收录
天津鸿都装饰工程有限公司,位居天津家装行业前列，百人客服和监理为您的工程保驾护航。省时、省心、省钱、省力的“一站式”家装服务体验！
微伴助手是一家专业的企业微信SCRM，帮助开发企业微信高级功能，提供聊天提醒、渠道活码、会话存档等服务，搭建办公管理系统，无需下载即可实现在线营销。
锦明集团始于2007年，初期主要以二手住宅及商业房地产租售、商办项目代理及招商等房地产为核心业务板块，经过十几载沉淀发展，已在地产领域积累起雄厚的经验和实力。以房产为根基，逐步扩大经营范围，现已延伸至企业服务、资产管理、装修设计、科技创新、影视文化、餐饮娱乐等多个领域，业务广泛分布于上海各核心行政区域、长三角、珠三角地区城市，致力于构建多产业发展的专业服务型公司，为客户提供更广泛的深度化综合服务。
矿山舆情网,矿山舆情网是一个专注于矿山行业舆情监测与分析的平台，通过收集和分析公众的声音和意见，为矿山从业者提供舆论引导和危机应对的决策参考。,全国政务信息一体化应用平台
无锡红河物流有限公司
金德管业集团专业制造无规共聚聚丙烯（PP-R）管,耐高温聚乙烯（PE-RT）管,PVC-U新型复合排水管,爱家就用金德管好管享用一生.
成都晟昆辐射防护屏蔽工程一站式服务
软文帮是专业脚本定制与软件开发平台，提供定制化辅助脚本、创新软件开发及行业新闻与实用技术文章，助您掌握辅助脚本及软件资讯，解决技术难题。
专业的中文名字转日文名字生成器,提供中文姓名翻译成日语的多种形式,包括日文汉字、平假名、片假名、罗马字等,并配有标准日语发音,让您轻松获得准确的日文名字。
天下游戏网为广大游戏爱好者提供热门主流游戏玩法攻略以及游戏经验分享。
孩子学习问题一直受到很多家长的关注，很多教育机构也在不断的完善自己的教学课程以及教学方法，特别是阅读类的数据受到很多教育机构的注重，能够把更多有价值的书籍带到店内，满足孩子阅读需求，培养兴趣，寰球阅读成长中心就能让大家好评不断，寰球阅读成长中心的书籍多吗，如何更新，寰球阅读成长中心是一家很受欢迎，以儿童阅读成长中心为教育理念的教学机构...。
ProjectLoon，谷歌的，互联网气球，项目要有一位行业经验丰富的新领导了，谷歌X部门最近宣布TomMoore将成为Loon项目主管，他曾是基于卫星的宽带服务提供商WildBlue的联合创始人，也担任过X部门的VP，并在去年9月成为Loon的总经理，而前任MikeCassidy将继续留在X开发新项目，Loon也是X部门中少数几个一...。
年轻品牌，都带着年轻人玩什么，今天，Leader带大家奔赴南京，见偶像！11月11日，由Leader电器联合赞助的，王嘉尔MAGICMANWORLDTOUR2023，2024南京站，在南京青奥体育公园体育馆火爆开唱，作为新生代icon，王嘉尔在音乐上不断尝试、突破自我，获得了众多年轻人的喜爱，而同样懂得年轻人喜好的Leader，也在用...。
发表在综合交流大区2018，9，2716，36一台EPSONEMP，820投影仪，RGB口连接计算机，视频输入口连接着VCD机，开机后发现颜色严重偏冷，于是调整色温，但即使调到最大也不见颜色变暖，再分别调节R，红色，、G，绿色，、B，蓝色，各色强度，发现在调节G和B时，屏幕颜色都有变化，而调节R时没有变化，怀疑是投影仪调节控制电路或解...。
保健行业正呈现非常明朗的发展趋势，英派斯健身房项目迎来了抢占市场的先机，智慧之选者若能与这个品牌实现合作，那么必然能在财富事业的创就上拥有一番作为，那么，英派斯怎么加盟，下面小编为大家介绍详细加盟流程，感兴趣就及时行动起来！来电咨询，代理申请，这是英派斯健身房加盟流程的优先步，主要是表明合作意向，在招商网页上进行留言，了解英派斯项目基...。
1.篮球作为一项广受欢迎的静止，吸引了世界有数的粉丝，其中，NBA作为世界最顶尖的篮球联赛，其较量直播人导致为了泛滥球迷关注的焦点，但是，因为版权限度等起因，NBA较量的直播并不总是易于失掉，2.今日，咱们将引见一种无需装置任何插件即可享用高清流利NBA直播的方法——jrs无插件直播，3.jrs无插件直播是一种基于P2P技术的在线视频...。
最廉价的阿斯顿·马丁Cygnet，售价约3万英镑，购置它的前提是你至少有一辆阿斯顿·马丁不须要条件的，就是阿斯顿·马丁DB9售价3199万，阿斯顿马丁db11二手假设多少钱适合的话还是值得买的1作为阿斯顿马丁和飞驰联姻的首款车型，也是旗下最经典的DB系列最新一代车型，马丁初次在这辆车中启用了全新的的设计，能源总成以及内饰设计也是350...。
pp助手苹果版装置方法如下，首先，确保您的设施是iPhone或iPad，并且曾经衔接到了互联网，而后，依照以下步骤启动装置，1.关上Safari阅读器，访问pp助手的官网网站，在网站上，您可以找到实用于苹果设施的pp助手下载链接，点击该链接，开局下载pp助手的装置文件，2.下载成功后，您会看到一个名为，pp助手，的文件，这个文件是pp...。
要说以后哪款手机运行市场软件最多，团体觉得以下几款运行商店都挺不错的，1、360手机助手360官网出品手机运行市场，中国最大的Android手机运行市场，市场一切运行均经过360安保检测，绿色无毒，2、运行宝腾讯官网出品运行市场，置信很多人都用过，3、豌豆荚算是比拟老的一款运行商店了，从塞班时代不时到安卓机时代，起初被阿里高价收买，虽...。
肥佬影音播放器是一款最近非常热门的高清云播放器，几乎支持所有协议，还有超强的解码器哦。肥佬影音领先P2P引擎，全格式支持，超强解码，高清享受。专为网络视频用户打造一流的在线视频体验！官方介绍：肥佬影音播放器是新一代的P2P播放器，采用全格式播放，超强解
医学统计助手是一款功能出色强大的医学统计而设计的小工具软件，软件包含了多样化的功能，具备基本统计、卡方检验、t检验、z检验
火萤视频桌面是一款动态壁纸视频桌面软件，海量在线资源，动态视频壁纸，让桌面更灵动，四边框，颠覆传统，仅仅通过鼠标，即可，更快捷的启动常用软件，更方便的浏览网页!有喜欢的小伙伴快来下载吧！
解绳子游戏是现在年轻人中非常火的一种游戏类型，趣味性比较强，今天小编就给大家精心总结了解绳子游戏APP有哪些下载免费2022，除了解绳子之外小编还挑选了一些类似的益智类小游戏，如割绳子等，一起来看看都有哪些吧！1、，解绳能手，要想将绳子都解开，玩家必须充分调动自己的大脑和思维能力，最终能将柱子回到最开始的状态，每一关的难度都不一样，但...。
据财联社消息，阿里巴巴天猫精灵的一款智能眼镜正在测试升级大模型交互系统，该音频眼镜能够实现随时智能语音交互，为用户提供即时的运动指导和饮食建议，在游戏过程中亦可陪聊角色攻略，如同一名AIGC助手，5月9日，天猫精灵旗下一款智能眼镜正式开售，售价为899元，该智能眼镜采用极简设计，整机重量仅27g，并提供了百搭黑框和商务钛金两种边框选择...。
1、可以拨打热线，全国的社保查询热线都是这个，医保局客服电话号码是区号，人力资源和社会保障电话咨询服务热线是国家重要的民生服务平台，推进人力资源和社会保障电话咨询服务系统的建设，将有助于畅通人力资源社会保障部门与社会公众的沟通渠道，提高对社会公众的服务能力，人力资源和社会保障电话咨询服务在民生服务方面发挥了很大作用，不仅成为广大群众...。
在数字化浪潮席卷全球的今天，数字技术已经成为推动企业发展的重要引擎，其中，智汇考拉数字以专业创意能力、独特的商业模式和先进的技术应用，在市场中脱颖而出，备受瞩目，而且也得到稳定的发展，创业者看到之后，就想要深入了解品牌，那么，智汇考拉数字怎么样，市场上表现如何，智汇考拉数字是一家专注于数字技术领域的企业，以创意为核心驱动力，致力于为企...。
若在58同城遇到了被骗的状况，可按规定取得后行赔付！58同城后行赔付服务目标是为了更好的保证会员的非法权力，当登录用户在58同城上因找到的消息而遭受实践损失，可放开取得58同城后行赔付的保证金，3步即可放开赔付，登录并放开赔付，赔付核心受理，网民取得赔付，包头202厂要求很高吗高，依据查问58同城招聘网显示，应聘包头市202厂的求职者...。
