微软亚研提出TinyMIM，用知识蒸馏改进小型ViT|实验|vit|预训练|科学家|财务报表|财务会计|tinymim
用微信扫码二维码
分享至好友和朋友圈
掩码建模（MIM,MAE）被证明是非常有效的自监督训练方法。然而，如图1所示，MIM对于更大的模型效果相对更好。当模型很小的时候（比如vit-T5M参数，这样的模型对于现实世界非常重要），MIM甚至可能一定程度上降低模型的效果。比如用MAE训练的ViT-L比普通监督训练的模型在ImageNet上的分类效果提升3.3%，但是用MAE训练的ViT-T比普通监督训练的模型在ImageNet上的分类效果降低了0.6%。
在这篇工作中我们提出了TinyMIM，其在保持ViT结构不变并且不修改结构引入其他归纳偏置（inductivebias）的基础上、用蒸馏的方法迁移大模型上的知识到小模型。
我们系统性的研究了蒸馏目标、数据增强、正则化、辅助损失函数等对于蒸馏的影响。在严格的只用ImageNet-1K作为训练数据的情况下（包括Teachermodel也只用ImageNet-1K训练）和ViT-B作为模型，我们的方法实现了当前最好的性能。如图所示：
把我们的方法（TinyMIM）和基于掩码重建的方法MAE，以及监督式学习的方法从头开始训练的DeiT作比较。MAE在模型比较大的时候有显著的性能提升，但是在模型比较小的时候提升幅度有限甚至会伤害模型的最终效果。我们的方法TinyMIM在不同模型的大小上都有大幅提升。
1.蒸馏的目标（Distillationtargets）:1）蒸馏token之间的关系比单独蒸馏classtoken或者特征图（featuremap）更有效；2）用中间层作为蒸馏的目标更有效。
2.数据增强和模型正则化（Dataandnetworkregularization）：1）用带掩码的图片效果更差；2）学生模型需要一点droppath，但是teacher模型不需要。
3.辅助损失函数（auxiliarylosses）：MIM作为辅助损失函数没有意义。
4.宏观蒸馏策略（macrodistillationstrategy）：我们发现序列化的蒸馏（ViT-B->ViT-S->ViT-T）效果最好。
我们系统性的调研了蒸馏的目标，输入的图片，蒸馏目标模块。
2.1影响蒸馏效果的因素
a.中间block特征和输出特征
当i=L时，指的是Transformer输出层的特征。当i b.注意力（Attention）特征和前馈层（FFN）层特征 Transformer每一个block有Attention层和FFN层，蒸馏不同的层会带来不同的影响。 在Attention层内会有Q，K，V特征，这些特征用于计算注意力机制，我们也调研了直接蒸馏这些特征。 Q，K，V用于计算注意力图，这些特征之间的关系也可以作为知识蒸馏的目标。 传统的知识蒸馏是直接输入完整的图片。我们的方法为了探索蒸馏掩码建模模型，所以我们也探索了带掩码的图片是否适合作为知识蒸馏时候的输入。 2.2知识蒸馏方法对比 最简单的方法就是类似DeiT直接蒸馏MAE预训练模型的classtoken: 2）特征蒸馏：我们直接参考了featuredistillation[1]作为对比 我们的方法在ImageNet-1K上预训练，而且教师模型也是在ImageNet-1K预训练。然后我们将我们预训练的模型在下游任务（分类、语义分割）上进行了微调。模型表现如图： 我们的方法显著超过之前基于MAE的方法，尤其是小模型。具体来讲，对于超小的模型ViT-T，我们的方法实现了75.8%的分类准确性，相比MAE基线模型实现了4.2的提升。对于小模型ViT-S，我们实现了83.0%的分类准确性，比之前最好的方法提升了1.4。对于Base尺寸的模型，我们的方法分别超过MAE基线模型和以前最好的模型CAE4.1和2.0。 同时我们也测试了模型的鲁棒性，如图所示： TinyMIM-B对比MAE-B，在ImageNet-A和ImageNet-R分别提升了6.4和4.6。 同时蒸馏QK,VV关系而且在计算关系的时候有Softmax实现了最好的效果。 TinyMIM这种蒸馏关系的方法实现了比MAE基线模型，classtoken蒸馏，特征图蒸馏都更好的效果，在各种尺寸的模型上都是如此。 我们发现蒸馏第十八层实现了最好的效果。
谷普下载提醒您：让你提前汇款，或价格明显低于市价，均有骗子嫌疑，请不要轻易相信。
相关资料：txt下载、doc下载、文章搜索、网址搜索、百度搜索、好搜搜索、搜狗搜索、必应搜索
本文链接：http://www.gpxz.com/article/ebbcc7ea04cd2b5a314d.html
微店，从工具到流量，一站式解决社交网络开店的所有问题。为商家提供微信微商城、小程序分销、小程序商城、微信开店、微信分销等一体化多场景多行业的解决方案；帮助全行业商家玩转私域流量，实现业绩持续增长！使用商家超9000万，年GMV超1000亿。
上海源倾电气有限公司专业提供继电保护测试仪_直流电阻_回路电阻_绝缘电阻_接地电阻测试仪等电力设备，免费提供各种仪器仪表选型指南和技术方案，欢迎来电咨询订购！
本地防水补漏公司专业从事防水补漏,防水工程,卫生间漏水维修,厨房防水,外墙防水,地下室防水,楼顶补漏,房顶防水堵漏等服务,快速漏水抢修,随叫随到,闪电上门服务。
北京国联融合科技有限公司(骐迹教育)多年来一直从事于项目管理培训、企业内训、企业咨询服务，是经项目管理协会PMI)授权认可的注册教育机构，GLOBALREP.NO.4757是中国国际人才交流基金会授权培训机构
浙江红日电源有限公司专业生产防水变压器,墙暖变压器,控制变压器,调压器线圈,环型变压器等，是专业的变压器厂家，公司始终坚持“诚信立业，质量为本”的原则，在未来我们将一如既往.开拓创新，致力于产品质量的不断优化，服务措施更加完善，欢迎来电咨询。
广安大川铁路运输学校
我行网知识问答平台，可信赖的知识问答库平台，领域主要包括：消防安全、健康、趣味知识、法律、教育、科普、环保、育儿、历史、宠物、科技、奥运、计算机等知识问答。有问题，上我行网。
福建资讯网-分享生活，热爱生活
昆仑网（新疆党建网）是自治区党员教育辅助教学网，全国党建网站联盟网站，2005年7月1日正式开通。现有中文、维吾尔文、哈萨克文版面，域名为www.xjkunlun.gov.cn,www.xjkunlun.cn。
享道出行是上汽集团旗下的移动出行战略品牌，整合上汽集团优势资源及强大技术实力，布局专车，出租车，顺风车，个人租车，代驾，企业租车等产品线，专业之上更以人为本，为您提供多元化“一站式”出行服务，想到的地方陪你到。
在这里，你每天都能发现新鲜有趣、有价值的各类互联网工具。我们坚持每日分享10至30个新奇的产品工具，致力于发现最新、最酷、最有趣互联网产品工具。无论你是互联网行业的专业人士，还是充满好奇心的普通用户，这里都能满足你的探索欲望。
京宇和政盛软件科技有限公司坐落于“六朝古都”，是一家专业从事虚拟仿真、三维演示动画、游戏开发、三维产品演示动画制作公司、团队拥有多年的行业经验 、联系电话：025-85308000转205
1.北京五中的管理并不算特别严格，但如果你的目标是正誉中学，那么对于女生来说，剪发的规定可能会比较让人痛苦，该校体育活动非常丰富，能够让学生接触到新鲜的空气，2.北京二中则相对更为宽松，作业是否完成并没有强制要求，但前提是你必须就读于实验班，如果你所在的班级不是实验班，那么学校的管理就会相对严格，3.171中学的校舍条件良好，但校风并...。
中学太多了，三中，十三中，二中，四中，二十八中，建华厂一中，齐铁一中，二十中，三十四中，五中，十二中，太多了二机一中师资力量历经五十载风雨和艰辛创业，北方重工第一中学，原内蒙古第二机械制造总厂职工子弟第一中学，，于1959年诞生，至今已有半个世纪的建校历史，这所学校见证了多次重大变迁，如转址、更名、改制和归属，从最初的弱小发展到如今的...。
莱阳警方通报，母女被雨衣男拖进房，详情，该案件涉及到的法律问题首先是对应的男子涉及到非法拘禁，其次是强闯民宅，再者是违规使用配电箱，另外是母女造成了心理伤害，需要从以下四方面来阐述分析莱阳警方通报，母女被雨衣男拖进房，详情，该案件涉及到了哪些具体的法律问题，一、涉及到非法拘禁首先是涉及到了非法拘禁，对于莱阳警方而言调查了对应的案件后发...。
必然是二中啊，市重点，北京市综合排名前5，171只是区重点，不过如果能去171实验班或者二中普通班的话还是建议去171的实验班，毕竟每个学校都会把最强的师资集中在实验班上北京中考东城区排名北京中考东城区排名，北京二中、汇文中学、171中，1、北京二中北京市第二中学是北京市高中示范校，她坐落于东城区内务部街15号，是一所历史悠久的学校，...。
沈阳市第二十一中学升学率是非常不错的，1997年晋升为市级重点中学，2016年21中已经升省重点了，学校现已发展成为一所规模较大的现代化完全中学，1997年步入市级重点高中行列，现占地约2.5万平方米，建筑面积约1.3万平方米，现有两座教学楼，一座实验楼，一座功能完备的多功能厅，还有一座设施齐全的体育馆正在筹建当中，学校现有三个年级，...。
主要在个人，老师都一样的，一中的只是把好的生源抢走了，他的底子强了，请帮忙分析一下该考潍坊一中还是昌乐二中，两所学校都是所谓的，好，学校但不一个好法昌以往的升学率都很高复读生多教学以灌输式为主典型的山东教育形式复读生多所以升学率很高孩子去那的话不出什么意外肯定能去个好大学但孩子可方面的能力得不到有效的提升可能出现高分低能的情况潍去年升...。
中学太多了，三中，十三中，二中，四中，二十八中，建华厂一中，齐铁一中，二十中，三十四中，五中，十二中，太多了包头青山区二机二中今年教新生的老师哪个教的好二机一中，全称为内蒙古北方重工集团第一中学，其前身是内蒙古第二机械制造总厂职工子弟第一中学，创建于1959年，这所学校自成立以来，一直以严谨的学术氛围和卓越的教育成果闻名，其教学质量深...。
二中分北校区好，1、北校区的管理更严格，而且老师的师资配备也是比较整齐的，年轻老师比较多，但素质相对较高，而且北校区的时间安排更紧凑，2、171在管理上就比较松懈，老师师资力量参差不齐，相当一部分老师不是孩子小，就是年老体弱，3、综合所述，所以二中分北校区好，二中分北校区在教学管理上更为严谨，1、北校区注重对教师的选拔与培训，师资队伍...。
沈阳市第二十一中学升学率是非常不错的，1997年晋升为市级重点中学，2016年21中已经升省重点了，学校现已发展成为一所规模较大的现代化完全中学，1997年步入市级重点高中行列，现占地约2.5万平方米，建筑面积约1.3万平方米，现有两座教学楼，一座实验楼，一座功能完备的多功能厅，还有一座设施齐全的体育馆正在筹建当中，学校现有三个年级，...。
石家庄二中发生事件是石家庄二中实验学校在廊坊域内违规招生，通过查询河北日报，2021年7月6日，石家庄二中实验学校违反河北省普通高中招生政策，私自到廊坊市违规招生，所以，石家庄二中发生事件是石家庄二中实验学校在廊坊域内违规招生，金坛二中黄老师教室事件最新进展如何?金坛二中黄老师教室事件最新进展，学校已成立调查组，涉事老师已停职近日，有...。
二中分北校区在教学管理上更为严谨，1、北校区注重对教师的选拔与培训，师资队伍整体年轻化且有活力，教师素质普遍较高，此外，该校区的课程安排紧凑，学习效率较高，2、相比之下，171学校的管理较为宽松，师资力量存在较大差异，部分教师可能缺乏教学经验或者年岁较大，3、因此，综合各项因素，二中分北校区在教学质量和师资配备上更胜一筹，北京2中、1...。
二中好呀，是河北区重点，不过如果你住在市里就太远了沈阳21中学怎么样，沈阳市第二十一中学升学率是非常不错的，1997年晋升为市级重点中学，2016年21中已经升省重点了，学校现已发展成为一所规模较大的现代化完全中学，1997年步入市级重点高中行列，现占地约2.5万平方米，建筑面积约1.3万平方米，现有两座教学楼，一座实验楼，一座功能完...。
上周招聘了一个年轻人，面试的时候，很有热情，准备充分，对公司也做了研究，连对话提问，明显也是之前有所排练的，总而言之，看起来是一个做事很认真的小伙子，他说，我觉得，这就是我想要的公司和文化，这就是我喜欢的工作，这个小伙子戴着黑框眼镜，说这话的时候，一副理想主义者的激情神态，坦白说，我被这种神态打动了，我想，也许工作充满繁杂无聊，但只有...。
同派成立于2018年，是全新推出的城市酒店和跨界潮流生活方式品牌，同派由瑰丽酒店集团首席执行官郑志雯，SoniaCheng，创始，将传统城市酒店的功能延伸和拓展，跨界融合了共享生活和共享办公概念，致力于活力都市生活和社交方式的新潮流，为了推崇年轻、独立、人士对旅行和社交生活的个性表达，同派以和具有设计感的居停社交空间为品牌哲学，让志同...。
外地时期9月30日，总台记者得知，日本候任首相石破茂已确定在10月27日启动日外国会众议院选举投票开票，外地时期9月27日，日本自民党总裁选举投票正式开局，最终石破茂在第二轮投票中取得少数选票，入选自民党新任总裁，他将在10月1日经国会指名选举，接任首相，日本首相由政党提名、国会众参两院议员投票选举发生，普通而言由在国会众议院占据少数...。
村主任撞死邻村主任案二审维持原判双方家眷回应9月25日，记者从双方家眷处得知，湖南醴陵一村主任驾车撞死邻村村主任案二审维持原判，2019年9月，醴陵华埠村主任刘某调停村中企业与塘坊村土地替换事宜时被塘坊村村主任陈某驾车撞死，刘某时任醴陵市人大代表，陈某是醴陵市政协委员，该案一审陈某被以故意杀人罪判处死刑，湖南高院裁定撤销原判发回重审，...。
关上苹果自带阅读器，搜查pp助手，点击有官方字样的网页进入，点击下载，须要下载形容文件，点击准许，下载好后，点击封锁，封锁阅读器，关上设置，会发现设置界面多了一个形容文件，点击装置，输入手机明码后，开局装置，工具，原料，safari12.01、关上苹果自带阅读器，搜查pp助手，点击有官方字样的网页进入，2、点击下载，3、须要下载形容文...。
