视觉 北大邹月娴 (北京大学视觉与图像研究中心)
预训练模型在自然语言处理和计算机视觉领域引起了学术界和工业界的广泛关注。利用大规模无监督数据进行训练的预训练模型有着非常好的泛化性，只需在小规模标注数据上进行微调，就可以在相应任务上有所提高。但相关研究的进展如何？还有哪些问题需要进一步探索？
2021年12月16日，北京大学深圳研究生院党委副书记、教授、博士生导师、北京大学现代信号与数据处理实验室主任 邹月娴 在中国计算机大会（CNCC 2021）“产业共话：大型预训练模型的商业应用及技术发展方向”论坛上，做了《视觉-语言预训练模型演进及应用》的报告，讨论了围绕大规模预训练模型的争议、最新进展以及研究思路，并给出了未来展望。
“‘视觉-语言’的子任务非常多，有各自的数据集，这使得解决NLP任务的进展非常快，但预训练模型方法在视觉领域却遇到了非常大的问题： MSCOCO数据集只标记了12万张图片，每张图片给出5个标记，总共花费了10.8W美金。”
“当前的几个主流VL-PTMs的技术路线很相似，都采用单一 Transformer架构建模视觉和文本输入；视觉输入为 Region-of- Interests (Rols) 或者 Patches，缺失全局或者其他高级视觉语义信息……”
而后者表明，主流视觉-语言预训练模型存在很多局限，导致在迁移至下游任务时，只适用于分类任务，而不适用生成任务。
以下是演讲全文，AI科技评论做了不改变原意的整理。
今天演讲的题目是《视觉-语言预训练模型演进及应用》，主要结合团队工作以及本人感悟探讨人工智能发展目前展现的趋势。本次演讲分为4个部分： 背景介绍、视觉-语言预训练模型、视觉-语言预训练模型及应用研究以及未来展望。
人工智能已经有六十多年的发展历程，自2017年以来，Transformer和BERT（2018年）相继提出，开启了大数据、预训练与迁移学习新篇章，将其定义为新时代也毫不夸张。目前，不同于前几十年的工作已成定论，该领域尚待进一步深入探索。
以自然语言处理（NLP）为例，其演化过程如上图所示，OpenAI在2018年发布第一代 GPT模型 ，短短几年时间“大模型”已经初具规模。这里的“大”有两层含义：模型训练使用的数据量大，模型蕴含的参数规模大。中国在这方面也有出色的工作，2021年的 悟道2.0 更是达到了万亿参数规模。
目前关于大规模预训练模型还有一些争议，主要的 争论点 在于：
1.超大模型学到了什么？如何验证？
2.如何从超大模型迁移“知识”，提升下游任务的性能？
3.更好的预训练任务设计、模型架构设计和训练方法？
4.选择单模态预训练模型还是多模态训练模型？
虽然有争议，但不得不承认 “暴力美学”确实有独到之处，例如 百度ERNIE3.0 曾经刷新了 50多个 NLP任务基准。要知道，在业界，无数学生、学者为一个SOTA就绞尽脑汁了，但大规模预训练模型却能批量“生产”SOTA。另一方面，50多个SOTA也说明，这不是偶然。
目前学界已经公认AI的发展离不开借鉴人类大脑的研究成果，因此 多模态预训练模型这条集成类脑机制和机器学习的路径，自然也成为关注的焦点。
但仍然有许多脑科学发现的机理未能弄清楚，例如多层抽象、注意力机制、多模态聚合机制、多模态代偿机制、多线索机制、协同机制等等。
人类约有的信息依靠视觉获得，剩余约的信息依靠听觉和触觉。关于人类智能，语言具备真正高阶的语义。例如，当说到“苹果”一词的时候，脑子 “浮现”的是一张“可以吃”的苹果图片；当说到 “苹果手机”的时候，大脑则会出现苹果牌手机的概念。
脑这种“视觉参与听觉感知”的机制、“视觉概念与语言概念一致性”的认知机制是我们机器学习采取多模态预训练模型的可靠性依据之一。
“视觉-语言模型”开发是否可行？中国人民大学的一项研究表明，互联网提供了的图文大数据，而文本数据只占了。在大量数据源的加持下，视觉-语言预训练模型也成了2021年的研究热点。
，英文名称是“ Vision and Language，VL ”。 VL预训练模型旨在让机器处理涉及到“理解视觉内容和文本内容”的任务。VL任务可以分成VL生成任务和VL分类任务。
这两类任务解决的问题不一样，难度也不一样。对于VL生成任务，不仅需要对视觉信息进行理解，还需要生成相应的语言描述，既涉及编码，又涉及解码；而VL分类任务只需要理解信息。显然，生成任务的难度较大。
生成任务的技术难点在于 需要理解视觉的高阶语义，建立视觉-文本的语义关联。 例如， 视频描述（Video Captioning） 任务需要“概括”视频内容， 图像描述（Image Captionin g）任务需要对每一帧图像生成描述。
目前， 视觉问答（VQA） 是热门的VL分类任务之一，可以理解为： 给定一张图像，让模型回答任何形式的基于自然语言的问题。
如上（左）图所示，如果你询问机器“What is she eating？”，VL分类器就会理解图片信息，然后给出正确的回答“hamburger”。
当前“视觉-语言”的子任务非常多，各有数据集，例如 VQA、VCR、NLVR2 等等。我们注意到，由于NLP任务有大数据集支持，其预训练模型技术发展迅猛。但对于视觉-语言任务， 由于标注大规模数据集需要极高的成本，导致VL模型的性能提升缓慢。
以图像描述任务为例， MSCOCO数据集 只标记了 12万张 图片，每张图片给出 5个 标记，总共花费了美金。因此 ，不同的VL任务依赖于不同的模型框架+不同的标注数据集，标注代价昂贵，性能尚未满足应用需求。
探索新的VL预训练代理任务，减少对数标注的依赖，是一个很有意义的研究方向。 2019年学术界开启了的研究工作。
关于VL预训练模型，从2019年开始就出现了非常多的出色工作，例如“开山”的，2020年的以及2021年的。随着时间的推移，模型包含的数据量也越来越大，能力越来越“出众”。整体的技术路线可以分为两大类：
是2020年由微软提出的，它用了4个代理任务训练模型，在4个下游任务进行了测试，获得了性能提升。上述研究都是采用预训练模型加 “微调”的研究范式。
2021年OpenAI用双流框架开发了，CLIP的出现就技惊四座。其原理非常简单，分为编码和解码两个部分，编码器选用典型的Transformer。CLIP模型的惊艳之处在于，CLIP预训练模型直接能够拥有零样本学习（Zero-Shot Learning）能力， OpenAI在多个不同粒度的分类任务中测试发现，CLIP预训练模型具有良好的零样本迁移性能，能学到更通用的视觉表征。
我们对上述主流VL预训练模型，从基础网络结构、视觉输入、文本输入、主流数据集、训练策略以及下游任务六个方面进行了分析。
分析发现，主流的技术路线很相似：
1. 采用单一Transformer架构建模视觉和文本输入；
2. 视觉输入为 Region-of- Interests(Rols)或者 Patches，缺失全局或者其他高级视觉语义信息；
3.大多采用的代理任务是BLM（双向语言模型）、S2SLM（单向语言模型）、ISPR（图文匹配）、MOP（掩蔽物体预测）等等。
因此，已提出的视觉-语言预训练模型更适合迁移到下游分类任务，例如VQA。对于下游生成任务，例如图像描述，视觉-语言预训练模型并不适合。
我们团队也开展了探索性研究，研究思路是堆叠 Transformer+自注意力机制 ，其中 创新地提出自注意力模型区别地处理视觉模态和文本模态，即采用不同的QKV变换参数，分别对视觉和文本模态建模。
同时，引入视觉概念信息，缓解视觉语义鸿沟。经过验证发现，我们提出的 基于注意力模态解耦的VL-PTM : DIMBERT(2020) ，可以同时适用于分类任务和生成任务。
相比当年（2020年）的最新SOTA, DIMBERT模型更小（隐形双塔），仅仅在 Conceptual Captions任务上进行预训练，具有数据量需求优势，在测试的下游任务都达到SOTA，在没有decoder的架构下，可以迁移至下游生成任务。
这项工作也给我们两点 启示
1.从信息表征视角来看，视觉信息和文本信息需要不同的表达方法，毕竟文本拥有相对更加高阶的语义信息。
2.尽量引入人类高阶语义信息，人类对物体有非常明确的定义，苹果就是苹果，梨就是梨，因此定义物体属性，用语言信息缓解语义鸿沟非常有必要。
2021年10月份，Facebook发布了相关工作，属于视频VL预训练模型。从这个模型可以看出，Video CLIP颇具野心，期待对于下游任务不需要任务相关训练数据集，不需要进行微调，直接基于Video CLIP进行零样本迁移。
具体而言，它基于对比学习结合Transformer框架，试图搭建视觉-文本联合预训练模型，期望能够关注更细粒度的结构。
对比学习框架结合训练数据样本的构造 ，其正样本的构造是视频段-匹配文本描述对。此外，通过对正样本进行近邻搜索，获得困难负样本，从而构建出视频-非匹配文本对。
该模型采用对比损失,学习匹配视频-文本对之间的细粒度相似性；通过对比学习方式拉近具有相似语义的视频-文本表征。 这个工作从研究的创新性来看并不突出，但模型性能令人惊讶。
我们认为，借鉴的研究思路，可以在更细粒度层面进行提升，我们提出了一个帧级别文本细粒度匹配方法。
实验结果表明，细粒度匹配能获得更加准确、具有完整的空间建模能力。我们在 ActivityNet数据集 上进行了视频检索的召回率测试，发现在所有下，我们提出的基于细粒度匹配策略的预训练模型性能都优于基于全局匹配策略的预训练模型；此外，我们发现，当获得同一性能，我们提出的基于细粒度匹配的模型其训练速度是基于全局匹配方法的 四倍 。
综上，预训练模型、跨模态预训练模型方面的研究是非常值得探索的，无论是模型结构、训练策略还是预训练任务的设计都尚有非常大的潜力。
未来，AI社区或许会探索更多的模态，例如多语言、运动、音频以及文字；更多的下游任务，例如视频描述、视频摘要；更多的迁移学习机制，例如参数迁移、提示学习、知识迁移等等。
原创文章，未经授权禁止转载。详情见 转载须知 。
猎聘是专业高效的招聘求职平台，为求职者提供海量高薪职位，在线沟通，快速反馈！为企业招聘方提供免费招人服务，优质人才，精准推荐，招人找工作就用猎聘聊！
上海科信检测-上海洁净室检测-洁净空调系统调试-制药厂检测与验证
常熟市佳典红木有限公司位于江苏省常熟市碧溪新区。公司创办于1993年，是一家具有自购、自产、自销、售后服务为一体的“聚心阁”商标全红木工艺家具生产企业。本公司生产的全红木家具有十个大类近1000多个品种，豪华卧房系列、民间传统书房系列、客厅系列、餐厅系列、酒店系列及宾馆系列等。尤其是卧房系列，造型集中国传统式、西洋式和中西合璧式及当代新潮式为一身，令人赏心悦目。产品纯正，公艺精细，款式新颖，古朴大方，传统的生漆工艺制作。公司生产的红木工艺材质齐全，其中有紫檀木、黑檀木、鸡翅木、酸枝木、花梨木等。
机械设计论坛-机械设计交流平台。最受机械行业人士欢迎的网上家园。机械设计，机械设计论坛，机械设计基础，机械设计手册，CAD论坛，solidworks论坛。机械CAD论坛主要提供autoCAD、solidworks、proe、catia、UG、inventor、solidedge、CAXA等软件及其他辅助软件和机械设计与制造理论知识分享及交流。机械设计论坛。
互联网行业瞬息万变,谁能洞察未来,谁就能引领行业发展。先进的技术+远瞻的目光,天狐做行业内最受人尊敬的专业网络营销服务提供商!互联网将世界变小,我们帮您的公司做大!山东天狐全国招商热线:400-667-0536.
江西城投协会,江西城市建设开发投资协会,江西城市建设投融资协会,城投协会
江苏亚宝绝缘材料股份有限公司是国内较早专业从事聚酰亚胺薄膜特种工程材料研发、生产和销售的单位之一。。主营业务“亚宝”牌聚酰亚胺薄膜通过美国UL认证、欧盟RoHS认证、REACH认证，连续9年（2009~2017）被认定为“江苏省著名商标”、连续13年（2005~2017）被授予“江苏产品”称号。
佛山穗兴防腐公司热线电话13928621497，专业承接各类防腐工程、玻璃钢防腐、污水池防腐、钢结构防腐、设备管道防腐、金属瓦面换瓦、屋面防水、注浆堵漏、各类工业地坪、环氧地坪、车间地坪、防腐地坪等工程
四川省平方体建筑材料有限公司是专业的水泥自流平材料供应商，于2022年在成都市龙泉驿区注册成立，我公司是一家集研发、生产、销售、施工、售后服务于一体的水泥地坪材料企业。
上海网易企业邮箱,网易企业邮箱经销商,网易企业邮箱代理商,网易企业邮箱,163企业邮箱,163企业邮箱经销商,163企业邮箱代理商,上海网易企业邮箱代理商,上海163企业邮箱,上海网易企业邮箱代理商,上海163企业邮箱代理商
湖南天酬勤广告有限公司专业生产制作长沙发光字,树脂字,标识标牌,餐饮文化设计,餐饮文化制作等喷绘写真服务,天酬勤广告自有工厂厂价批发，湖南发光字,树脂字价格优惠欢迎大家订购。
2021年，我国将发展托育服务体系列为，KPI，在，十四五，期间，每千人口拥有3岁以下婴幼儿托位数由1.8个提高到4.5个，意味着2025年中国托位总量要达到630万个，据数据显示，我国现有0，3岁婴幼儿4200万，其中1，3的家庭有着比较强烈的托育服务的需求，但实际入托率为5.5%左右，供需缺口还很大，KPI和民众需求的推动，使得...。
目前我国幼儿园在市场的比例逐渐增加，但对于0，3岁婴幼儿的教育却少之又少，很多家庭无暇照看幼儿，或不知如何教育尚未懂事的孩子，因此，托育的重要性显现了出来，可托育早教机构在市面上还是渺小的存在，很多地方甚至没有托育早教机构，随着政策的开展，越来越重视对早期儿童的教育，开始大力支持托育行业，2021年7月，发布的，十四五，积极应对人口...。
现实生活中，有各种各样的排行榜，排行榜是对某一相关同类事物的客观实力的反映，带有相互之间的比较性质，比如，关注度排行榜、流行歌曲排行榜、球队实力排行榜、经济实力排行榜、歌手排行榜等等，顾名思义，药店加盟店排行榜就是对要点加盟店的客观实力的反映，有人认为排名本身也是在促进竞争，为将来的竞争提供参照系，为潜在的未来富翁提供，动力，如果这...。
2021年12月15日，京师通，学霸养成计划，项目说明会于中关村互联网教育中心圆满举办！本次说明会共有来自山东、西安、贵州等多个城市的20多位嘉宾参会，会议中，京师通总经理黄天鹏给嘉宾做了分享，黄总从大环境做了分析，并对学霸产品进行了深度的剖析，学霸养成计划，套装，北师大杨娟教授团队研发，为12，18岁中学生提供的一站式学习解决方案...。
新高考改革逐步深入，每个学校都面临着如何帮助学生们提早做好学业规划和学业能力提升的问题，北京师范大学亚太实验学校对此高度重视，从2021年9月起，特邀北京师范大学学业规划研究中心杨娟教授团队刘璇老师为七、八年级开设，生涯探索规划，兴趣选修课程，带领同学们探索自己未来的学业前途，并进一步通过学业能力的提升，为自己的理想积蓄力量，保驾护航...。
新高考改革逐步深入，每个学校都面临着如何帮助学生们提早做好学业规划和学业能力提升的问题，北京师范大学亚太实验学校对此高度重视，从2021年9月起，特邀北京师范大学学业规划研究中心杨娟教授团队刘璇老师为七、八年级开设，生涯探索规划，兴趣选修课程，带领同学们探索自己未来的学业前途，并进一步通过学业能力的提升，为自己的理想积蓄力量，保驾护航...。
干洗店为消费者们的生活提供着便利的服务，在市场中拥有广阔的发展空间，不少的创业者看到了干洗行业所具有的商机，产生了加盟其中的想法，浣依阁洗衣是一家发源于成都的干洗服务品牌，自2021年成立以来，只经过短短3年的发展时间，在全国建立了上千家连锁合作门店，成为了加盟商眼中的香饽饽，那么浣依阁洗衣加盟支持有哪些，总部在经营多年时间中积累了丰...。
2020年的突发事件，令很多人对于自己的财富有了新的思考，尤其是创业者，更多的将眼光放到了互联网项目，这其中有个项目尤其被看好，它就是手游代理项目，为什么在众多互联网创业项目中，大家更看好手游代理项目呢，游戏市场前景不必多说，喜欢玩游戏，或者对游戏有些了解的朋友一定知道，目前国内市场3000亿，且近5年来持续增长中，游戏付费用户也逐渐...。
春季回暖，草木萌动，万物生机待发，人的新陈代谢在此也比较旺盛，真正的春日养生秘籍，不是多贵的护肤品，而是——睡个好觉，2021·SPRING近期，#超3亿人存在睡眠障碍#登上热搜，调查显示，当下我国超3亿人存在睡眠障碍，其中，超3，4的人晚上11点以后入睡，近1，3的人熬到凌晨1点以后才入睡，01、印花睡裙春季升温，解锁家居新品，舒适...。
夏天，送来瓜果的香甜，也送来孩子们欢乐的节日，2021年5月23日，易道教育江苏泰州品臣校区在初夏时节迎来了，易道儿童月，盛典活动，超多好礼和福利等着宝贝们前来领取哦，易道总部运营管理部高雪梅老师，携市场二组薄雪云老师、李丹老师参与全程指导与策划，除了总部老师外，易道教育江苏盐城阜宁部落及兄弟校区也受邀前来并送上祝福，盛典前夕盛典活动...。
iPhone13与iPhone12参数对比介绍苹果在2021年北京时间9月15日凌晨1点举办秋季发布会，这次发布全新iPhone13系列机型，这次一共发布了4款机型，分别为iPhone13mini、iPhone13、iPhone13Pro、iPhone13ProMax，其实外观设计和功能在之前就已经曝光了，高配版新增120Hz刷新率和...。
12月21日消息，百度宣布首个国产元宇宙产品，希壤，正式开放定向内测，用户可凭邀请码可以进入希壤空间进行超前体验，首期上线的功能包括虚拟空间定制、全真人机互动和商业拓展平台，据介绍，12月27日，希壤，将面向所有用户开放，届时百度Create2021，百度AI开发者大会，将在，希壤，中举办，百度副总裁马杰谈论到了关于希壤这个产品...。
现在的人们生活水平好了，在吃穿上也越来越重视了，尤其是对待孩子，大家更是将所有能给的、好的东西都给他们，孩子对一个家庭是多么重要，今天小编给大家介绍的就是关于母婴用品的，开母婴用品店一年挣多少，小编会在下面详细的给大家介绍，这块市场的，以及开母婴用品的收银，希望对大家有所帮助，首先我们来看看母婴用品店一年的成本都有哪些，小编就以50平...。
在AI、大数据技术的推动下，银行的传统经营模式正在发生根本性的变化，数据驱动的轻型银行模式随之诞生，而在向数据驱动方向奔驰的路上，如何高效处理海量数据成为一个重要的课题，作为我国银行业数字化转型的先锋军，招行也面临着这样的难题，IT架构转型是数字化创新的基石，而一个可扩展、高性能的数据库是IT基础设施的关键支柱，由此可见数据库之于数字...。
发表在华为投影仪2021，7，2816，30导读，华为投影仪怎么样，我想问一下华为有投影仪吗，哪些网上看到的华为投影仪只是使用了华为海思芯片的投影仪，并非真正的华为投影仪，而且这类投影仪多为单片LCD技术，画面效果很差，不信跟着我往下看看，1、，华为投影仪，参数解析我测试的这款，华为投影仪，是某品牌M6，以下简称M6，，亮度8000流...。
发表在专业问答2024，8，2017，35展示机型信息，品牌型号，当贝X5SPro系统版本，当贝OS4.2投影仪显示无信号可以通过投影设置中的信号源设置进行切换，总共可以分为三步，下面为投影仪显示无信号怎么调的详细步骤做具体说明，投影仪显示无信号怎么调1.打开投影设置打开投影仪，在主界面选择设置并点击打开；2.选信号源设置在投影仪的设...。
黄金首饰，作为古老的宝石和珠宝形式，承载了吉祥、神秘和永恒的象征意义，它们独特的魅力吸引了全球收藏家的目光，关于黄金首饰的价格，通常是按克重来计算的，一般而言，每克黄金首饰的价格与黄金原料的价格大致相当，由于黄金市场价格的波动，具体价格会有所变动，但通常每克黄金的价格在500元人民币左右，然而，这个价格会受到多种因素的影响，比如制作工...。
