最佳学生论文官方解读！ CVPR 2019 (最佳学生论文奖)
作为人类感知世界、进行交互的两大最重要的方式，视觉和语言一直是人工智能领域研究的重点。近年来，将视觉与语言信息进行融合和转化成为了一个活跃的研究方向，许多让人眼前一亮的工作也随之产生。微软研究院在文本中，对其获得 CVPR 2019 最佳学生论文的工作进行了技术解析，非常值得一读！
人类如何进行高效的沟通呢？人们普遍认为，人类用来交流的词语（例如「狗」）会引发对物理概念的相似理解。实际上，我们对于狗的物理外形、发出的声音、行走或奔跑的方式等都有共同的概念。换句话说，自然语言与人类与他们所处的环境之间的交互方式息息相关。因此，通过将自然语言基标对准到我们所处环境的各种模态中（例如图像、动作、物体、声音等），可以产生有意义的行为。心理学领域最新的研究成果表明，婴儿最可能学会的第一个单词是基于其视觉体验的，这为婴儿语言学习问题的新理论奠定了基础。那么现在问题来了：我们是否能够构建出可以像人类一样，学着在不同模态下进行沟通的智能体？
在各种多模态学习任务中，视觉-语言导航（VLN）是一类十分有趣也极具挑战性的任务。这是因为，为了能够以遵循自然语言指令的方式对真实环境中的智能体进行导航，我们需要执行两层基标对准：将指令基标对准到局部空间视觉场景中，然后将指令与全局时序视觉轨迹相匹配。最近，深度神经网络领域的工作重点关注于通过在视觉上基标对准语言学习任务，来连通视觉和自然语言理解的桥梁，从而构建智能体，这要求研究人员具备机器学习、计算机视觉、自然语言处理以及其它领域的专业知识。
对于这种基标对准任务而言，深度学习技术非常具有使用前景，这是因为使用深度学习技术能够使得同时从计算机视觉和语言的低级感知数据中学习到高级语义特征成为可能。此外，深度学习模型也使我们可以将不同模态的信息融合到同一种表征中。基础语言学习任务还要求与某个外部环境进行交互；因此，强化学习为我们提供了一种优雅的框架，能够基于视觉层面来完成对话任务规划。所有这些研究进展使得解决具有挑战性的 VLN 任务在技术上可行。
图 1：视觉语言导航（VLN）任务示意图。图中展示了指令、局部视觉场景，以及从俯视视角描绘的全局轨迹。智能体并不能获取俯视图信息。路径 A 是遵循指令得到的正确展示路径。路径 B 和 C 代表智能体执行出的两条路径。
微软研究院的视觉和语言研究人员一直致力于研究对自然语言和视觉交互进行基标对准的各种不同的方法，并一直在应对 VLN 所特有的挑战。CVPR 2019 中，由微软 AI 研究院的 Qiuyuan Huang、Asli Celikyilmaz、Lei Zhang、Jianfeng Gao，加州大学圣巴巴拉分校的王鑫、Yuan-Feng Wang、王威廉，以及杜克大学的 Dinghan Shen 共同完成的工作「ReinForced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigation」获得了最佳学生论文，微软的 VLN 研究团队在本论文中探索了 解决 VLN 领域这三个关键挑战的方案：跨模态基标对准（cross-modal grounding）、不适定反馈（ill-posed feedback）以及泛化（Generalization）问题 。不仅如此，这项工作所取得的好结果非常激动人心！
其中的一个挑战是，根据视觉图像和自然语言指令进行推理。如图 1 所示，为了到达目的地（用黄色圆圈高亮表示），智能体需要将用单词序列表征的指令对标到局部的视觉场景中，并且将指令与全局时序空间中的视觉轨迹匹配起来。为了解决这个问题，我们提出了一种新的强化跨模态匹配（RCM）方法，它可以通过强化学习在局部和全局进行跨模态基础标对。
如图 2a 所示，我们的研究团队设计了一个带有两种奖励函数的推理导航器。外部奖励会指导智能体学习文本指令和局部视觉场景之间的跨模态基础对标，从而使智能体可以推测出要关注的子指令以及相应的视觉内容。同时，从全局的角度来看，内部奖励和匹配评价器一起，通过根据执行的路径重建原始指令的概率来评估一个执行路径，我们将其称为「循环重建」奖励。
图 2：用于将自然语言指令与视觉环境对标的强化跨模态匹配框架。
该内部奖励对于这种 VLN 任务尤为重要；如何训练这些智能体，以及从它们的环境中获取反馈是VLN 研究人员面临的重大挑战。在训练时，学习遵循专家展示需要频繁的反馈，从而使智能体可以保持在正确的轨迹上，并且按时到达目的地。然而，在 VLN 任务中，反馈是非常粗糙的，因为只有当智能体到达了某个目标位置后才会提供「成功」的反馈，完全没有考虑智能体是否遵循了指令（如图 1 中的路径 A 所示），或者是按照随机的路径到达了目的地（如图 1 中路径 C 所示）。如果智能体稍微比预计时间停止得早了一些（如图 1 中的路径 B 所示），即使与指令相匹配的「好」轨迹也可能被认为是「不成功」的。这样的话，不适定反馈可能会与最优策略学习的结果不符。
如图 2a 和 2b 所示，我们提出通过局部测量一个循环重建奖励来评价智能体遵循指令的能力；这种机制能够提供一种细粒度的内部奖励信号，促使智能体更好地理解语言输入，并且惩罚与指令不匹配的轨迹。举例而言，如图 1 所示，使用我们提出的奖励，路径 B 就会被认为优于路径 C。
使用匹配评价器提供的内部奖励以及环境提供外部奖励进行训练，我们的推理导航器会学着将自然语言指令同时在局部空间视觉场景和全局时序视觉轨迹进行基标对准。在一个 VLN 对比基准数据集上的评估结果显示，我们的 RCM 模型在 SPL（通过逆路径长度加权的成功率）指标上显著优于之前的方法，提升高达 10%，实现了目前最佳的模型性能。
当处于训练时未曾见过的环境中时，VLN 智能体的性能会显著降低。为了缩小这种差距，我们提出了一种通过自监督学习探索未见过的环境的有效解决方案。通过这种新技术，我们可以促进终身学习以及对新环境的适应。例如，家用机器人可以探索一个新的房子，然后通过学习之前的经验迭代式地改进导航策略。受到这一事实的启发，我们引入了一种自监督模仿学习机制（SIL）来支持智能体对未见过的环境（没有带标签的数据）进行探索。其中，智能体会学习自己过去积极的经验。
具体而言，在我们的框架中，导航器将执行多次「roll-out」策略，其中好的轨迹（由匹配评价器确定）将会被保存在经验回放缓存中，然后被导航器用于模仿。通过这种方式，当行器可以对其最佳行为进行近似，从而得到更好地策略。我们能够证明 SIL 可以近似得到一个更好、更高效的策略，这极大地缩小了训练时见过和未曾见过的环境之间的成功率的性能差异（从 30.7% 降低到 11.7%）。
非常荣幸，这篇论文被选为了 CVPR 2019 的最佳学生论文。用 CVPR 2019 最佳论文奖组委会的话来说，就是「视觉导航是计算机视觉的一个重要领域，而这篇论文在视觉-语言导航方面取得了进展。在该领域之前工作的基础上，该论文在跨模态环境下基于自模仿学习所取得的成果令人激动！」热烈祝贺这篇论的作者们：来自加州大学圣巴巴拉分校的王鑫、Yuan-Fang Wang、王威廉，来自微软 AI 研究院的 Qiuyuan Huang、Asli Celikyilmaz、Lei Zhang、Jianfeng Gao， 以及来自杜克大学的 Dinghan Shen。其中，王鑫对这一工作所做的贡献是其在微软研究院实习期间完成的。
在另外一篇 CVPR 2019 论文「Tactical Rewind: Self-Correction via Backtracking in Vision-and-Language Navigation」（由微软 AI 研究院的 Xiujun Li和 Jianfeng Gao，华盛顿大学的 Liyiming Ke、Yonatan Bisk、Ari Holtzman、Yejin Choi、Siddhartha Srinivasa，以及微软 Dynamics AI 的 Zhe Gan 和 Jingjing Liu 共同完成）中，我们改进了 VLN 智能体的搜索方法，提出了一个被称为「快速导航器」（Fast Navigator）的动作编码的通用框架，使智能体能够基于局部和全局的信息比较长度不同的部分路径，并且在出错时进行回溯。
我们注意到，VLN 与文本生成任务有一些相似之处，所有现有的工作可以被分为两类：
总的来说，当前的 VLN 模型面临着两大核心问题：首先，我们应该回溯吗？如果我们应该回溯，那么我们应该回溯到哪一步呢？其次，我们应该在何时停止搜索？
为了使智能体能够在出错时进行回溯，我们将搜索与神经编码结合了起来，从而使得智能体可以基于局部和全局信息比较长度不同的部分路径，然后在发现错误时进行回溯。为了确定我们是否应该停止搜索，我们使用了一个融合函数，该函数会将局部动作知识和历史转化为一个进度的估计值，从而通过对我们之前的动作与给定的文本指令的匹配程度建模来评估智能体的进度。
via
原创文章，未经授权禁止转载。详情见 转载须知 。
好课件为您提供精美小学、初中、高中所有语文、数学、英语、科学、化学、物理、生物、历史、地理、道德与法治等PPT课件,好课件将全力打造专业高品质的PPT课件资源下载网站。
55Y音乐社区APP是一个聚合数千万音乐爱好者的专业的音乐内容分享社区，在这里你可以建立你的音乐自媒体，分享你的音乐生活！
蓝海卓越,高校无线认证,PORTAL认证,有线计费,代拨网关,智能DHCP,防代理,防私接，无线计费,校园准入准出系统，5G专网，无线AC，无线AP
北京手机号码在线选号，北京手机靓号免费申请、北京手机卡选号大厅、电话卡网上申请办理。北京移动、联通、电信无限流量卡、腾讯大王卡、阿里宝卡、移动大王卡，电信星卡申请办理官方入口，打造号码行业生态系统。
上海仲天装饰设计工程有限公司专业从事电梯装潢、自动扶梯装潢、电梯门装修、电梯轿厢装潢等不锈钢制品装饰工程,主营电梯装潢、电梯配件、电梯改造、金属制品、铁艺的生产制作与施工维护。
泰州三泰人才网是专业的泰州人才招聘网络平台，主要发布泰州人才、泰州招聘会和泰州招聘信息，0523Job免费注册人才简历，发布泰州招聘信息。
重庆涛雷建筑工程有限公司成立于2019年11月22日,是一家以建筑工程施工为主营业务的公司,公司现拥有多种专业建造师,中高级工程师,数名中级专业技术管理人才组成的高素质建筑公司.咨询电话：023-41567009
酷站DNS,租二级域名专业提供企业域名出租服务多年,可以绑定阿里云,可以绑定腾讯云,以及其它对接入没有苛刻要求的主机服务商,是阿里云和腾讯云接入的企业域名,已成功为上万用户提供子域名租用服务,是国内最好的域名出租服务网站。
映美信息科技有限公司(Jolimark)，一直致力于成为中国最具实力的商用外设专业提供商之一。自2000年创建“映美”品牌以来，一直以创建民族品牌发展为目标，并秉承“打印机就是云应用”的企业理念。映美拥有最全的商用针式打印机产品线，并为十二金应用和商用办公提供完整解决方案。映美的全系列商用针式打印机覆盖了微型打印机和80列、136列的平推、滚筒等各种规格的多种型号的产品，能够全方位满足各行业窗口票单打印、专用票据证卡打印、后台高速报表打印的需求(映美官方网)。
安全行业先行者
SalesDriver,创新的一站式数字营销解决方案服务机构,500强更青睐的合作伙伴,营销自动化,ABM营销,线上线下活动,销售线索营销,内容营销,广告投放等,解决增长难题，联系电话：400-0318-271
让更多的人分享互联网开发技术
如今，有很多人们忙碌于繁忙的工作没有时间去谈恋爱而错过了恋爱的机会，导致自己已经到了父母认为该结婚的年龄还缺乏甚至是没有恋爱经验，为了解决这一个问题，很多父母都会给自己的孩子找一个婚姻介绍所，毕竟现在婚姻介绍所的政策也越来越好，很多人都在这里找到了自己理想的另一半，所以很多人也愿意去婚姻介绍所寻找一生的伴侣，随着选择婚姻介绍所的人越来...。
年蜜逗奶茶已经推出了两个系列的饮品，一个是气泡水系列，一个就是洛神系列，这两个系列的产品都是清爽型的，超级适合夏天，一推出就深受消费者的喜爱，不过今年夏天还有一系列产品人气超级高，那就是蜜逗奶茶去年推出的酸奶紫米露系列！年卖的超级火的一款饮品，你肯定想不到！酸奶紫米露是蜜逗奶茶去年推出的一款，非常健康养生的一系列产品，能够养气血，饱肚...。
一个人，无论从事什么职业，都应该有合格的职业道德，教师的职业道德，是教师为人师表应遵守的基本准则，蒙特梭利教育首先要呈现的是教师的改变，跨世纪说，老师对了，孩子就幸福了！，师德师风建设工作，一直是幼儿园的管理重点！作为园长，怎么让师德师风工作像教学工作一样有抓手，怎样把看似无形的师德师风建设工作抓出实效……经过多年来的研究探索，跨世...。
峰会在北京诺金酒店隆重举行，尚美生活集团创始人、董事长马英尧、新经济多位创投界重量级嘉宾齐聚这场万亿盛宴，共话行业变化与市场发展新方向，带来了一场思想碰撞，从基层看去，社会是乡土性的，简单的一句话说透了的本质，可以县、乡、镇、村为代表的下沉市场怎么打，年才开始创业做经济型酒店的马英尧先生很有发言权，当年，已经上市，在没有资本支持的...。
时不待我，只争朝夕，机会稍纵即逝，抓住时机开展智慧之选项目，提前抢占先机才能迅速获得市场认可，现在重庆火锅加盟正是不错，尽早进入市场才能赚得更多，经营得更好，同时，合理经营技巧也能助你在餐饮市场迅速站稳脚跟，这时候找一家实力强大的加盟总部就显得尤为重要，因为实力强大的加盟总部必定有着一套成熟的运作管理模式，可以帮助加盟店持续稳定的经营...。
自2019七月份上海市启动强制性废品分类政策以来，使得很多人日常生活之中倒废品这样一件简单的事情，也变得复杂起来，更是在全国都掀起了废品分类认知的热点话题，这样的社会环境下，越来越多的人都会在家庭装修的时候看，开始注重起来废品处理的问题，问世多年的废品处理更是成为了当下非常火热的产品，备受当下年轻家庭的欢迎，从而很多人看准商机，想要具...。
家具，与人们的居家生活休戚相关，它不仅能够为整个家庭的装修风格平添色彩，而且还能体现出主人的生活品味，在挑选家具时，人们通常会在定制家具和成品家具之间摇摆不定，下面，我们就来看看定制家具和成品家具的区别有哪些吧！定制家具和成品家具的区别1、气定神闲VS四处奔走如果，你打算购买成品家具的话，就得先去把当地的家具建材市场跑一遍，跑完后，你...。
峰会在北京诺金酒店隆重举行，尚美生活集团创始人、董事长马英尧、新经济多位创投界重量级嘉宾齐聚这场万亿盛宴，共话行业变化与市场发展新方向，带来了一场思想碰撞，从基层看去，社会是乡土性的，简单的一句话说透了的本质，可以县、乡、镇、村为代表的下沉市场怎么打，年才开始创业做经济型酒店的马英尧先生很有发言权，当年，已经上市，在没有资本支持的...。
2019年12月中旬，下过雨的南京天气有些寒冷，位于南京麒麟高新开发区的华能智链研发部门办公室，显示屏上来回切换着数个研发任务的排期表，详细精确到每个月份每个子项的开发进度，这是一家行至数字化转型中途的供应链管理公司，华能智链全称江苏华能智慧能源供应链科技有限公司，一家做供应链的公司研发部门四五十号人，这可一点也不，传统，，大部分人对...。
2019年，施耐德电气在世界供应链Gartner榜单中排名第11位，很大一部分原因来自于其在智慧物流、工业品制造方面取得的成就，据了解，施耐德电气上海智慧物流中心是他们目前在中国最大的物流中心，前些年，这个智慧物流中心一直默默无闻，而最近几年其战略地位逐步凸显，在智慧物流行业可谓小有名气，如此重要的职能、地位以及知名度上的转变，背后原...。
字幕组双语原文，精读，Transformer模型深度解读英语原文，TheAnnotatedTransformerfromIPython.displayimportImageImage，filename=images，aiayn.png，在过去的一年里，，注意力就是你所需要的，中的Transformer被很多人所关注，除了在翻译质量上...。
在大多数机器学习竞赛中，特诊工程的质量通常决定着整个作品的得分与排名，也是参赛者们非常看重的一部分，在GitHub上，作者Nomi，专注于计算机视觉与嵌入式技术，也是tiny，dnn的原作者，向我们介绍了一个面向kaggle数据科学和离线竞赛的实用工具库nyaggle，可供开发者专用于特征工程与验证，在机器学习和模式识别中，特征工程的...。
据彭博社8月18日消息，有知情人士向彭博社透露高通公司正在考虑推出一款新芯片重返服务器市场，以减少对智能手机的依赖，报道称，高通正在为去年收购的芯片公司Nuvia的产品寻找客户，并且，作为最大的服务器芯片买家之一，亚马逊旗下云解决方案提供商AWS已经在考虑研究高通公司的产品，转载了该消息的路透社表示，亚马逊已经向他们证实确在考虑高通公...。
做代理商需要注意什么，这是很多的代理商都迫切想知道的，一，要服从总部的统一领导；第二，要有良好的口才；第三，要与顾客搞好关系；第四，要有良好的社会关系和市场关系，就拿蔬方沙拉来说，蔬方沙拉已经在市场上取得了很好的反响，总部会对代理商进行专业的培训，有专职的培训师来培训大家，提高大家的经营能力以及需要注意的地方，现在蔬方沙拉在市场上的竞...。
现酿酸奶现酿酸奶是指以新鲜牛乳为原料，添加适量的砂糖，经巴氏杀菌和冷却后加入纯乳酸菌发酵剂，经恒温发酵而制成的产品，传统的酸奶通常按生产方法分为两类，1，凝固型酸奶，牛乳在添加生产发酵剂后立即进行包装，并在包装容器中发酵而成，2，搅拌型酸奶，在发酵罐中接种生产发酵剂，凝固后，再加以搅拌入杯或其它容器中，在遥远的保加利亚南部，一个风...。
今日头条SpaceX星舰飞船发射升空后不久发生爆炸4月20日晚间，马斯克旗下SpaceX星舰，Starship，的首次入轨飞行发射失败，升空后不久发生爆炸，SpaceX在社交媒体上也确认了这一结果，表示在火箭分离阶段前出现了快速且计划外的解体，公司团队将审阅相关数据，为下一次实验做准备，马斯克随后也更新了社交媒体，祝贺SpaceX团队...。
►文观察者网杨蓉据路透社10月19日报道，由中企中远洋运个人控股和投资开发的秘鲁钱凯港有望在11月中旬举办一期工程落成仪式，并在下旬开启试运营，建成后，钱凯港估量将大大缩短秘鲁与亚太地域之间的运输时期，也将辐射周边南美国度，成为拉美地域新的枢纽港和太平洋新门户，中远洋运港口秘鲁钱凯公司总经理卡洛斯·特哈达，CarlosTejada，1...。
