人工智能的多模态发展丨CCF 腾讯贾佳亚 (人工智能的多模态技术)
7月12日-7月14日，2019第四届全球人工智能与机器人峰会（CCF-GAIR 2019）于深圳正式召开。峰会由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）承办，深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在打造国内人工智能领域极具实力的跨界交流合作平台。
7月14日下午，在 「智慧城市·视觉智能」 专场上，腾讯优图实验室联合负责人，腾讯杰出科学家，香港中文大学终身教授贾佳亚作为开场嘉宾，率先分享。
贾佳亚教授在香港科技大学获得计算机科学博士学位，在微软亚洲研究院做一年半访问学者后，2004年加入香港中文大学计算机科学与工程系，2010年升任副教授，2015年任教授。
贾佳亚教授任职期间发表过逾百篇顶级会议和刊物论文，是前期和中期计算机视觉最著名的专家之一，研究方向为计算机视觉、图像计算和处理、机器学习等，最广为人知的成果是图像去模糊算法，以及去年带队在ImageNet比赛中拿下了Scene Parsing（语义分割）的冠军。
雷锋网了解，贾佳亚教授还多次担任ICCV（国际计算机视觉大会）、IEEE CVPR（国际计算机视觉与模式识别）的领域主席，以及2013到2017年ICCP（国际计算机影像会议）和SIGGRAPH（计算机图形和交互顶级会议）的论文委员会成员。
甫一亮相，他便提出了一个终极命题，“人工智能的终极应用距离我们到底还有多久？” 他给出的答案是：可能还需要50-100年的发展路径。
贾佳亚教授认为，人工智能学科发展与人类智能差距之一就是“多模态信息的智能化理解”，视觉、声音、符号语言、嗅觉和触觉等信息，具有无限多样性。
而多模态人工智能还存在不少技术难点：第一是数据模态多种多样，包括2D图像、3D模型、结构化信息、文本、声音及更多无法量化的数据；
第二是多模态数据的不对应，如从图像到文字，从文字到图像，都是“一对多”的过程，会有多种的描述和呈现；
第三是多模态数据的融合，一个软件或算法的进步较为容易，但多个算法叠加在一起，难度将几何级上升，如“告诉机器人拿桌子左边的瓶子”，会经过语言模型、三维建模、自动寻路、图像分析等步骤；
第四是多模态监督，“如何告诉机器人拿错了”“哪一个步骤拿错了”也是目前的难点。
而要解决这些多模态信息的难题，贾佳亚教授提出要更好研究嗅觉、味觉、触觉、心理学等难以量化的信号问题，通过多模态数据使得计算成为可能，进行协同学习、用一个资源丰富的模态信息辅助另一个资源贫瘠的模态。
多模态人工智能问题的解决，就会是人工智能更多落地的未来。
以下是贾佳亚教授大会现场全部演讲内容，雷锋网作了不改变原意的整理及编辑：
大家好，今天来到这里非常开心，因为近期工作繁忙，较少出席外部大会，现在恰逢暑假期间，可能各位同学或者科研爱好者希望外出学学东西，我也在想，CCF-GAIR可能会是一个比较好的机会。
今天我会向大家展示一些新方向的研究。首先给大家抛点砖以引玉，看看人工智能领域学科发展的现状。
每年如此多优秀论文的出现，也就意味着人工智能的发展还处于一个快速上升的阶段。
这是它们的趋势，是比较表面的东西，我们来看更深层次的东西。
上图还有CVPR的关键词，包含Deep、Image等等，今天我给大家讲的不是这些很热门的方向，其中还有一个大家很容易忽视的模块：Language。
再往下，ACL最热门的是Deural、Learning等等，这里面也有一个非常小的领域：Visual。
这两个领域基本上是分割开的，通过对于这些关键词的分析，可以发现虽然都是AI的顶会，大家都做了很多有趣的工作，但是里面的内容基本没有交集，懂ACL的人并不懂CVPR，懂CVPR的人也很少在ACL里面工作。
ACM MM是一个比较综合的大会，里面有更多的交叉性学科，但是其中最重要的部分依然是Video、Deep等等；非常小的部分是Text、Speech。
我们通过对它的研究，挖掘出一些不会引人注意的特征。为什么去挖掘它？因为这件事情是跟我们对传统的AI认知恰恰相反的事情。
在传统的AI认知中，我们认为AI已经做得非常好了。
从1997年的深蓝，到2014年人脸识别的突飞猛进，所谓的AI发展，其实都是在某一个子领域做到极致。
今天我将这个部分作为开头，更想给大家讲的是，AI再往下发展应该怎么走？这也是之前很多人问过我的问题。
我的基本观点是： 现在的AI距离终极的应用和最后的发展还很远很远，我相信接下来的AI发展道路不止10年、20年，可能是50到100年的发展路径。
首先我认为人工智能学科的发展与人类的智能差距还非常、非常之大。
人工智能和人类智能差距的一个重要原因是对多模态信息的智能化理解，这是各位投身学术界或产业界需要重点关注的一个领域。
从大脑结构可以发现，我们所有的感知系统是一体的，这个大脑既包括了听觉、味觉、嗅觉、触觉，也包括了说话、行动、感应、压力控制。
人脑就像一个中央控制系统，能够把所有的感知系统全部融合起来，如果与人脑做对比，现在的人工智能发展还处在一个非常弱小的阶段。
因为我们现在还没有一套完整系统，甚至没有一个好的算法，把最为简单的两种模式叠加起来。
如果十年、二十年后回过头来看我们现在的发展历程，比如人脸识别超过了人、特征识别超过了人，这些都是微不足道的，因为我们有更为广阔的天地要去探索。
通过以上介绍就会发现，其实人工智能距离成熟还太远太远，现在的人工智能是单模态的人工智能，甚至是单点的一个触发，在以后的多模态世界中，会发生很多更为有趣的事情。
同时，做好这件事，也有诸多难点。
第一个是数据模态的多样性。
我们有这么多图像、模型、文本、声音、结构化信息，怎么去融合？怎么能找到一个场景把这么多信息融合进来？
当你把这些信息全部融合在一起的时候，与我们最为贴合的是哪一个产业？那就是汽车产业。
不管是车与车之间的交流，还是车与道路之间的交流，其实车更像一个机器人，而且在不久的将来，我相信随着车厂和各个技术的融合，这个行业会产生非常多有趣的应用。
除此之外，多模态还有很多无法量化的数据，比如说嗅觉现在还没法去量化，比如闻到一个香味，到底怎么量化它？
第二个难点是多模态数据的不对应。
举一个简单的例子，假设人们看到上面这张图的时候，其实我们有非常多的方法去形容。
但是当我们用多模态数据表述的时候，如何能把两种不相关的数据完整地、像人一样自然地表达出来，这是非常难的事情。
第三是多模态数据的融合。
我一直说一个软件或者是算法的进步是很容易的，但是多个算法连在一起，它的难度是几何级上升的。
现在很多机器人可以跳舞、可以交互，但还没有一个厂商能在五年内完成一个指令：去帮我拿桌子上左边的瓶子。
这其中就涉及到语言模型、三维建模、自动寻路、图像分析、反馈机制，这样一个简单的工作，现在还难以驾驭。
优图实验室借助强大的腾讯平台，我们过去在这方面也做了一些有趣的探索。
这是一个小视频，如果谁能看得懂他表达的意思可以举手示意一下。
在场几百位听众，没有一个人知道他在表述什么事情，其实我也不知道。
基于此，我们在已有的一套非常好的骨骼系统上，加了一个解决手语人士和正常人士交流沟通的翻译器。
做这件事之前，我们做了一个调研，发现我国有听障人士7200万，占全国总人口的5%；全世界有超过4.66亿人患有残疾性的听力损失，占了全球人口的5%。
这件事对我的触动很大，由此，优图实验室在过去几个月就投入了部分研发人员做这件事情。
我们希望做一个手语翻译器，能够很好解决听障人士的交流问题。这件事情看起来很简单，但做的过程中却困难重重。
首先，中国现在都还没有一套规范的手语标准，深圳的手语和北京的手语是不一样的，东莞的手语可能和深圳的也不一样。
当时我们想当然地认为这件事情很容易做，用一套强一点的算法可以在三个月时间内做出来。
事实并非这样，除了刚才的问题之外，还有一个非常难的问题，数据采集回来后，如何将数据转化为应用。
首先需要做一个姿态识别，它是一个图像模态；然后做动作识别，是一个时序模态；然后做语义转化，最后做语言模型，这是一个大致的流程。
在这个过程中，我们需要提取到关键点和手型，然后转化为文字，最后全部粘合起来变成一个语言级的表述，这是一个非常大的系统，我们最后做下来，远远超过了当时预估的工程量和算法技术含量。
目前，我们还只是在一些关键的语句上做得比较好，当我们把这些语料库提供给政府、学校使用的时候，可能还需要一个多月甚至更长的时间去开发。
语言和图像联合处理方面，给一张图片，问一个问题，机器能够回答的也是寥寥可数，包括我们现在能做到的也是非常简单的，稍微复杂一点的都做不了。
比如说上图中，问这个花是什么颜色？它会回答我这是黄色。
同样一张图，问花是放在哪里的？你要得到“花瓶里”的信息，它会告诉你这是一个花瓶。这里面涉及到对图像的细粒度理解，也涉及到自然语言的融合和解答过程。
这是我们当时设计的一个模型来做这件事情。
我们回头来看，多模态还有什么问题？ 第一是数据集存在巨大的Bias， 比如看到这张图象，绝大部分人问的问题都是，这是不是长颈鹿，绝大部分的答案都是“是的”。
但是很少人问，这张图像里是不是个羚羊，没有问这些问题的时候，系统就学不到否定性的答案，在你的数据集上就会出现很大的偏差。
第二是这个问题缺乏多模态的监管 ，也就是说有这样一个图像，我们只有一个简单的问题，比如 “这里面的桌子是什么颜色的”，实际上图片中并没有桌子，但它还是要给你一个答案，这就是缺乏监督的原因。
还比如说，这张图像里有多个人员，我要把它区分出来是非常难的，人眼可以精确分割碗里的每一粒米，但是现在的算法想分割出每一粒米，并不是很容易。
基于腾讯的一个巨大的内容平台，我们每天要处理百亿计的视频，包括长视频、短视频、小视频。
我们基于多模态的处理方式，从视频本身得到很多视频特征，然后进行多模态融合，目前做得效果不错。
最后讲讲多模态的未来发展。
多模态要解决非常多的难以量化的信号，包括嗅觉、味觉、触觉等等。
再往下走，多模态还要解决非常多的协同学习问题，用一个资源丰富的模态信息辅助另外一个资源贫瘠的模态，这里面就涉及到更多的机器学习的内容，包括Transfer Learning、Domain Adaptation、Few/One/Zero-Shot Learning这些非常基础而且非常重要的机器学习内容。
这是我们今年在做的一件事情，当我们看到两张人脸的时候，我们想把它们之间的变化转移到猫身上，这就是一个非常典型的Domain Adaptation。我们把两个人脸转化成猫的表情，这是用一种模态指导另一种模态做更有趣的事情的其中一个案例。
最后的结语：现在的人工智能已经非常厉害，尤其是在CVPR、ICCV和ACL等等顶会上看到很多了不起的方法出现，在每一个子项上不断地刷新记录，推动这个技术空前发展。
但是如果问我，当把所有的记录都刷完了，是不是意味着技术发展已经到达瓶颈？我告诉大家，这个记录是永远刷不完的，人可以做到的事情是机器远远达不到的。
每个时代都会成为过去的时代， 在这个过程中，我希望大家能够继续保持对这个领域的热情，并做出更多成绩。
谢谢大家。
贾佳亚教授： 有很多的事情。
比如我们AI Lab做了一些虚拟人，我们希望以后的游戏直播、解说能够由虚拟人代替，能够达到比较有趣、流利的直播效果。
我们应该也是在整个行业里面最早做瘦身、长腿效果的平台之一。
我们不仅仅希望用技术推动企业往前发展，我们还是希望科技能够向善，推动社会前行，希望技术可以帮到任何一个弱小群众，让他们能够正常与人交流、看到世界。
现场观众提问：听到您讲到一些应用，然后说到科技向善，如何让技术真的做到科技向善，而不会变成一种毁灭人类的武器？
贾佳亚教授： 这是一个很好的问题。
我以前在很多演讲中，第一句话就会说，科技产品无所谓向善还是向恶，科技永远是中性的。
科技可以制药，挽救生命；可以造芯片，改善生活，这些都是向善的。为什么今天又要提出这个概念？是因为大家发现当一项技术不仔细规管的时候，或者被别有用心的人利用之后，就能利用其去做一些不利于社会和谐的事情。
所以科技向善需要国家监管、法律健全，还要引入更多专家，推动立法、隐私保护、道德管理。未来，我们也会在这个层面投入更多的人力、物力。
至于毁灭人类，这个事情太过长远，可以暂且不讨论。
原创文章，未经授权禁止转载。详情见 转载须知 。
《热血江湖》是一款以武侠为背景的卡通风格网络游戏，在画面以及系统上都比以往的网络游戏有所突破。《热血江湖》是根据韩国同名的畅销漫画改编的网络游戏，它拥有其他游戏没有的故事情节以及庞大的世界观，一上市就引起了广大用户的热烈欢迎。
江苏绿星源垃圾房厂家专业生产垃圾房,垃圾分类房,智能垃圾箱,垃圾分类亭,智能垃圾回收站等产品,是宿迁较大智能垃圾回收设备生产厂家,资质齐全,厂价直销,支持定制欢迎咨询合作：17751081878
云商机汇【32743.com】多渠道营销宣传您得产品，支持小程序，移动端，电脑端，支持多个搜索引擎，让您轻松接单，快来注册发布吧。
青岛同三塑料机械有限公司座落在美丽的胶州湾畔，是一家塑料挤出设备的专业制造商。公司汇集了我国非常好的的科研人才。
南京美奥口腔门诊部有限公司，秉承患者需要第一、规矩行医、人文关怀精神，带来全新的国际齿科会所管理模式和服，并吸纳来自各国医疗精英加盟，组成国际化齿科团队，打造安全、专业、时尚、舒适的诊疗环境，创造高品质就医享受。
小青龙3号少儿重大疾病保险去哪里买？小青龙3号少儿重疾险网上购买通道，小青龙3号少儿重疾险保险条款深度解读。慧择专注保险服务17+，本站为小青龙3号少儿重疾险慧择线上投保平台，为您提供小青龙3号少儿重疾险保险方案定制服务。慧择帮挑帮赔，为您量身定制！
盐城市广德窗业有限公司是盐城专业生产中高端节能门窗的大型门窗生产企业，公司主营铝合金门窗加工批发、铝型材批发、高端系统门窗阳光房成品批发、玻璃深加工批发等。
恒丰集团是一家涉及房地产、酒店、物业管理、资产运营等多行业的服务型、专业化企业集团。作为一家扎根深圳、放眼四海的民营企业，恒丰集团始终坚持秉承“创新思进、诚信务远”的企业精神和“追求卓越、崇尚完美”的经营理念，凭借变革创新的智慧，取得了骄人业绩，业务已遍及全国各地。
易仓ERP是1000+亿级卖家正在使用,多平台多订单处理.亚马逊ERP系统6小时数据更新,财务核算又快又准,能够提高运营决策的准确度.易仓科技11年技术沉淀,打通60+电商平台,效率提升60%,多平台出海,就选ECCANGERP
检测网站是否可用，检查域名是否被跳转、网站是否被黑、被入侵、被改标题、被挂黑链等功能，全网唯一真机渲染检查网站是否可用，全国多地多线并发查询。
83上升星座网帮你分析各星座性格、爱好、属性、性质、元素、星体等各方面因素知识，助你在合作、婚配、组合等如鱼得水。
随着社会的经济发展，人口的流动不断的增加，人们外出旅游或者是外出工作以及出差，在外的话，很多人都会选择酒店，酒店入住方便，而且拥有优越的生活条件，并且很多的孩子都会有常常去住酒店的想法，市面上的酒店品牌很多，而莹润酒店就是一家具有很高的商业价值的酒店，酒店的环境好，服务的质量高，并受到消费者的认可，一些创业者也想要加入酒店行业，以获得...。
北汽电动车，一家新时代下的国有控股高科技上市公司和绿色智慧出行一体化解决方案提供商，致力于为用户创造电动化、智能化、个性化的驾乘体验，构建汽车与能源、互联网、AI人工智能产业融合发展的新生态、新格局，打造面向未来的绿色智能科技服务平台，至于北汽电动车怎么代理，一起去了解一下，自2009年成立以来，北汽新能源以电动化为突破口，以科技为核...。
很多人在周末的时候就会出门逛超市，购买自己日常生活需要的东西，现在大多数的人群都会选择智能超市，智能超市不需要排队，而且都是扫码付款，比较方便，因此也就出现了各种系列的智能超市品牌，E21智能超市一直都是有很强的实力，会为顾客提供贴心的服务，所售卖的产品种类很齐全，性价比很高，顾客都很喜欢去这个品牌超市购买东西，所以众多创业者发展了品...。
手机已经是生活必需品，人手一台，由于手机的快速发展也促使了手游行业迎来了迅速的扩展，现在多数人手机上都安装各类的手机游戏，休闲的时间玩玩手游打发时间，随着手游的广受欢迎，很多人开始加盟其中，龙创手游就是一个比较好的加盟项目，于是，大家都在问龙创手游加盟费，谁加盟过，接下来，跟着小编一起来看看吧！龙创手游本着玩家充值，你就收效的经营理念...。
其实有关面馆在市场上的发展还是很具有前景的，如今有很多人对于面食的追求也是比较高的，所以说选择加盟一家面馆，未来的发展也会很不错，但是在面馆行业中拥有很多的竞争力，所以在挑选品牌的时候应该要认识对于一般面馆加盟费多少钱，还是要看你所加盟的品牌了，一般面馆加盟费多少钱，说到面馆的品牌，可能很多人都比较青睐于2014年所成立的巴味仙面庄面...。
人靠衣装，美靠靓妆，很多女性朋友为了永葆美丽肌肤，焕发无穷魅力，就会时常光顾美容院，正是因为有这样旺盛的需求，国内美容行业也就取得了突破性的发展，不少创业者都想开一家美容院加盟店，那么，2016容院加盟什么牌子好，小编在此为大家推荐百莲凯美容院，百莲凯美容院成立于2001年，是美容连锁经营的先驱，百莲凯拥有独立的科研、生产及人才培训基...。
水果捞是一种制作简单、原材料易得的甜品，尽管价格不菲，却因其健康美味而受到消费者的喜爱，水果捞主要由各种新鲜水果、酸奶、冰沙、冰淇淋和干果仁等组合而成，尤其在夏季备受欢迎，常见的水果有西瓜、芒果、桃子、草莓、奇异果、哈密瓜、圣女果、火龙果等，制作方法简单快捷，即切即食，既新鲜又解暑，那么，现在开一家水果捞店前景如何?水果捞店因其健康美...。
餐饮行业一直都是很不错的行业，会因为一个网红或者一个网站，带动了一个品牌的发展，美食一直都是离不开消费者生活的，经过网络时代的传播，会有很多人知道这种品牌，就像鲜贝恋贝壳粉品牌，网络时代给这个项目带来了很多的销售额，现在成为了一种网红项目，有些智慧之选商关注了这个项目，在消费者的眼中的爆品，鲜贝恋贝壳粉加盟费多少，鲜贝恋贝壳粉的由来就...。
马上就到十一国庆了，假期里想好怎么穿搭了吗，在这个秋意浓浓的日子里，姑娘们也是时候为自己准备几件内搭单品了，那么女生秋季内搭怎么穿好看呢，今天丹比奴女装为大家献上时尚的五款内搭单品，怎么穿都不会出错哦！秋季内搭单品1，针织衫寒冷的秋季入手一件针织衫是必须的，作为经典色调的白色是内搭受欢迎的色彩之一，一款修身版型的高领针织衫，简约大气的...。
孩子的教育问题始终都是社会热门话题，在双减政策的加持下，推动素质教育行业的快速发展，AI技术得到很多家长的认可，为孩子们带去更好素质教育，北四网校AI智领学习平板历经二十多年发展，创意运营模式，先进教学理念，使其成为教育领域中的实力品牌，那么北四网校AI智领学习平板好加盟吗，售后服务如何，北四网校AI智领学习平板从品牌创建到现在已经有...。
现在的人都十分重视饮食营养，吃东西讲究营养，其实每一种食物都有自身的营养价值，都有它存在的意义，但是不同的烹制方法会使食物的营养价值流失，失去了食物本身的营养价值，在众多烹制方法中，清蒸或是蒸焖是一种很好的烹制方法，因为这种烹制方法不会造成食物的营养流失，小火老师焖锅是一家生意不错的餐饮店品牌，该餐饮店所销售的食物都是以焖为主，食物健...。
创业哪个项目好，近年来儿童阅读加盟行业持续保持增长状态，主要在于以下几点，·全民阅读、文化自信是大背景，阅读是一个比较好的创业切入口；·9月份新的中小学新教材上线，整本书阅读对孩子的阅读量、阅读能力提出了更高的要求；·AI时代，培养孩子的综合能力成为大趋势，而阅读是其中的重要途径……在这种背景下，以借阅，读书会，研学活动为运营模式的书...。
随着餐饮市场的快速发展，火锅是一种经久不衰的美食，多种特色汤底与美味口感让消费者吃完之后赞不绝口，消费者人群的增加，各种特色火锅品牌层出不穷，熹捞旋转小火锅凭借其独特的旋转式火锅形式和丰富的菜品选择，取得了合格口碑与评价，对于想要投身餐饮行业的创业者来说，是一个不错创业选择，那么，熹捞旋转小火锅加盟靠谱吗，熹捞旋转小火锅从品牌创建以来...。
2017年11月15日，一加在纽约发布了下半年旗舰产品一加5T；13天后，一加把发布会现场搬到了国内的北京，要把一加5T重新发布一次，所以问题来了，既然已经在纽约发布了，那么今天说什么，在回答这个问题之前，我们先来回顾一下雷锋网已经为您揭晓的一加5T的配置，配置已经全面揭晓，而全面屏的外观设计已经毫无悬念；于是这一次，刘作虎把一加5T...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为华丽广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在华丽广告联盟网站首页底部或友情链接位...。
众所周知，可擦可编程只读存储器，EPROM，芯片可通过紫外线反复编程和擦除，此外，你还可以把它制作成小号电子人偶的身体，甚至像Garofalo一样直接让发弧电压穿过人偶，有人认为Garofalo肯定是在芯片中部钻了孔，要不然芯片怎么能承受住发弧电压呢，不过其实Garofalo根本没有这么做，他表示，几乎所有的老式EPROM芯片都设有...。
7月14日，第三届，知乎AI先行者沙龙，在深圳举行，知乎邀请众多AI行业从业者、专家、学者齐聚一堂，用最前沿的观点和最专业的思考，共同探讨大模型应用的新风口，本届沙龙以，探航，为主题，知乎高级副总裁、社区业务负责人张荣乐出席活动并致辞，香港大学计算与数据科学学院院长马毅、RWKV元始智能联合创始人罗璇、粤港澳大湾区数字经济研究院基础软...。
