多模态技术在产业界的应用与未来展望 快手科技李岩 (多模态技术在医疗中的应用)
快手
AI影响因子
活动快手主题演讲
在 CNCC2018「高通量媒体内容理解论坛」上，快手科技多媒体内容理解部负责人李岩发表了题为「多模态内容生产与理解」的演讲，讲述了带领多媒体内容理解部在多模态研究上取得的一些进展。
李岩在演讲中表示，多模态技术有两大应用方向，一是会改变人机交互的方式，二是将使信息分发更加高效；视频本身就是一个多模态的问题，而快手则拥有海量的多模态数据，多模态的研究对于快手来说是非常重要的课题；目前快手已经在语音识别与合成、智能视频配乐、通过 2D 图像驱动 3D 建模特效、视频精准理解等领域对多模态技术进行研发应用。
以下为演讲的主要内容：
大家好，首先我来简单介绍一下快手，在这个平台，用户能够被广阔的世界看到，也能够看到广阔的世界，我们可以看一下快手的数据： 70 亿条视频总量、1500 万日新增视频，日均的使用时长超过 60 分钟等，所以快手平台上有非常多的多媒体数据，同时也有非常多的用户交互数据，比如我们每天有 1.3 亿用户观看超过 150 亿次视频的播放数据。
我们知道视频是视觉、听觉、文本多种模态综合的信息形式，而用户的行为也是另外一种模态的数据，所以视频本身就是一个多模态的问题，再加上用户行为就更是一种更加复杂的多模态问题。所以多模态的研究对于快手来说，是非常重要的课题。
多模态技术两大应用方向：人机交互与信息分发
我认为多模态技术会有两大主要的应用。
第一，多模态技术会改变人机交互的方式，我们与机器交互的方式将会越来越贴近于更令人舒适、更自然的方式。
第二，多模态技术会使得信息的分发更加高效。
多模态技术研究的三个难点：语义鸿沟、异构鸿沟、数据缺失
其实在目前来看，多模态研究难度还是非常高的。
其中大家谈得比较多的是语义鸿沟，虽然近十年来深度学习和大算力、大数据快速发展，计算机视觉包括语音识别等技术都取得了非常大的进展，但是截至现在，很多问题还没有得到特别好的解决，所以单模态的语义鸿沟仍然是存在的。
再者，由于引入了多种模态的信息，所以怎样对不同模态之间的数据进行综合建模，会是一个异构鸿沟的问题。
另外，做语音、做图像是有很多数据集的，大家可以利用这些数据集进行刷分、交流自己算法的研究成果。但是多模态的数据集是非常难以构建的，所以我们在做多模态研究时是存在数据缺失的问题的。
下面我会分享我们在多模态这个方面所做的事情，以及这些技术是怎么样帮助快手平台获得更好的用户体验和反馈的。
多模态技术如何实现更好的记录
首先，多模态技术将实现更好的记录。随着智能手机的出现，每个人都可以用手机上摄像头去记录周围的世界，用麦克风去存储周围的音频信息；而在以前，生成视频，尤其生成一些比较专业的视频，都是导演干的事情。但现在，我们通过手机就能够做到，这里面会有非常多的多模态技术研究来辅助人们更好地记录。
我们希望整个记录过程是更加便捷、个性化、有趣，同时也是普惠的，具体我将分别通过四个案例分享。
1、语音转文字打造便捷字幕生成体验
一个视频里，音频部分对于整个视频的信息传递是非常重要的。网上有很多带有大量字幕的、以讲述为主的视频，这样的视频制作其实是一件很麻烦的事情，因为一个一个去输入文字是很痛苦的，像过去在广电系统专业工作室就需要很多用于字幕编辑的工具软件。而如果我们通过语音识别技术，把语音直接转成文字，就可以很轻松地通过手机编辑生成一个带字幕视频。
2、语音合成实现个性化配音
另外一个技术叫做个性化配音，假如在一个视频中，你不喜欢听男性配音，而希望听到由一位女士配音，我们就可以通过语音合成技术满足个性化的诉求。
语音识别及合成技术都会使我们记录的过程变得更加便捷、有趣，但这两个技术在做视觉或者多媒体的圈子里面关注度不是特别高，只是偶尔会在做语音的圈子里去聊这些问题。包括在语音圈子里面，语音识别和合成现在往往是两波人在做。
随着深度学习技术的出现，语音识别和合成这两个问题其实在某种程度上是非常对称的，因为语音识别是从语音到文字，语音合成是从文字到语音。语音识别的时候，我们提取一些声学的特征，经过编码器或者 Attention 的机制，实现从语音到文字的转化；语音合成的技术和算法，其实也涉及编码器或者 Attention 的机制，二者形成了比较对称的网络。所以我们把语音识别和合成看成是一个模态转换的特例，从神经网络建模角度来看，是一个比较一致、容易解决的问题。
具体神经网络在设计的时候，虽然二者内容机制其实还是有一些不同，但更大的趋势是这里面将来会有更多的趋同，因为我们知道随着相关算法的发展，计算一定是朝着一个更加简化，更加统一的方向发展。就像深度学习的出现，其实就是通过计算的方式取代了手工来获取有效的特征。多模态的转换领域里面也出现了这样的特点，这是一件非常有意思的事情。
3、根据视频内容自动生成音乐
音乐也是短视频非常重要的一部分，有录视频经验的同学可以感受到，为一个场景配合适的音乐是一个很难的事情。过去，有不少用户为了与音乐节拍一致，努力配合音乐节奏拍摄，极大限制了拍摄的自由度。我们希望用户可以随意按照自己想要的节奏录制，所以让机器通过用户拍摄的视频内容，自动生成符合视频节奏的音乐，这样视频画面与音乐节奏就会更匹配、更一致。
音乐生成涉及很多具体的技术，我们也做了非常多的研究，其中一个问题是懂音乐的不懂计算机科学，懂计算机科学的人不懂音乐。想要把短视频配乐这个问题研究好，需要要有做音乐和做 AI 的人一起集成创新，这方面我们也做了非常多的工作。
4、2D 图像驱动 3D 建模实现 Animoji 效果
通过苹果的发布会，大家应该都了解 Animoji 这项技术，iphoneX 有一个标志性的功能，就是通过结构光摄像头实现 Animoji，现在国内手机厂商也越来越多地采用结构光的方式去实现 Animoj。而快手是国内较早实现不使用结构光，只用 RGB 图像信息就实现 Animoji 效果的企业。
用户不必去花上万元去买 iphoneX，只要用一个千元的安卓手机，就可在快手的产品上体验 Animoji 的特效，从而能够在不暴露脸部信息的同时展现细微的表情变化，例如微笑、单只眼睛睁单只眼睛闭等，让原来一些羞于表演自己才艺的人，也可以非常自如地表达。我们觉得做技术有一个非常快乐的事情，就是让原来少数人才能用的技术，变得更普惠。
其实解决这样一个问题是非常难的，因为即使是像苹果这样的公司，也是采用了结构光这样配置额外硬件的方式来解决。想让每一个用户都能享受到最尖端的技术，快手面临着硬件的约束，只能通过 2D 的 RGB 视觉信息对问题进行建模、求解，这里面包括了像 Landmark 人脸关键点检测、实时重建人脸三维模型等技术，把 2D 和 3D 两种不同模态的信息做建模、做对齐。
我们也能看到现在市场上可能有一些小型的 APP 在做类似的事情，但体验很差，而我们的整体体验还是非常好非常流畅的，这也需要归功于深度神经网络模型的量化，通过压缩和加速解决手机性能问题，可适配任意机型。
多模态技术如何实现精准理解视频内容
刚才我讲的是我们多模态技术怎样去帮助用户更好地记录，我们同时也希望通过一个更好的分享机制，让用户发布的视频能够被更多感兴趣的人看到。这也涉及视频推荐里面多模态的一些问题。
对视频内容的理解其实是非常难的，这个里面我做了两个比较有意思的事情。
第一，我们强调音频和视觉的多模态综合的建模，而不是仅仅是单独的视觉或者音频，视觉和听觉两种媒体的融合，会是未来一个非常重要的事情。
第二，在工业界做的事情和在学术界做的事情有很大不同，我们有非常多的用户数据，这些用户数据是不在传统多媒体内容研究范畴里面的，但是工业界可以很好地利用这些数据，更好地做内容理解。
给大家举个例子，一个男子表演口技的视频中，如果关闭声音，仅凭画面信息，我们并不知道他是在做什么，可能会觉得是在唱歌或唱戏。这说明如果仅仅是通过视觉的话，你可能无法获得真实的信息。我们对世界的理解一定是多模态的理解，而不仅仅是视觉的理解。
像这样的视频在快手数据库中有 70 亿，想要理解这么多的视频内容，必须借助多模态技术。所以我们在这方面也做了非常多的工作，从文本、视觉、听觉角度去做了很多单模态的建模，包括多模态的综合建模、有序与无序，以及多模态特征之间怎样进行异构的建联，在很多任务内部的分类上也做了改进。
第二点需要强调的是，像 ImageNET 等很多的学术界研究内容理解的任务有非常好的标注数据集，但是这个数据集对于工业界来说还是太小，且多样性不够。我们平台每天有 1.3 亿多用户以及超过 150 亿次的视频播放，这个数据是非常大的。如果有 150 亿的标注数据，做算法就会有很大的帮助，但是现实上是不具备的。
那怎样将研究分析技术与海量数据更好地做到两者的融合呢？我们通过融合行为数据和内容数据，进行综合建模，同样大小的人工标注量，利用海量的用户行为数据，能够获得比纯内容模型更好的性能，对视频有了一个更好的理解，进而在多媒体内容的理解和分析方面的算法研究有了非常大的进展，这就使我们在工业界和传统学术界做这个事情时会更有优势。
未来多模态研究的热点：特征表达与特征对齐
总结一下，多模态内容解决的问题里面涉及一些模态的转化，比如怎样通过 2D 图像驱动 3D，怎样通过语音生成文本或者通过文本生成语音，怎样通过视觉驱动音乐。另外一个应用是我们怎样通过融合更多信息来驱动内容的理解，其实都是一个多模态的问题。在学术界有很多研究还是停留在单模态，但我个人认为未来多模态会成为更有价值的研究方向。
多模态研究会有两个难点或者说热点：
第一是多模态的特征表达，也就是在多模态研究框架下怎样设计单模态的特征，这是一个非常重要的问题。
第二是多模态特征之间如何对齐，也就是有没有更好的算法对视觉、听觉和行为的部分进行统一的建模，这是未来的一个热点。
第一，多模态未来会持续带来更新的人机交互方式，比如我们刚才讲的 Animoji 技术，其实它带来的是一种可以通过人脸控制手机自动生成 Avatar（虚拟动画）的体验。原来实现这些效果，需要在好莱坞专门设一个特效室来实现这一点，而现在普通用户都能享受这样的技术，所以人机交互会由原来重的、贵的、笨的方式转变为便宜的、每个人都能参与的而且便捷的方式。
第二，我认为多模态技术会带来新的内容形态，原来接入信息更多是从文本、页面中获得，现在有视频，未来可能还会有 AR 或者其它的形式。我觉得多模态 AR 很重要的一点就是强调沉浸感，这种沉浸感其实是通过听觉和视觉综合作用才能产生的。
第三，我认为多模态亟需新的算法和大型的数据，因为这两者可能会是一个某种意义上可以相互折算的问题。以目前的机器学习算法来讲，需要海量的数据才能解决好这个问题，因为现在深度学习、内容理解的成果，某种意义上是监督学习的成果，有足够的样本、算力，所以现在的算法能力基本上还停留在对算力和数据有着非常大要求的阶段。而多模态的大型数据是非常难建的，而且多模态解的空间是更大的。因为一个模态解的空间是 n，另外一个是 m，它最后是一个乘积、一个指数级的变化，所以数据集要多大才足够是一个很难的这个问题，可能需要新的算法来对这个问题进行建模。
原创文章，未经授权禁止转载。详情见 转载须知 。
网易CC直播是网易推出的大型游戏娱乐直播平台，提供游戏直播、游戏视频、赛事直播、美女直播等。包括梦幻西游、大话西游、炉石传说、守望先锋、倩女幽魂、荒野行动、终结者2、决战平安京等游戏直播。
美乐学科英语是由昆山瑞思玛特文化传播有限公司举办的专业少儿英语培训机构，美乐拥有丰富的英语教学经验和资源，2008年12月依托世界最大教育集团-HoughtonMifflinHarcourtGroup的强势背景进入中国，目前于昆山地区开设了2家教学中心，同质同步美国幼儿园、美国小学和美国中学的课程，让中国的学生学习英语就像学习母语一般，具备实际应用能力，成为顶尖的国际化人才。
古文学习网专注于学习中国古代古典文学，古文名篇名句大全的国学经典网站。包含文言文翻译赏析，精选唐诗宋词元曲三百首全集古诗词300首鉴赏大全，方便让古诗文爱好者获取相关资料。
仪器无忧网是专业的实验室服务网站，提供二手仪器交易、仪器配件采购、仪器租赁、仪器维修保养、实验室搬迁、展会培训等信息发布服务，国产进口科学仪器资源不断，仪器从此无忧。
批批车-国内专业的二手车批发服务平台
武汉九通世纪财务咨询有限公司主要经营：武汉公司注册、武汉工商变更、武汉代理记账等服务版块。丰富的公司注册及代理记账经验，熟悉全套流程、专业快捷办理，快速领证，为您节省时效。
第一课件网收集了中小学全学科所有章节ppt课件、教案、试卷等资源，一切资源都能免费下载。
上海伟肇机电设备有限公司是坐落在南上海的莘庄工业区，以经营进口机电产品及销售进口机械设备及零配件为公司业务。成立于2010年4月，主要从事进口灌装机模具,灌装线模具,分装线模具,洗瓶机模具,外洗机模具,ALUS模具,轧盖机模具,灌装机螺杆,洗瓶机螺杆,灌装机星轮,胶塞震荡锅,胶塞振荡,胶塞碗,洗瓶机针头,灌装针,高温高效过滤器等工业流体零配件，自动化机械零配件的进口，和销售等。
再生时代每年在“耗材之都”珠海举办全球最大的中国（珠海）国际办公设备及耗材展览会。每星期发布inTouch视频新闻，每月发行中文、英文、西语、俄语多语种打印耗材行业杂志，为全球打印耗材行业提供丰富的一站式信息。
51网页游戏大全平台提供2023好玩的网页游戏排行榜，网页游戏开服表，不花钱页游网络游戏人气排行榜前十名，页游网游推荐大全，什么网页游戏好玩，就找51游戏！
好盈科技
社会语录网传播正能量经典语录，共建美好社会，社会语录，成年人的精神食粮。
今日头条华为手机销量跃至国内第一，成销量增长最快手机厂商中信建投研报显示，受Mate60系列手机发布影响，9月以来，华为已成为销量增长最快的手机厂商，上述研报援引BCI数据称，自9月以来，多数周内，国内手机的周度总销量同比增速已转正，从年初至W40，第40周，10月2日，10月8日，末，国内手机销量同比跌幅收敛至3%，其中非苹果手机销...。
印度法院传唤阿里、马云，阿里王帅，找了一天也找不到他北京时间7月26日消息，据路透社报道，一份印度法院的文件显示，因一起诉讼案，印度首都新德里卫星城古鲁格拉姆一家地方法院的民事法官已向阿里巴巴、马云，还有十多名个人或公司发出传票，要求他们在7月29日出庭或通过律师出庭，报道称，一名曾供职于阿里巴巴旗下UC浏览器的印度雇员起诉称，他因对...。
华为商城已全面下架荣耀系列产品1月18日，华为商城、APP端口已全面下架荣耀系列产品，包含手机、平板、路由器、智能穿戴等，企查查APP显示，荣耀终端有限公司唯一股东为深圳市智信新信息技术有限公司，2020年12月18日该公司陆续注册荣耀产品商标，据悉，新的荣耀官方自营商城已经于1月12日正式上线，荣耀品牌相关的购物和服务也已迁移至新商...。
7月12日，7月14日，2019第四届全球人工智能与机器人峰会，CCF，GAIR2019，于深圳正式召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办，深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在打造国内人工智能领域极...。
22起违法实施经营者集中案被处罚，涉及滴滴、阿里、腾讯及美团7月7日，市场监管总局发布对22起违法实施经营者集中案的处罚通报，其中涉及滴滴出行违法实施经营者集中案8起，涉及阿里巴巴6起，涉及腾讯5起，涉及苏宁2起，涉及美团1起，市场监管总局根据，中华人民共和国反垄断法，第四十八条、四十九条作出行政处罚决定，对涉案企业分别处以50万元人...。
腾讯音乐CEO梁柱年会上喊话，大家在腾讯挺好3月2日消息，据界面新闻报道，QQ音乐在春节前召开内部年会，腾讯音乐CEO梁柱在会上表示，任何人的离职都跟人无关，而是组织调整的要求，今年将继续实施管理干部的轮岗制度，梁柱在QQ音乐的年会现场表示，很多人觉得我们办年会浪费时间和财力，这种思路在其他公司比较常见，做产品考虑ROI投入回报，做公...。
字节承认裁员，系公司正常业务调整10月19日，字节员工在职场APP平台发布消息称，公司商业化团队正在调整中，，温州都裁完了，各大直营中心和呼叫都要裁30%，70%，字节跳动商业化部门是字节跳动旗下综合的数字化营销服务平台，主要负责流量拓展和变现等业务，涵盖多个城市，根据字节员工的反馈，包括应届生在内的大量员工都将被裁员，对此，字节跳...。
这是一封意料中，情理外的长邮件，王剑伟兼管电商事业部以后，快手内部时有高管调整的传闻，一种比较多的说法是，于越或不再负责主站业务，有可能升任CTO，在这封长达数千字的邮件中，并未提及于越职位的调整，不过，我们尚无法排除快手在未来一段时间内会有进一步调整，我从未见过如此长的内部邮件，，一位长期服务多个互联网大厂的资深猎头向表示，...。
快手国际业务高管仇广宇宣布离职，程一笑宣布国际化事业部人事调整3月17日，快手宣布调整国际化事业部组织架构，在国际化事业部内单独设立国际化商业化部，进一步收拢产运线，并对安全合规等中后台业务进行整合，据快手人士透露，17日晚七点，快手海外召开全员会，快手创始人兼CEO程一笑宣布对该部门进行人事调整，原事业部负责人仇广宇因个人原因宣布将...。
大数据时代，个人信息越来越透明，以至于手机APP都能读懂你我的心思，甚至能将信息精准地送达到每一个移动端，APP开发者将其称之为，算法推荐，，商家将其称之为，个性化定制，有人为推荐机制津津乐道，，原来手机比男朋友更懂我，，听到更多合口味的音乐，看更多爱好的视频；也有人感叹其恐怖，担心陷入算法布局好的陷阱，陷入信息茧房，虽然我们开始警...。
消息，瀚博半导体在公司成立三周年之际，宣布完成16亿人民币B，1和B，2轮融资，由阿里巴巴集团、人保资本、经纬创投和五源资本联合领投，国寿科创基金、MiraeAsset，未来资产，、基石资本、慕华科创基金，清华产业背景，，以及老股东红点中国、耀途资本和元木资本跟投，值得关注的是，此次融资意味着瀚博半导体在继快手之后，引入了第二家...。
中国最富500人身家超10万亿马云身家3000亿元全国第一据报道，新财富500富人的总财富首次突破10万亿元大关，再创历史新高，上榜门槛在去年大跌至45亿元之后，回升至63.3亿元，与2016，2018年持平，完美收复失地，榜单上6成富人财富上涨超过10%，4成富人上涨超过50%，其中，百亿富人已达315位，首富马云身家跃过3000亿...。
2022年2月24日，在俄罗斯总统普京的命令下，俄军对乌克兰发动特别军事行动，目前，乌克兰境内多地主要军事设施已被摧毁，本次俄罗斯的军事行动大大刺激了北约国家的神经，使得美国为首的北约成员国和欧洲国家纷纷对俄罗斯宣布制裁，其中，美国商务部宣布的制裁决定中，包括了，阻止俄罗斯获得包括半导体在内的一系列美国技术，美国将以，华为模式，制裁...。
过去一年，于自动驾驶来说是非常梦幻的一年，资本疯狂进入、激光雷达落地开启、细分场景多点开花、Robotaxi开始走进大众视野，藉由此，新智驾推出了，对话CEO，系列专题，希望呈现给业界更多对自动驾驶行业不一样的理解与洞见，本篇为系列报道的第八篇，详见文末，，对象为主线科技CEO张天雷，以下为正文，我们从没想过要通过技术来颠覆世界、用算...。
2023年中国国际服务贸易交易会，简称，服贸会，9月2日在北京举办，多家数字人民币运营机构参加金融服务专题展，腾讯作为首批试点运营机构，展示了，钱包快付，数字人民币红包助手，等产品及运营创新，持续助力数字人民币推广应用，腾讯通过拓展应用场景，助力提升数字人民币的支付体验，今年3月起，用户在数字人民币APP的，钱包快付，功能下开通微...。
长沙市发改委近期通报了2023年长株潭一体化发展情况，重点完成了2022，2023年三市在产业、基础设施、公共服务、生态环境等六大领域的50项合作任务，接下来，长沙将围绕产业配套协作、交通设施互联、绿心价值提升、融城片区建设等事项，制定2024年重点任务和项目清单，与株洲、湘潭共同推进新一轮60项合作事项、17项合作协议，在交通体系建...。
什么才是夏天的正确打开方式，大概就是上演一场说走就走的，速度与激情，吧，在上海陆家嘴的保时捷大厦，这里也是此次试驾之旅的完美起点，当保时捷Taycan在这里一字排开，前一秒心灵在保时捷大厦中停驻，后一秒便开启了一场任意驰骋的光影之旅，每一台带着斯图加特盾徽的跑车，都让人充满遐想，保时捷Taycan家族已经迎来了首款纯电动跨界多用途车，...。
