2023大会共同主席 多模态技术获最佳奖项 IEEE MM 京东 深耕 Fellow 梅涛当选ACM (2023大会时间)

文章编号:43898 资讯动态 2024-12-09 梅涛京东探索研究院2021ACMMM

IEEE Fellow 梅涛当选ACM MM 2023大会共同主席,“深耕”多模态获最佳奖项 | ACM MM 2021

日前,第29届ACM国际多媒体顶级会议(ACM International Conference on Multimedia, 简称ACM Multimedia)已于10月20日至24日在成都举办,京东探索研究院凭借跨模态分析技术、多模态交互数字人技术分别斩获最佳开源项目奖及最佳展示奖(Demo)。会上,IEEE Fellow、京东集团副总裁梅涛当选ACM Multimedia 2023大会共同主席(General Co-Chair)。

IEEE Fellow 梅涛当选ACM MM 2023大会共同主席,“深耕”多模态获最佳奖项 | ACM MM 2021

贡献:展示了一个完整的多模态数字人系统,包含语音模块、对话模块、视觉模块、驱动模块以及流模块等。

贡献:跨模态分析的多功能和高性能的代码库,统一了最先进的视觉语言技术中的全面的高质量模块。



关于X-modaler和ViDA-Man

过去十年多媒体领域视觉和语言之间的跨模态分析出现了稳定创新和突破的势头。然而,X-modaler出现之前,还没有一个开源的代码库来支持以统一和模块化的方式训练和部署众多的跨模态分析的神经网络模型。京东探索研究院AI团队模态视觉分析代码库X-modaler是业界首个模块化、标准化的跨模态视觉分析代码库,涵盖了视觉语言领域各种前沿技术,并支持各种多模态任务。它可以轻松复现视觉语言领域目前主流的技术,促进学术界在视觉语言领域的发展。同时也便于工业界集成跨模态视觉分析的模块,推动技术进步。

IEEE Fellow 梅涛当选ACM MM 2023大会共同主席,“深耕”多模态获最佳奖项 | ACM MM 2021

京东探索研究院跨模态视觉分析代码库X-modaler
系统化地集成了跨模态分析各大任务中最常用七大模块(如编码器模块、跨模态交互模块以及解码器模块等),每一个模块也包含了各种前沿技术算法,例如跨模态交互模块可以选择传统的Attention、Top-Down Attention、Meshed Memory Attention以及最新的X-Linear Attention。具体示意如下图:

IEEE Fellow 梅涛当选ACM MM 2023大会共同主席,“深耕”多模态获最佳奖项 | ACM MM 2021

基于这七大模块,X-modaler就可以轻松支持各种多模态任务,如image/video captioning、vision-language pre-training、VQA、VCR、cross-modal retrieval,同时也能很好地复现每个多模态任务中的前沿技术,例如在image captioning的任务中X-modaler集成了京东AI团队从ICCV17的LSTM-A、ECCV18的GCN-LSTM、再到CVPR20的X-LAN。目前代码库支持的算法如下图,后续将不断加入更多最新技术的实现,整个代码库包括使用文档以及预训练模型均已开源

IEEE Fellow 梅涛当选ACM MM 2023大会共同主席,“深耕”多模态获最佳奖项 | ACM MM 2021

在传统的AI认知中,视觉领域、语音领域、自然语言领域等领域之前是独立演进的技术和应用,可以认为是单模态技术,而人是一个看、听、说多模态共同工作的智能体,所以多模态技术是未来人工智能应用发展的方向。

京东探索研究院多模态交互数字人技术ViDA-Man致力于打造具备多感官交互能力的人机交互系统,深入多模态交互技术研究,专注于人机交互的消费科技产品打造。基于该技术开发的多模态交互数字人形象引擎,能够提供快速的形象定制能力,从外观的数字化逐渐深入到行为的交互化、情绪的智能化。

IEEE Fellow 梅涛当选ACM MM 2023大会共同主席,“深耕”多模态获最佳奖项 | ACM MM 2021

ViDA-Man致力于打造具备多感官交互能力的人机交互系统,深入多模态交互技术研究,专注于人机交互的消费科技产品打造。基于现有的人机对话技术,创新性研究类人风格的虚拟形象生成技术,深度融合计算机视觉、自然语言与语音等多项AI技术,结合泛文娱和智能客服场景,提供真人虚拟形象的新型拟人式交互新体验

获奖论文展示了一个完整的多模态数字人系统,包含语音模块、对话模块、视觉模块、驱动模块以及流模块等。先进的ASR技术与基于多音色融合的TTS技术使数字人具备了出色听以及说的能力;基于多技能、多回合的对话系统使数字人具备了多样性的应答能力。基于3D重构技术以及神经渲染技术的视觉模块使数字人具备了逼真的外表以及自然的动作。同时流式服务模块将音视频整合,让系统具备低延迟的实时交互能力。各模块并非独立运作,而是有机整合在一起,使得各模态数据真正实现融合。



京东为什么“看中”多模态技术

数字浪潮的推动让人工智能技术已经实现从不可用到可用,AI产品化时期,诸如智能语音识别技术、智能图片处理技术、基于用户兴趣的算法引擎推荐、智能审核技术、AR/VR技术、5G技术等成为了AI落地的抓手,掀起了科技创新的新浪潮。梅涛表示,获奖技术早已服务于京东云打造的虚拟数字人、拍照购、搭配购等多个产品,并开始在产业化、商业化项目中广泛应用。

例如,这些技术已大规模应用于正在如火如荼展开的京东11.11。如,基于计算机视觉以图搜图的搜索应用,辅助以语音对话交互技术的“拍照购”和“搭配购”功能已在刚刚拉开帷幕的京东11.11中大放异彩,通过拍照或截图方式,直接匹配搭配好的时尚单品,打造“一站加购”、“一键买齐”的购物新体验,帮助商家强种草、高转化。

今年京东11.11期间,针对商品营销内容推出的智能写作服务“达人写作”,形成一篇百余字商品文案仅需300毫秒,5分钟可以创作出1000篇文案,覆盖近3000个商品品类,累计生成3,000万AI内容,相比于人工撰写内容点击转化率超过40%,成本降低93.2%。

除京东内部应用之外,这些获得国际学术界顶尖荣誉的领先技术正在通过京东云这个统一平台输出对外赋能各行各业。比如,基于多模态交互数字人技术研发的“虚拟数字人”能助力京东云智能客服产品提升智能接待、服务和虚拟助手的体验。比如,京东云智能客服业务与某银行合作,打造了全国第一个交互式数字人项目“数字柜员”,有别于播报式数字人,“数字柜员”涉及VTM虚拟坐席交互,利用AI技术,实现用虚拟人替代真人柜员办理业务、把控风险。

IEEE Fellow 梅涛当选ACM MM 2023大会共同主席,“深耕”多模态获最佳奖项 | ACM MM 2021

可以看到,京东AI技术之所以能取得如此优异的成绩,是其在真实复杂场景的有效实践和千锤百炼。作为京东集团对外技术输出的窗口,京东云不仅是政府、企业、家庭数字化转型全生命周期合伙人,并基于人工智能、大数据、云计算、物联网、区块链、隐私计算等技术,通过数智化全链条技术服务,助力千行百业数字化转型,激发产业无限可能。



关于ACM Multimedia

ACM Multimedia是计算机科学领域中多媒体领域的首要国际会议,1993年以来每年召开一次,已成为多媒体领域顶级盛典,大会致力于推动多媒体的研究和应用。

ACM Multimedia 2009 曾在北京举办,ACM Multimedia 2021 是该会议第二次在中国举办。

IEEE Fellow 梅涛当选ACM MM 2023大会共同主席,“深耕”多模态获最佳奖项 | ACM MM 2021

版权文章,未经授权禁止转载。详情见 转载须知 。

IEEE Fellow 梅涛当选ACM MM 2023大会共同主席,“深耕”多模态获最佳奖项 | ACM MM 2021

全局中部横幅
宿迁市人民政府

宿迁,位于江苏省北部,是江苏省最年轻的地级市,属淮海经济带、沿海经济带、沿江经济带的交叉辐射区,总面积8555平方公里。境内平原辽阔、土地肥沃、河湖交错,是著名的

招标网

招标网致力于为企业提供招标、采购、拟在建项目信息及网上招标采购等一系列商务服务。招标网是招标采购领域的资讯和交易网站,为各级政府采购、招标代理机构、招标企业、供应商提供强大的专业招标采购信息查询和相关服务。

多股漆包线

绞合线,丝包线选择东莞市鑫和线材有限公司,我司是专注漆包线生产及销售的厂家,主要产品有漆包绞线,耐高温漆包线,铝漆包线及微细漆包线,麦拉线,uew漆包线,扁平漆包线,PEW漆包线等,多年专业经验,服务过上数十家知名客户,欢迎咨询

职称搜

职称搜-搜索有兴趣的爱好

租电脑,电脑租赁,笔记本出租,iPad租赁,投影仪租赁,电视机租赁

上海盈睿信息科技有限公司(盈睿租赁)是一家专业从事电脑租赁、笔记本电脑租赁、苹果设备租赁、投影仪租赁和电脑周边设备租赁以及技术服务的企业

DNA图谱

DNA图谱人类基因交流社区!

东莞网络公司

东莞智林科技专注于营销型网站建设8年,系知名东莞网络公司,成立于2007年,是东莞电子商务协会发起单位,首届理事单位.

大牛教程

大牛教程(iCodebang.com),专注于分享编程知识和开发经验文章的个人网站。无论是在工作中还是个人学习成长过程中,都希望大牛教程能够为关注本站的程序员助一点点力,和大家共同成长进步,为国家的信息化建设做出应有的努力!

鞍山顺达建材科技有限公司

鞍山市顺达建材科技有限公司(原名鞍山市顺达防水材料有限公司),是集生产,工程技术服务于一体的专业防水材料,保温材料生产厂家,公司年生产能力SBS防水卷材1000万平方米以上,AD-水泥基渗透结晶型防水涂料5万吨以上,AD-A级防火发泡水泥保温板5万立方米以上,并承揽大型地下室防水堵漏维修。本企业通过ISO9001:2000国家质量体系认证,是多次经过辽宁省建设厅推荐认定的防水材料,保温材料专业生产厂家,是国家防水协会会员,辽宁省防水协会理事单位。公司技术力量雄厚,生产工艺,设备先进,检化验设备齐全。本公司是为客户提供一流的产品,一流的服务,为用户排忧解难,竭诚为广大客户服务。

免费做网站

EUCMS企业网云建站平台由徐州亿优网络公司开发,主要帮助公司企业快速免费做网站,便宜做网站,专业自助建站网站建设平台,网站制作自己做,QQ:2186398,TEL:13852154923

安徽省中环检测有限公司

安徽省中环检测有限公司|一家经安徽省质量技术监督局批准成立的具有独立法人资格的第三方综合性检验检测机构

惠车网

惠车网为大家提供最新的专业汽车讯息,主要栏目有用车,促销,车评,试驾,动态,新车,经销,车界,头条,行业,营销,资讯等。

全局底部横幅