用语音和文字驱动数字人打手势 北大刘利斌团队斩获 Asia 最佳论文奖 SIGGRAPH 2022 (用语音和文字交互)
2022 年 12 月 6 日，SIGGRAPH ASIA 2022 大会官方公布了最佳论文等多个奖项。其中，最佳论文奖由北京大学刘利斌团队的论文“Rhythmic Gesticulator: Rhythm-Aware Co-Speech Gesture SynThesis with Hierarchical Neural Embeddings”获得，论文第一作者为北京大学 2020 级研究生敖腾隆。
在日常生活中，我们的语言行为时常会伴随着一些非语言的动作进行：在公开演讲时使用手势让内容更有感染力，一个突然降临的好消息令人不由自主地鼓掌，陷入沉思时的来回走动和紧握的拳头......这些非语言的动作像是“调味剂”，有时可以帮助形象化我们口头所说的一件事物，强化语言所传递的态度，让人类的表达才会更加生动且高效。
在这项工作中，刘利斌团队提出了一个新的由语音和文字来驱动3D上半身人体模型进行手势表演的跨模态生成系统，通过输入一段时序同步的语音和文字，系统就能自动生成与之对应的上半身手势。
一段手势动作由单个手势单元（gesture unit）组成，其中，每个手势单元可根据语调点、例如强调重音等，被划分为单个手势阶段（gesture phase），每个手势阶段就代表了一小段特定的动作，比如抬手、摆臂等，在语言学中，这些手势阶段通常被称为手势词（gesture lexeme）。由于日常交流中的手势词数目有限，将这些手势词进行集合后，即可获得一个手势词典（gesture lexicon）。
特定演讲者在讲述过程中使用的手势词，就是手势词典中的子集，每个手势词上还会叠加轻微的变动（variation），研究人员通过假设此类表动无法直接由输入推断，将其编码为一些隐变量（latent variable），这些代表轻微变动隐变量的手势风格编码（gesture style code）。演讲者风格不同，因此手势风格编码一般跟演讲者的风格相关，会受到演讲者的音调等低层次音频特征影响。
图 2：系统所使用的字符模型
对此，该系统依据手势相关的语言学研究理论，从韵律和语义两个维度出发，对语音文字和手势之间的关系进行建模，从而保证生成的手势动作既韵律匹配又具备合理的语义。
基于上述理论，刘利斌团队梳理了一个层次化结构：需要检测节奏点（beat），划分出手势词，每个手势词本质上已具备明确含义，由输入语音的高层次语义特征决定；而基于每个手势词的变动，即手势风格编码，应该与输入语音的低层次音频特征，例如音调、音强等因素相关。
因此在系统中，研究人员首先需要分离出不同层次的音频特征，由高层次音频特征决定手势词，低层次音频特征决定手势风格编码。当推断出整段音频对应的手势词和手势风格编码序列后，依照检测出的节奏，研究团队会显式地将上述手势块“拼接”起来，确保生成的手势韵律和谐，同时明确的手势词和手势风格编码保证了生成手势的语义正确性。
图 3：第一行为右手高度、第二行为手速、第三行为手半径的样式编辑结果，右侧图表显示编辑输入（平线）和输出运动的相应值，箱形图显示输出的统计数据
系统由数据（Data）模块、训练（Training）模块和推断（Inference）模块三个部分组成。
其中， 数据模块的任务是对语音进行预处理，根据节拍将语音分割成标准化块，并从这些块中提取出语音特征。此次研究中共使用了三个数据集，分别是 Trinity 数据集、TED 数据集、以及为这项工作所收集的中文数据集。
训练模块会从标准化运动块中学习手势词汇，并训练生成器合成手势序列，当中要考虑的条件就包括了手势词典、风格代码以及先前运动块和相邻语音块的特征。随后的推理模块中，会使用解释器将语音特征转换为手势词典和风格代码，并使用学习生成器来预测未来的手势。
图 4：借助系统从 Trinity Gesture 数据集的四个样本语音摘录中合成的手势的定性结果，在说“好”时会做出一个隐喻的手势，当在捍卫时会做出一个标志性的手势，遇到 thing 和 selling 等词会做出节拍手势，当说到“我”时会出现指示手势
为了验证该研究是否可以实现“高层次音频特征决定偏语义的手势词，低层次音频特征则影响当前手势词内的轻微变动”，刘利斌团队通过找到一类相似语义的高层次音频特征，其对应的文本为 many、quite a few、lots of、much、and more 等，就这类高层次音频特征的每个音频特征对应生成的手势序列，并对这些手势序列编码到手势词典空间进行可视化（图 4）。
图 5：手势词典空间动作特征向量的 t-SNE 可视化结果
可以发现，手势动作序列仅出现在特定的手势词内，当中所出现的手势词对应的动作，图 5（a）中的红、橙和紫色所对应的骨骼动作），的确为“many、lots of、 etc”的意思表征。与之相对应的是，当对同类的低层次音频特征进行可视化后，如图 5（b）可见，属于该低层次音频特征类的动作序列不再集中于特定几类，而分散到整个手势词典空间内，由此可以验证“高层次音频特征决定偏语义的手势词”。
图 6：手势词典空间动作特征向量的 t-SNE 可视化结果
当不加入手势风格编码 z 时，如图 6（a）所示，所生成的手势密集地集中在当前手势词的类中心，于真值分布存在较大差距。当加入手势风格编码后，如图 6（c）所示，所生成的手势跟真值分布接近，这说明手势风格编码已成功建模了手势词的类内轻微变动。由此可以看到，手势风格编码主要由低层次音频特征推断得到，从而证明“低层次音频特征影响当前手势词内的轻微变动”。
除了上述结果外，该系统还具备以下几项特性：
刘利斌，北京大学人工智能研究院前沿计算研究中心助理教授，2009年本科毕业于清华大学数理基础科学专业，后转向计算机科学与技术专业，2014年获得清华大学博士学位，曾在加拿大不列颠哥伦比亚大学及美国迪士尼研究院进行博士后研究，之后加入 DeepMotion Inc. 任首席科学家。刘利斌教授的主要研究方向是计算机图形学、物理仿真、运动控制以及相关的优化控制、机器学习、增强学习等领域，曾多次担任图形学主要国际会议如 SIGGRAPH、PacificGraphics、Eurographics 等的论文程序委员。
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
版权文章，未经授权禁止转载。详情见 转载须知 。
TOM企业邮箱为广大用户提供外贸邮箱、公司邮箱、域名邮箱、企业邮箱登录入口、企业邮箱注册申请等服务。目前有限时优惠买5年送5年，可在微信收发邮件，安全稳定极速的邮件系统，百万企业信赖。
南瓜馒头的做法,南瓜馒头怎么做请看步骤：1.南瓜蒸的时候忘记拍照了，南瓜去皮切块上锅蒸熟，捣成泥放点白糖搅拌均匀，等温热的时候放入酵母粉搅拌均匀。分次加入面粉揉，因为南瓜含水量不一样，所以面粉要分次加，直到不是很黏手了就可以了，放在温暖地方发酵就可以了...
杭州驾校一点通城市分站为您提供在杭州的驾考服务，包含：科目一/四在线模拟考试、找驾校、考驾照、找教练、找陪练以及资格证模拟练题服务。
山东承祥工业科技有限公司【电话：189-6357-1399】主营叉车电磁吸盘,挖掘机电磁吸盘,铲车电磁吸盘,废钢起重电磁吸盘,起重电磁吸盘,废钢电磁吸盘厂家等，质量可靠，欢迎广大客户来人来电垂询!
重庆市物业管理协会是由重庆市物业管理和城市、社区服务等相关企业、事业单位自愿结成的地方性、非营利性社会组织，是依法注册登记的行业性社会团体法人；经重庆市民政局批准，于1998年成立
乡村百科--服务乡村振兴
宁夏美地宝地坪装饰工程有限公司是专业的喷涂聚脲防水防腐涂料、聚氨酯防腐涂料、污水池玻璃钢防腐、玻璃钢水池防腐、玻璃鳞片防腐、乙烯基防腐、重防腐地坪、防腐地坪漆施工厂家，持有中国防腐蚀施工资质壹级证书，中国防腐蚀安全证书、安全生产许可证。业务范围覆盖宁夏银川、甘肃兰州、内蒙乌海、陕西榆林等全国各地。
蕾蔻网免费提供大众日常生活实用查询工具服务。
样本网，中国电气样本网，电子样本制作，网站制作，高端网站定制。
赵小飞旋转小火锅品牌近年来在市场上表现出色，是鸡西旋转小火锅加盟,旋转小火锅品牌,鸡西小火锅加盟,鸡西旋转小火锅品牌得好选择，其独特的餐饮形式深受年轻消费者的喜爱。
江苏博一环保科技有限公司集技术研发、生产制造、工程设计、安装调试、售后服务为一体的专业环保设备制造和工程服务企业，专业从事污泥脱水干化和废水浓缩蒸发，实现污泥废水的减量化处理和资源化利用。核心产品主要有叠螺脱水机、带式压滤机、污泥低温干化机、热泵低温蒸发浓缩机、母液低温干化结晶器等。江苏博一环保科技有限公司
深圳市林昌科技有限公司是一家专业互联网应用服务提供商、企业网络服务。致力于为大中型企业提供高品质的互联网应用服务，包括：企业qq、营销qq、腾讯企点、腾讯企业邮箱、网站建设、网页制作、国内主机服务、海外主机服务、网站推广、SEO优化集一体的高端企业电子商务解决方案，以帮助企业客户应用互联网，实现电子商务平台，提高企业品牌、企业形象，同时也提高了企业行业的竞争能力，更是让企业获得利润走向世界的网络平台。
狂奔两百多天后，大模型战役进入了第二幕，作为新一代基础设施，大模型本身并不直接产生价值，智能时代的未来不会仅仅是大模型本身，而将是大模型生态体系，业内共识是，在大模型之上开发出来的AI原生应用，才是下半场突围的关键，目前，国内头部厂商的普遍做法，是以通用大模型为底座，在此基础上对原有产品进行重构，并通过服务平台连接B端企业，多方位打通...。
2022年12月17日，18日，由中国医学影像AI产学研用创新联盟，CAIERA，主办的，第三届中国医学影像AI大会，，在线上盛大开幕，本次大会将以，AI破冰，你我同行，为主题，围绕医学人工智能产品临床应用实践及未来展开讨论，探讨人工智能产品在健康中国行动中的应用场景、存在的问题及挑战、人工智能产品真实世界数据验证等相关问题，作为本次...。
当事人精神并不存在问题，而是一种行为艺术，轨道交通是大家出行的工具，可有些人却把它变成展示自我的场所，会对周边的乘客带来一种不好的体验，在杭州地铁6号线就有一名女子在地铁车厢的地上爬行，后面还跟着一男一女进行拍摄，大家都觉得很奇怪，有人说这个女子在找东西，还有人觉得这个女子精神有问题，也有人认为这是一个网红在拍视频博眼球，甚至有的人觉...。
代码是一门语言，这门语言搭建了人与计算机沟通的桥梁，通过编写代码，人类可以，命令，计算机开发网页、开发软件、搭建游戏......这门语言并不是上帝的发明，它是前辈们发挥聪明才智创造出来的，前辈们的创造过程虽然充满了有趣与巧合，但是并不神秘，本文就从1980年开始，带你一览编程语言发展的，别样，历史，1800年，JosephMarieJ...。
有了孩子之后，似乎父母全身心的关注点全都放在了孩子身上，要说在照顾孩子的过程中什么事情最令父母手足无措，那一定就是哄孩子睡觉了，尤其是有些婴儿比较黏人，只能在父母的怀抱中才能睡得着，一旦放下就会立马哇哇大哭，这种情况下更是让父母们头痛不已，但其实哄孩子睡觉也是一门学问，尤其是爸爸和妈妈哄孩子睡觉还有明显的区别，妈妈哄睡着的孩子更加的安...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
[全球时报综合报道]据，韩国时报，14日报道，以济州岛知名的韩国济州特地自治道将于15日设立游客揭发核心，以处置济州游览声誉降低、游客增加的疑问，报道称，济州因游览服务品质差和游览景点不要钱过高而屡次引发游客不满，往年4月，有游客揭发一家外地餐厅售卖的烤五花肉中的肥肉太多，7月，济州又因海鲜多少钱过初等游览关系负面事情引发言论关注，据...。
为期3天的北约峰会11日在美国首都华盛顿落下帷幕，峰会时期，北约各国示意将向乌克兰提供更多军事声援，支持乌克兰参与北约，并且渲染亚太地域弛缓形势，威望人士和专家学者指出，华盛顿峰会拱火欧洲、插手亚太，再次泄露北约怂恿对立、挑乱生战的本色，也再次证明北约是美国保养霸权的工具，重大要挟环球敌对与稳固，始终加深的军事狂热，俄乌抵触是此次峰...。
红旗是中国一汽个人有限公司旗下品牌，红旗是中国一汽直营的上流汽车品牌，附属于上市公司一汽束缚，由中国一汽个人总部间接运营，新红旗品牌策略以中国风新尊贵粗劣为品牌理念，红旗EHS3于2019年8月18日上市，定位为奢侈A，级纯电动CrossSUV，定位于为年轻用户和勇于早期驳回的用户提供美味，中国第一汽车个人有限公司前身为中国第一汽车制...。
我以为修图片用Photoshop最好用，1、Photoshop简称PS，是照片处置的专业软件，假设启动过繁难的PS学习，处置起图片来还是十分好用的，并且它很专业，能处置其余软件不能处置的疑问，2、美图秀秀美图秀秀是一款很好用的国产收费图片处置软件，操作繁难，可以成功对照片的赞美、美容及其余的装璜，这款软件的操作和程序相关于专业图片处置...。
101张国际大师手稿曝光，窥见顶尖时尚,时装,女装,慈禧,手稿,国际大师,服装设计师,克里斯汀·迪奥
云即玩游戏盒聚合主流模拟器支持，跨多个终端平台，并支持云电脑游戏，本站电脑版游戏软件已更新采用了云即玩游戏盒，有些小伙伴还不清楚怎么用，以下就介绍云即玩游戏盒电脑版使用教程，都很简单，大家参考教程就可以愉快的玩耍了,云即玩游戏盒怎么用云即玩游戏盒电脑版使用教程
3月23日，由雷锋网&，AI掘金志主办的，第二届中国人工智能安防峰会，在杭州召开，峰会现场，华为智能安防产品线副总裁余虎发表了题为，智能进化，安防进入新时代，的演讲，这是华为安防在2018年业务整合后，首次在安防行业论坛上解读其业务战略，2018年，华为将智能安防业务升级为公司的战略，同时在2018年底完成了研发资源的整合，成立...。
上班族一般都是过着朝九晚五的生活，早晨上班，时间都已经紧张，好多年轻人为了赶公交车，不得早点起买点袁记肉夹馍上班，为的是上班耽误迟到，袁记肉夹馍正宗的工艺，让消费者吃起来津津乐道的，让消费者吃的好吃，能够赢得消费者的好评，吃的健康又非常的美味，深得各界食客及年轻白领的喜爱与追捧，袁记腊汁肉夹馍几十年的老工艺、让消费者吃的十分的够味，在...。
，这个数字是苹果在过去一年收获的漏洞总数，根据安全数据网站CVEDetails最新公布的数据，苹果拿下了2015年漏洞之王的桂冠，第二名则归属微软，这个曾经蝉联11年漏洞榜冠军的货以571个漏洞紧随其后，苹果以654个漏洞位列2015年漏洞榜榜首，科普一下，这世界上每个漏洞都有一个名字，是由业内官方组织CVE编辑部标定的，每个漏洞的...。
烧饼，属大众化的烤烙面食，品种颇多，有大饼、烤饼、缙云烧饼、湖沟烧饼、芝麻烧饼、油酥烧饼、起酥烧饼、发面堆、掉渣烧饼、糖麻酱烧饼、炉干烧饼、缸炉烧饼、罗丝转烧饼、油酥肉火烧、什锦烧饼、炉粽子、杜称奇火烧、牛舌饼等100多个花样，烧饼富含丰富的蛋白质、脂肪和碳水化合物，卫生、方便、快捷、适合现代人生活节奏的需要，被美食界誉为中国式比萨，...。
雷锋网消息，5月12日，HTC在HTCVIVE虚拟生态大会，V²EC2021，上官宣发布了VR一体机新品VIVEFOCUS3和PCVR新品VIVEPRO2，值得注意的是，HTC此次发布的新品进一步升级了硬件配置，新品拥有5K分辨率，单眼2.5K，、120°视场角，这样的配置也再次提升了VR显示方案的行业标准，PCVR新品HTCVIVE...。
