中国科学技术大学副教授凌震华 基于表征解耦的非平行语料话者转换 (中国科学技术大学)
雷锋网按：2020 年 8 月 7 日至 9 日，全球人工智能和机器人峰会（CCF-GAIR 2020）在深圳圆满举行。CCF-GAIR 2020 峰会由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办。
从 2016 年的学产结合，2017 年的产业落地，2018 年的垂直细分，2019 年的人工智能 40 周年，峰会一直致力于打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资平台。
8 月 8 日，在由深圳市人工智能学会、CCF 语音对话与听觉专业组协办的「前沿语音技术」专场上，中国科学技术大学电子工程与信息科学系副教授凌震华做了题为《基于表征解耦的非平行语料话者转换》的主题演讲。
凌震华副教授
凌震华副教授主要研究领域包括语音信号处理和自然语言处理。主持与参与多项国家自然科学基金、国家重点研发计划、安徽省语音专项等科研项目，已发表论文 100 余篇，论文累计被引 4000 余次，获国家科技进步奖二等奖和 IEEE 信号处理学会最佳青年作者论文奖。在 Blizzard Challenge 国际语音合成技术评测、Voice Conversion Challenge 国际语音转换技术评测等活动中多次获得测试指标第一名。
凌震华副教授现为电气电子工程师学会（IEEE）高级会员、中国计算机学会语音听觉与对话专业组委员、中国语言学会语音学分会学术委员会委员、全国人机语音通讯学术会议常设机构委员会委员。2014-2018 年曾任 IEEE/ACM TASLP 期刊副编辑。
在演讲中，凌震华副教授主要从语音转换所基于的语料类型出发，介绍了平行语料下实现语音转换的技术演变过程，并由此延伸到非平行语料下的语音转换。
其中在平行语料条件下，传统语音转换基于 GMM （高斯混合模型）实现。 2013 年后深度学习技术被引入语音转换任务，基于产生式训练的深度神经网络（Generative Trained Deep Neural Network, GTDNN）等模型相继被提出。不过无论是 GMM 还是 DNN，都面临源与目标语音帧对齐过程中出现的误差和不合理问题。近年来提出的序列到序列（seq2seq）语音转换方法可以有效改善这一问题，提升转换语音的自然度与相似度。
进一步，凌震华副教授谈到了在非平行语料条件下的语音转换，并表示这种场景普遍存在于实际应用中，也更有难度。基于非平行数据构造平行数据，以及分离语音中的文本与话者表征，是实现非平行语音转换的两条主要技术途径。
随后，凌震华副教授重点介绍了所提出的基于特征解耦的序列到序列语音转换方法，该方法在序列到序列建模框架下实现语音中文本相关内容和话者相关内容的分离，取得了优于传统逐帧处理方法的非平行语音转换质量，接近使用同等规模平行数据的序列到序列语音转换效果。
最后，凌震华副教授表示：
以下是凌震华副教授在 CCF-GAIR 2020「前沿语音技术」专场中的演讲内容全文，雷锋网对其进行了不改变原意的编辑整理：
谢谢大家，今天我的报告题目是《基于表征解耦的非平行语料话者转换》。
之前各位老师已经介绍了语音技术领域的若干研究任务，如声纹识别、语音分离与增强等。话者转换是一种语音生成的任务，同时这个任务也和说话人的身份信息相关——之前介绍的声纹识别是从语音中识别身份，而话者转换是对语音中身份信息的控制和调整。
我的报告会围绕三个部分进行：
话者转换，又称语音转换，英文名为 Voice Conversion，指的是对源说话人的语音进行处理，使它听起来接近目标发音人，同时保持语音内容不变。
类比于计算机视觉领域的人脸替换工作，如 Deepfake 等，话者转换是对语音信号中的说话人身份信息进行处理，其应用领域包括娱乐化应用和个性化的语音合成等。同时，身份的匿名化、一致化也会使用到话者转换技术。
话者转换技术经过了从规则方法到统计建模的发展历程。现阶段的基于统计建模的话者转换方法，其转换过程通常包括三个主要步骤：
今天我们介绍的内容主要围绕中间的统计声学模型展开。在对于话者转换任务的背景介绍后，下面着重介绍平行语料和非平行语料条件话者转换任务的区别、主要方法，以及我们做过的一些相关工作。
那么什么是平行语料？
在训练阶段，如果源和目标两个说话人朗读过同样的文本，就可以得到他们之间的平行语料。基于平行语料，可以直接建立转换模型描述两个说话人声学特征之间的映射关系。在转换阶段，输入新的源说话人声音，就可以通过转换模型进行目标说话人声学特征的预测。
在深度学习出现之前，在平行语料语音转换中，最经典的方法是基于高斯混合模型(GMM)的方法。
其基本的策略是，两个说话人录制了平行语料后，考虑到两个人的语速、停顿等不一致带来的声学特征序列长度差异，需要先利用动态时间规整（DTW）算法进行序列的对齐，得到等长的 X 序列和 Y 序列。接着，将每个时刻的源说话人声学特征与目标说话人声学特征进行拼接，进一步训练得到两个发音人声学特征的联合概率模型P(X,Y)。
进一步，我们由 P(X,Y) 可以推导出 P（Y|X）。在转换的时候我们就可以把源说话人的声学特征X 送到模型中，将目标发音人声学特征Y预测出来。使用的预测准则包括最小均方误差(MMSE)和最大似然估计(MLE)等。
不过，基于 GMM声学建模的语音转换质量还是不尽如人意。一方面转换的音质不够高，声音听起来有机械感；二是和目标人的相似度不够好。这些都和声学模型的精度不足有关系。
针对以上问题，自2013年开始，深度学习被广泛应用与语音转换的各个技术环节，如特征表示、声学建模、声码器等。今天重点关注的是声学模型，即如何更好的建模P(Y|X)。
现在来介绍我们早期所研究的一种基于深度神经网络(DNN)的语音转换方法，该方法使用的是逐帧转换的DNN声学模型。由于将DNN模型直接用于源说话人声学特征到目标说话人声学特征的映射，并基于传统MMSE准则进行模型参数更新，所取得的性能提升有限。因此，我们设计了一种产生式训练方法，用于训练语音转换DNN 模型参数。其思路是，先训练两个受限玻尔兹曼机(RBM)模型，将 X 和Y分别映射到相对紧凑、高效的二值表征；然后再建立一个双向联想记忆(BAM)模型，描述两个发音人二值表征间的联合概率；最后组合RBM和BAM，形成 DNN 模型，该模型参数不再需要基于MMSE准则的参数更新。实验结果表明，该模型对比 GMM在主观质量上具有明显优势。
不管是前面说到的 GMM 模型还是 DNN 模型，描述的都是帧到帧的映射关系，在模型训练阶段都离不开帧对齐步骤。对齐的过程难免产生一些对齐的误差与不合理的地方，这会影响语音转换的效果。
另外，这样的帧到帧映射模型不能转换时长。而实际情况是有的人说话比较快，有的人说话比较慢，怎么把说话人的语速特点体现出来呢？
后来，我们受到序列到序列神经网络在机器翻译、语音识别、语音合成等领域的应用启发，将序列到序列建模引入话者转换，以改善以上问题。我们的策略是利用结合注意力机制的编码器-解码器模型，直接建立输入源说话人声学特征序列与目标发音人声学特征序列之间的转换关系，中间不需要对齐操作，可以实现对于时长的控制和调整。将序列到序列建模用于话者转换任务，面临序列长度较长、数据量有限等困难。因此我们在模型结构设计上也做了一些针对性的考虑。
这是我们设计的模型结构。模型输入除了从源说话人语音中提取的声学特征序列外，还拼接了利用语音识别声学模型提取的文本相关特征，以协助序列对齐。模型输出就是从目标说话人平行语句中提取的声学特征序列。其中输出与输入序列长度并不一致。
模型采用结合注意力机制的编码器-解码器结构。为了降低序列长度过长对于建模的影响，我们在编码器中使用了金字塔结构的递归神经网络，以保证对齐效果。
以下是实验结果。图中横坐标是真实目标说话人语音的时长，纵坐标是转换后的语音时长。如果语音转换模型有比较好的时长调整效果，那么数据点应该落在对角线上。图中绿色点所示的是传统逐帧转换方法的结果，从中可以看出源与目标发音人之间显著的语速差异。红色点对应的是所提出的序列到序列语音转换方法，可以看出其取得了良好的时长转换效果。
进一步，我们来探讨非平行语料条件下的语音转换。这是一个更有挑战性的任务。由于很多时候我们需要使用已有数据构建话者转换系统，因此非平行数据条件在实际应用中普遍存在。
已有的非平行语料语音转换大体上有两个思路：
以Voice Conversion Challenge 2018 (VCC2018) 国际话者转换评测为例。其包括两个任务，主任务是平行数据条件，辅任务是非平行数据条件。我们针对此次评测，设计实现了基于PPG的语音转换方法。该方法利用语音识别模型从源话者语音中提取瓶颈特征作为话者无关的文本内容表征，同时利用目标说话人数据建立文本内容表征到声学特征的映射模型。由于该映射模型针对每个目标说话人分别建立，因此不需要平行语料就可以实现。
在VCC2018评测结果中，我们提交的参测系统在两个任务上均取得了转换语音自然度与相似度指标的第一名，其中自然度平均意见分(MOS)达到 4 分，相似度达到 80% 以上。
最后我再介绍一下我们近期开展的基于序列到序列模型框架的非平行语音转换方法的研究工作。虽然前面介绍的VCC2018方法可以取得较好的非平行语音转换效果，但是其仍存在一些不足。例如，基于语音识别器提取的文本内容表征中难以保证不含有说话人相关信息、语音识别模型和转换生成模型没有联合训练、仍采用帧到帧映射的模型框架等。
因此，我们提出了一种基于表征解耦的序列到序列非平行语音转换方法。该方法在序列到序列建模框架下，可以实现对于语音中文本相关内容和话者相关内容的有效分离。其核心思想如图所示。在训练阶段，利用识别编码器和话者编码器分别提取语音中的文本和话者相关表征。同时我们通过训练准则的设计保证这两种表征相互独立，不会纠缠。在训练过程中，我们也会利用语音对应的转写文本。从转写文本中提取的信息可以为从语音中提取文本表征提供有效参考。在合成阶段，通过组合从源说话人语音中提取的文本表征，以及目标说话人的话者表征，可以实现从源说话人语音到目标说话人语音的转换。
整个的模型结构如下图所示，由文本编码器、识别编码器、话者编码器、辅助分类器、解码器共5个主要模块构成。其中识别编码器和解码器类似与语音识别与语音合成模型，均采用结合注意力机制的编码器-解码器结构。文本编码器用于从转写文本中提取文本表征。解码器可以接收来自识别编码器或者文本编码器的输出，结合话者编码器给出的话者表征，进行声学特征的重构。辅助分类器用于实现与识别编码器的对抗学习，以保证识别编码器提取的文本表征中不含有说话人相关信息。由于时间原因，各模块具体的模型结构不再一一展开介绍。
以上各模块在训练阶段联合优化。为了实现有效的表征解耦，我们共设计了7种损失函数用于指导模型参数更新，包括音素分类损失、话者表征损失、对比损失、对抗训练损失、重构损失等。
以下是一些实验结果。从客观评测结果中可以看出，对比CycleGAN和VCC2018两种非平行语音转换方法，我们提出的方法可以取得最优的梅尔倒谱失真(MCD)以及清浊判决错误(VUV)。在转换时长误差(DDUR)上，所提方法由于采用了序列到序列建模框架，也显著优于其他两种方法。在主观评测中，我们所提出的非平行语音转换方法，也取得了接近序列到序列平行语音转换的性能。
总结报告内容，序列到序列话者转换方法在时长调整、长时相关性建模等方面有其优势，但是将该方法从平行数据条件推广到非平行数据条件存在挑战。特征解耦是解决这一问题的有效途径，通过序列到序列框架下的模型结构与损失函数设计可以获取相对独立的文本与话者表征，进一步实现非平行数据条件下的高质量语音转换。
另一方面，现阶段的话者转换技术还面临一些挑战，包括跨语种转换、低质数据场景、可控转换、实时转换等，这些都是后续值得进一步深入研究的内容。
以上是我的介绍，谢谢大家！
原创文章，未经授权禁止转载。详情见 转载须知 。
哔哩哔哩（bilibili.com)是国内知名的视频弹幕网站，这里有及时的动漫新番，活跃的ACG氛围，有创意的Up主。大家可以在这里找到许多欢乐。
seo综合查询可以查到该网站在各大搜索引擎的信息，包括收录，反链及关键词排名，也可以一目了然的看到该域名的相关信息，比如域名年龄相关备案等等，及时调整网站优化。
天津电缆总厂橡塑电缆厂是一家专业从事生产及销售各类矿用电缆厂家,主营：MCPTJ矿用电缆,MYPT矿用电缆,煤矿用橡套电缆等系列产品,为提高产品质量,以服务创新贴合客户需求,优化服务流程提高效率,提高市场竞争力。
热爱收录库(www.r22.cn)是一个全面性大全网站,分享各类优秀的正规站点与网址免费收录。提供分类网站检索信息、排序整理分类、按行业分类或关键词搜索查询,免费自助式申请,并且免费收录各类正规网站网址！
国悦集团成立于1998年，经过十余年发展，现已成为商业贸易、餐饮娱乐业、酒店投资与管理、文化传播与广告、生态旅游、房地产开发为一体的多元化集团。
扬州旭明电工科技有限公司(www.yzxmdg.com)生产120kv/2mA,60kv/2mA直流高压发生器,30kva/50kv工频耐压试验装置,旭明电工的诚信,实力和产品质量获得业界的认可,欢迎各界朋友莅临参观,指导和业务洽谈
黑龙江财经学院
山东国昱机械科技股份有限公司，配重块、机床床身、铸铁件、叉车配重、机床铸铁件、工程机械零部件、机床床身、叉车配重厂家、配重块厂家。山东国昱机械科技股份有限公司是山东淄博一家专门从事于配重块、铸铁件、叉车配重、机床铸铁件、工程机械零部件、机床床身的生产厂家。产品种类多，质量好，欢迎新老客户前来选购。
研究院是一个综合性的国立学术研究机构，覆盖了数学与系统科学的主要研究方向。研究院新时期的办院方针是：在数学与系统科学领域，面向国际发展前沿，面向国家战略需求，做出原创性、突破性和关键性的重大理论成果与应用成果，造就具有国际重要影响的学术带头人和一批杰出人才。研究院的发展目标是：在数学与系统科学领域内，成为国际上有重要影响的研究中心、培养和造就高级研究人才的著名中心、国民经济和国防建设有关问题研究和咨询的重要中心。
用户可通过多终端设备快速开启远程视频会议，并借助产品与会议平板的完美结合，实现屏幕间互动协作，提升会议效率，从而降低企业会议成本，达到降本增效的目的。
丹东通达科技有限公司丹东通达科技有限公司做为国内行业先锋企业，自成立以来就以专业的团队，专业的精神为客户提供先进的产品和优质的服务。为科研，商用等领域对于衍射分析，样品结构，定性定量等应用提供效率更高，性能更可靠的产品是我们一贯追求的目标。同时与各大院校以及国内顶尖科学家合作，不断升级产品，开发新产品以打破国际垄断，为社会造福，为用户创造价值。
我们提供:探矿权,采矿权,金矿,铅锌矿,铜矿,锰矿,矿权拍卖,矿权转让,矿权交易,矿权网,有色金属矿,磷矿,地热矿,国有产权,公司股权,土地,林地,房屋,酒店,水电站,项目转让,产权转让,股权转让。详情请访问http://www.88cc88.cn
吃喝毕竟是人生大事，所以餐饮行业的发展基本没有衰落过，对于现在的消费者来说，他们注重的不仅是吃饱，还有吃好，吃得有特色，因此现在的餐饮行业变得越发繁荣起来了，投身于餐饮市场的创业者越多，该行业的竞争也越激烈，所以每一家餐饮店在开业时都会举办活动，吸引客源，那么餐饮店开业营销方案有哪些呢，1、发传单说到发传单，大家脑子里肯定会浮现这么个...。
520的浪漫是玫瑰和咖啡缺一不可，近日，万咖啡，WanVita，推出新品咖啡——粉红拿铁，助力520爱的表达，萃取棚晒阿拉比卡咖啡豆，加入新鲜牛奶和超级食物甜菜根粉，制成爱意满满的红粉拿铁，颜值和风味俱佳，一杯红丝绒质感的粉红拿铁，用粉红的色彩唤醒人们内心深处的天真烂漫，万咖啡招牌饮品粉红拿铁，2020年，万达酒店及度假村在宁波万达美...。
超市作为方便大众消费者的服务配置，在每个城市都很常见，现在，超市门店越开越多，让很多人对其都产生了加盟的兴趣，那么，近日就有人前来询问超市加盟店要多少钱，2020年在长沙想开个超市需要多少钱，这就随着小编往下看吧，现有很多不同的超市品牌，要根据超市品牌、创业者的加盟需求、当时的加盟政策等因素，来确定加盟费用，总部人员会结合多方面的因素...。
很多的人在创业中还是会遇到选择难的问题，其实成功的关键也是在选择项目上，而小编觉得选择一个好的品牌其实很简单，深入到人们的生活中才可以做出详细的规划，才是成功的开始，而纵观整个的创业阶段，蓝海的项目还是在各个生活的方面，而角豚设计是一个可以让新颖的设计走进人们真实生活的一个品牌，进而让生活变得更加的简单，那么，2020创业做什么好，加...。
创业，始终是全民讨论话题，不过因为年龄层次和阅历不同，喜好不同，选择的创业方向也不同，随着今年2020年闹钟的敲响，许多80后的年龄有增长了一岁，大家对其判断和感知的标准又高了不少，如果是开启了创业道路的话，80后创业成功都是什么行业呢，80后创业成功所选行业，自也不是每个人都相同的，不同的境遇不同的基础导致大家的创业方向可能会存在天...。
2020年的突发事件，令很多人对于自己的财富有了新的思考，尤其是创业者，更多的将眼光放到了互联网项目，这其中有个项目尤其被看好，它就是手游代理项目，为什么在众多互联网创业项目中，大家更看好手游代理项目呢，游戏市场前景不必多说，喜欢玩游戏，或者对游戏有些了解的朋友一定知道，目前国内市场3000亿，且近5年来持续增长中，游戏付费用户也逐渐...。
对于一些加盟商来说收银发展是比较关注的一个问题，近几年来美容院具有合格的市场发展潜力，因此吸引了众多加盟商的智慧之选目光，因为品牌对于一个企业来说至关重要，因此在正式智慧之选之前必须详细了解美容加盟哪个牌子好，如何经营好一家美容店相关信息，美容加盟哪个牌子好思属于行业内部的一批黑马，经过短暂的几年发展时间已经成为美容院行业里面的一把好...。
经过6年的发展，阿甘锅盔已经在上海、北京、广东、深圳、河南、陕西等160座城市开出1000多家店，成为锅盔品类乃至整个行业都响当当的餐饮品牌，2年1000多家店！品牌锅盔的养成内核过去，提起锅盔，很多人会想起街头零星分布的没有品牌、推车叫卖的路边摊，阿甘锅盔的出现和发展改变了这一刻板印象，一张锅盔竟然能做1000多家店的品牌连锁，品质...。
中医倡导的是慢病调理保健，而我国国民多的是亚健康状态的人群，多得是慢病患者，那针对这些患者、甚至于亚健康人群是可以采用中医调理的方式来恢复身体的健康，我国为了鼓励传承传统的中医文化，出台了很多利好的政策，并鼓励社会力量开办中医诊所，现在开办中医诊所的审批条件并没有此前那么复杂，那么现在开办中医诊所的条件有哪些，且随着小编一起来了解下，...。
当下的家长们对孩子的学习要求一直都比较高，因此经常会为孩子们报书法培训班，写字不仅能够让孩子们养生正确的学习习惯，而且还能够提升写字水平，因此促使了市场中对练字培训机构的需求量在逐渐的增加，迈吉克少儿硬笔书法便是其中备受大家欢迎的品牌，自2020年成立以来，已经发展了十几家门店，在市场中具有不错的影响力和名气，也是创业者们所关注的品牌...。
现在人们的生活节奏之快，无法分身时，就需要跑腿软件的帮助，邻趣的面世，便很好地解决了广大消费者的需求，随着品牌被越来越多的人接受，也有很多人想要来加盟，于是前来询问2020年邻趣开通的城市加盟，那么，就一起来了解详情吧，邻趣主要是结合互联网来为消费者提供跑腿服务，旗下的跑腿服务项目涵盖了同城快送、生活服务、品牌外卖、排队等，目前，品牌...。
超市作为方便大众消费者的服务配置，在每个城市都很常见，现在，超市门店越开越多，让很多人对其都产生了加盟的兴趣，那么，近日就有人前来询问超市加盟店要多少钱，2020年在长沙想开个超市需要多少钱，这就随着小编往下看吧，现有很多不同的超市品牌，要根据超市品牌、创业者的加盟需求、当时的加盟政策等因素，来确定加盟费用，总部人员会结合多方面的因素...。
雷锋网消息，2019年8月29日，在2019世界人工智能大会，WAIC，上，华为常务董事、华为ICT战略与市场营销总裁汪涛发表了题为，重塑计算产业生态，加速人工智能发展，的主题演讲，在演讲中，他宣布了，鲲鹏产业生态创新中心，将落户上海徐汇区，具体来说，创新中心将围绕鲲鹏技术构建技术使能平台、商业使能平台、人才平台、展示平台和孵化平台等...。
IBMWatson联合辉瑞，将机器学习用于癌症药物研发IBM的WatsonforDrugDiscovery是一个新的云平台，旨在帮助生命科学家发现新的药物靶点和替代性的药物的适应症，IBM本周与辉瑞达成了一项新协议，将用前者的机器学习、自然语言处理及其它认知推理能力，用于免疫肿瘤学，Immuno，oncology，中的新药物识别，联合...。
许多爱美人士，会通过一些外在的装饰品，修饰自己的妆容，带来美观好看的视觉体验，像是假睫毛，就是备受大家欢迎与青睐的化妆用品，由于市场需求量大，所以众多的创业者就想要经营一家睫毛加工厂，那么，开一家睫毛加工小作坊大约多少钱，开一家睫毛加工小作坊大约多少钱开一家小规模的睫毛加工作坊，需要投入10，20万元左右的资金，由于开店过程中会产生诸...。
海澜之家，男人的衣柜，，这句指向性极强的广告词，让海澜之家迅速打开知名度，在竞争激烈的男装市场杀出重围，据悉，其2019年年度股东大会将于5月20日召开，在此之前，让我们来看看它的成绩单，一季度净利下滑超7成公开资料显示，海澜之家，全称，海澜之家股份有限公司，成立于1997年，系海澜集团旗下公司，于2014年在上交所上市，旗下拥有...。
棉花糖的制作教程如下，1.准备所需材料，麦芽糖、白砂糖、葡萄糖、吉利丁片，2.将所有主料放入锅中，充分搅拌均匀，如果找不到葡萄糖粉，可以用白砂糖替代，3.将锅置于火上，用中小火慢慢熬煮，在搅拌的过程中，加热至112度，如果没有温度计，可以通过观察泡泡的形态来判断，大约2分钟就能达到目标温度，4.达到112度后，关闭火源，继续搅拌至冷却...。
