将为TTS带来无数可能 DeepMind发布最新原始音频波形深度生成模型WaveNet
编者按：Google的Deepmind研究实验室昨天公布了其在语音合成领域的最新成果——WaveNet，一种原始音频波形深度生成模型，能够模仿人类的声音，生成的原始音频质量优于目前Google采用的两种最优文本-语音模型Parameric TTS与Concatenative TTS。
WaveNets是一种卷积神经网络，能够模拟任意一种人类声音，生成的语音听起来比现存的最优文本-语音系统更为自然，将模拟生成的语音与人类声音之间的差异降低了50%以上。
我们也将证明，同一种网络能够合成其他音频信号，如音乐，并能够自动生成沁人心脾的钢琴曲。
使人们能够与机器自由交谈是人机交互研究领域长久以来的梦想。 过去几年中，深度神经网络的应用（如Google语音搜索）为提高计算机理解自然语音的能力带来了革新。但是，运用计算机生成语音——通常用于指代语音合成或文本-语音(TTS)系统——在极大程度上还要依托拼接TTS，TTS中包含一个超大型记录单个说话者的简短语音片段的数据库，随后将这些语音片段重新合成形成完整的话语。在不记录一个新的完整数据库的前提下，这种语音合成方法难以做到修饰声音（例如，转换到一个不同的说话者，或者改变其语音中强调的重点或传达的情感）。
为了解决语音合成的这一难题，迫切需要运用一种参数TTS,在这种文本-语音系统中，生成数据所需要的所有信息被存储于模型的参数中，语音所传达的内容及语音特征可以通过模型的输入信息得以控制。然而，目前参数（Parametric）TTS模型生成的语音听起来不如拼接（Concatenative）TTS模型生成的语音自然，这种现象至少出现在音节类语言中，如英语。现有的参数模型通常是运用信号加工算法voCoders计算获得的输出信息，以此生成音频信号。
WaveNet通过直接为音频信号的原始波形建模，一次为一种音频样本建模，来改变这种范式。同生成听起来更为自然的语音相同，使用原始波形意味着WaveNet能够为任意类型的音频建模，包括音乐。
研究者通常避免为原始音频建模，因为原始音频往往瞬间发生变化：通常情况下，每秒出现16,000种或更多音频样本，在很多时间标尺内出现重要的结构。很明显，构建一个完全自动回归模型是一项具有挑战性的任务，在这种模型中，对每一种音频样本的预测均受到之前所有音频样本的影响（用统计学方面的话来讲，每一种预测性分布是建立在所有先前观察的基础之上的）。
但是，我们今年公布的PixelRNN和PixelCNN模型显示，做到以每次一个像素，甚至于每次一个颜色通道的方式生成复杂的自然图像是可能的，这将要求对每个图像做数千次预测。这也启发我们将原有的二维PixelNets转变为一种一维WaveNet。
上方动画所示为一个WaveNet模型的内部结构，通常是一种完整的卷积神经网络，卷积层中有各种各样的扩张因子，允许其接受域深度成倍增长，并且覆盖数千个时间步长。
在训练时间段内，输入序列是从人类说话者记录得来的真实波形。在训练之后，我们可以对网络取样，以生成合成话语。在取样的每一个步骤中，将从由网络计算得出的概率分布中抽取数值。所抽取的数值随后被反馈到输入信息中，这样便完成下一步新预测。像这样每做一次预测就取样会增加计算成本，但是我们已经发现，这样的取样方法对于生成复杂且听起来真实的音频是至关重要的。
改善最优文本-语音转换模型
我们曾经运用Google的一些TTS数据集来训练WaveNet,以便用于评估WaveNet的性能。下图所示为与Google当前最优TTS系统（参数型TTS和拼接型TTS）和使用Mean Opinion Scores（MOS：用于评估语音通讯系统质量的方法）获得的人类语音相比，在标尺（1-5）上WaveNets的质量。MOS是一种用于主观语音质量测试的标准测定方法，在人群中进行盲试验。我们可以看到，WaveNets将最优模型生成语音的质量与人类自然语音（US英语和汉语普通话）之间的差距降低了50%以上。
就汉语和英语来讲，Google当前的TTS系统在世界范围内被认为是最优文本-语音系统，因此，用一种单一模型来改善生成汉语与英语语音质量将会是一项重大成就。
为了实现运用WaveNet将文本转化为语音，我们得告诉WaveNet文本的内容是什么。我们通过将文本转换成语言和语音特征（包括音位、音节、单词等），把转换得来的特征提供给WaveNet，完成这一过程。这意味着网络的预测步骤不仅仅基于先前获得的音频样本，而且要基于文本所传达的内容。
如果我们想要脱离文本序列来训练网络，网络依然能够生成语音，但是得自行编造想要传达的内容。这种条件下生成的音频简直是胡言乱语，有意义的单词被编造的像单词的声音隔断开。
注意，有时WaveNet也会生成一些非语音类型的声音，如呼吸或口腔运动；这反映出一种原始音频模型具有高度灵活性。
一个单一的WaveNet具备学习许多不同声音（男性和女性）的特征。为了确保WaveNet能够知道用何种声音匹配给定的任何一段话语，我们训练网络使之学习获得说话者的身份特征。有趣的是，我们发现，与单一训练单个说话者的特征相比，用许多说话者的语言、语音及身份等特征来训练网络使得WaveNet能够更好地模拟单个说话者，这种训练模式暗含着一种迁移学习形式。
通过改变说话者的身份，我们可以用WaveNet以不同的声音表达同一段话语。
同样，我们可以为该模型提供额外的输入信息，如情感或口音，使得生成的语音变得更为多样化，更有趣。
由于WaveNet能够用来模拟任何一种音频信号，我们认为,尝试用WaveNet生成音乐也将很好玩。与TTS实验不同，我们的网络不是基于一个输入序列，告诉它怎么演奏音乐（如一篇乐谱）；相反，我们只是简单地允许WaveNet任意生成一种音乐。当我们采用一个古典钢琴曲数据集来训练WaveNet时，它将生成一曲美妙乐章。
WaveNets将为TTS带来无数可能，大体上来讲，有生成音乐和模拟音频两类。事实上，直接运用深度神经网络一个时间步长一个时间步长地生成音乐，这种方法适用于所有16kHZ音频，这将是非常令人惊喜的。我们非常期待WaveNets未来将会带给大家的惊喜。
想要获取更多详细信息，请参考我们的论文 详细
原文链接
原创文章，未经授权禁止转载。详情见 转载须知 。
河北网站排名,根据网站的综合值按照不同的河北网站进行筛选排名结果,通过筛选河北网站可以看到每个河北网站里面的网站排名优质的网站是哪些
株洲广告公司新标杆，三圆是湖南株洲广告公司、业务辐射全国。作为专业的广告公司，提供品牌设计、品牌策划、品牌执行综合性解决方案。咨询电话：0731-22217673
花王（上海）产品服务有限公司（董事长 西口徹）宣布，花王（中国）于2020年7月下旬全新推出花王厨卫清洁系列——“花王厨房重油去污清洁泡沫（薄荷清香）...
极光PDF是一款强大的多功能PDF编辑软件，采用国产自研PDF引擎，拥有PDF编辑、格式转换、注释、压缩合并、PDF翻译等多种功能，可满足用户不同的需求。百M文件秒开，多种编辑模式和强大的图片编辑功能，让编辑PDF像编辑PPT一样轻松
医保定点医院,全国专业连锁眼科医院,拥有高级手术专家和手术设备.提供近视,白内障,矫正近视,近视手术等服务,致力于创造光明的事业,给人类增添光明,给世界创造精彩.
违禁词查询工具免费提供最新广告法禁用词检测，适用于电商极限词查询（淘宝、天猫、京东、拼多多等），以及抖音等网络平台的广告违禁词、禁用词、极限词查询。
深圳市莱雷科技发展有限公司专注于合金分析仪、矿石分析仪、LIBS光谱仪、手持式光谱仪、伊诺斯光谱仪、金属镀层测厚仪、稀土元素分析仪、手持ROHS分析仪、手持式金属元素检测仪、气相色谱质谱GCMS联用仪、土壤重金属含量快速检测仪、304316不锈钢材质检验仪器等业务，为企业提供赛谱司、伊诺斯、奥林巴斯Olympus、Niton三元催化器检测、土壤重金属含量快速检测仪、扫描电镜等技术支持。产品畅销上海、苏州、广东等全国各地。
星空云AI财税机器是是面向中小型企业和财税代理公司的专业、简单、智能的全自动财税一体化软件：可以精准高效自动采集发票、银行账单等，能够自动生成凭证、账表，同时自动批量一键申报；无需专业会计知识也能轻松做账报税，真正为企业降本增效提升利润。
潍坊浩巨金属制品有限公司咨询热线：157-2576-9610.主营：铁艺护栏铝艺护栏锌钢护栏草坪护栏阳台护栏铁艺大门铝艺大门公司集设计,制作,销售,安装于一体.铁艺师傅和设计人员技术精湛,经验丰富,欢迎点击咨询!
意趣网致力于让生活更多意趣。景点、地标、建筑、文化、诗词、音乐、以及美术、人文、历史的介绍、好吃的、好玩的……意趣网与您分享。
选用沈阳电采暖产品认准●稀结集团●专业生产电采暖锅炉\电加热锅炉,是从事半导体电锅炉设计、生产、销售、安装为一体的煤改电供暖设备制造企业。
RISC-VMCU中文社区旨在为大家提供RISC-V入门手册,RISC-V教程,RISC-V案例等帮助文档，方便大家了解学习RISC-V的相关技术，也是大家交流分享RISC-V心得的社区。
在具有挑战性的环境中，一些人工智能系统通过利用过去经验所提供的世界表象来实现目标，研究人员将这些应用推广到新的情况，使它们能够在以前从未遇到过的环境中完成任务，事实证明，强化学习——一种使用奖励来推动软件策略朝着目标前进的训练技术——特别适合学习一个总结agent经验的世界模型，并通过扩展来促进新行为的学习，雷锋网消息，近日，来自Go...。
昨天，让生物科学圈和人工智能圈为之沸腾的，必然是DeepMind宣布蛋白质折叠预测问题已被其攻破的消息，此消息一出，立刻登上了Nature杂志封面，标题直接评论为，它将改变一切！，李飞飞、马斯克等众多大佬纷纷点赞、转发，这个场景是不是和当初AlphaGo战胜了李世石和柯洁有点似曾相识，对于AI界、围棋界来说，AlphaGo是一个划时...。
编者按，Google的DeepMind研究实验室昨天公布了其在语音合成领域的最新成果——WaveNet，一种原始音频波形深度生成模型，能够模仿人类的声音，生成的原始音频质量优于目前Google采用的两种最优文本，语音模型ParamericTTS与ConcatenativeTTS，WaveNets是一种卷积神经网络，能够模拟任意一种人类...。
EfficientZero的性能接近DQN，DeepQ，Learning，在2亿帧时的性能，但消耗的数据却减少500倍，近日，一项研究在学术界引起了广泛的关注和热议，有消息称，DeepMind和Google已经在内部关门开会讨论了，粉丝众多的科技向youtube博主Yannickicher甚至专门做了半个小时的视频来讲解这篇论文，学者...。
雷锋网消息，2017年10月4日，Deepmind发表博客称，其一年前提出的生成原始音频波形的深层神经网络模型WaveNet已正式商用于GoogleAssistant中，该模型比起一年前的原始模型效率提高1000倍，且能比目前的方案更好地模拟自然语音，以下为Deepmind博客所宣布的详细信息，雷锋网摘编如下一年之前，我们提出了一种用...。
雷锋网AI科技评论按，DeepMind提出的WaveNet是目前顶级的语音生成模型，论文最初于2016年9月发表，雷锋网AI科技评论也立即跟进报道DeepMind发布原始音频波形深度生成模型WaveNet，WaveNet抛弃了以往通过声学模型拼接语音音素的做法，完全通过深度神经网络生成原始音频波形，并且大幅提高了语音生成质量，今年10...。
尴尬！特朗普告诉库克，苹果得把生产线从中国搬回来之前曾报导，苹果CEO库克在特朗普当选后致电祝贺，在本周二与纽约时报的访谈中，特朗普透露了这通电话的更多细节，我说，蒂姆啊，你知道有件事对我来说会是个很大的功绩——当我让苹果在美国造一个大工厂的时候，或者是很多大工厂，而不是跑到中国去，跑到越南去，跑到任何苹果去的地方，你们得在这儿，美...。
今年3月份举世瞩目的人机大战中，GoogleDeepMind以AlphaGo战胜了李世石，向全世界展示了人工智能在深度学习上的非凡潜力，然而你以为这就是DeepMind所能做的一切，太天真了！据卫报消息称，DeepMind与英国国家医疗服务体系，NHS，进行了二度合作，将和Moorfields眼科医院一同开发识别视觉疾病的机器学习系统...。
DeepMind与英国国家医疗服务体系NHS正式达成五年合作，作为合作内容，NHS下属规模最大的医院之中，位于伦敦的三家医院RoyalFree，Barnet和ChaseFarm，已经同意与DeepMind分享160万名患者的医疗数据，DeepMind将用这些数据开发一款名为，Streams，的手机app，声称它能每年拯救一万条生命，...。
围棋再无Master，DeepMind创始人宣布AlphaGo，退役，雷锋网消息，在昨天结束的，人机大战，第三场比赛中，柯洁由于状态不佳，被AlphaGo拖入缠斗之后无奈宣布放弃，最终，AlphaGo以3，0的成绩赢下本次乌镇围棋峰会比赛，对于AlphaGo的表现，，棋圣，聂卫平现场点评，人类目前最高也就九段，AlphaGo至少二十...。
AI，物理，成功破圈，DeepMind怕是要上天，北京时间凌晨四点，DeepMind在官方推特上发布消息，称其与瑞士洛桑联邦理工学院，EPFL，合作研究出第一个可以在托卡马克，Tokamak，装置内保持核聚变等离子体稳定的深度强化学习系统，为推进核聚变研究开辟了新途径，消息一出，立刻引起围观，收获一千多点赞、数百转发，据该工作的其中...。
上周AI科技评论曾报道，，前，苹果机器学习总监，有，GAN之父，之称的IanGoodfellow因不满苹果取消居家办公，要求重返办公室上班的政策而选择离职，据了解，自从疫情爆发，苹果就一直以远程办公的形式推进工作，员工也纷纷表示自己在家中办公效率更高，不仅能减少通勤消耗的精力，还能多出时间照顾家人，但是就在大家习惯这种LWB，Life...。
如今关于数据安全的顶层立法已经趋于完善，数据安全成为互联网监管的核心，不仅是互联网厂商、政务大数据还有金融、医疗等场景安全需求极为旺盛，数据既要合规安全又要发挥价值，只有极少数企业能够明晰的进行数据安全保护产品的选择，多数企业数据安全治理定位不清，数据和业务的矛盾凸显，如何进行数据安全治理，这对企业形成了极大的挑战，一直以来山石网科作...。
消息，近日，医药营销技术，PharmaMarTech，整体解决方案提供商北京医百科技有限公司，以下简称，医百科技，宣布完成数千万美元B轮融资，由惠每资本领投，KIP资本跟投，光源资本担任本轮融资独家财务顾问，据悉，本轮融资完成后，医百科技将进一步加大技术研发投入，加速新业务拓展，医百科技成立于2016年，为药械企业提供数字化转...。
2月29日~3月2日，国际家用纺织品及辅料，春夏，博览会将在上海世博展览馆举办，这是今年家纺口碑佳个具有影响力的展会，今年，是中纺，十二五，规划的关键之年，众多家纺品牌都调整了自己未来的发展战略，而这一切将国际家纺展来展现和检验；同时，后金融危机时代，面对更为复杂多变的国内外形势，众多企业也希望国际家纺展找到解决现存问题的方法，以及找...。
据彭博社9月6日报道，美国政府将两艘船舶以及相关的两家印度航运公司列入制裁名单，报道称，这是美国阻遏俄罗斯进口液化自然气的最新制裁措施，外地期间9月5日，美国财政部本国资产管理办公室，OFAC，发表，将，木兰，号，Mulan，和，新动力，号，NewEnergy，两艘液化气船列入制裁名单，依据美国财政部颁布的申明，总部位于印度的两家航运...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
