WaveNet 做出了这些重大变化 你可能还不知道 Assistant 为了进驻 Google (WaveNet)
雷锋网 AI 科技评论按：DeepMind 提出的 WaveNet 是目前顶级的语音生成模型， 论文 最初于2016年9月发表，雷锋网 AI 科技评论也立即跟进报道 DeepMind发布原始音频波形深度生成模型WaveNet 。WaveNet抛弃了以往通过声学模型拼接语音音素的做法，完全通过深度神经网络生成原始音频波形，并且大幅提高了语音生成质量。
今年10月，我们也报道过 WaveNet正式商用：效率提高1000倍 ，仅一年时间就走出实验室，在 GoogleAssistant 中落地。在庆贺深度学习又一次完全颠覆传统做法的同时，大家想必也会好奇，到底DeepMind做了哪些改进才得以实现这样数量级的效率提升呢？DeepMind自己最近就发布了介绍商业化改进后的 WaveNet 的论文，并撰写了一篇博文通俗地介绍了其中的改进点。雷锋网 AI 科技评论把这篇博文翻译如下。
自 DeepMind 在2016年发表WaveNet论文后，这一顶级表现的语音生成模型已经于今年10月开始用在 GoogleAssistant 中，为全球的用户生成逼真的日语和美国英语语音。现在这个用于生产环境的模型称作“并行WaveNet”，它的运行速度要比最初发布的模型快一千多倍，而且生成的语音质量也更高。
在近期的论文（）中，DeepMind的研究人员们就介绍了新模型的一些细节；以及为了让这个系统能在大规模并行化的计算环境中运行，DeepMind还开发了一个新技术“概率密度蒸馏”。
最初版本的WaveNet在生成语音时用了很激进的连接方式，每次生成一个采样点，而且每个新生成的采样点都需要把前一个采样点作为输入（条件生成）。虽然这种做法能够生成高质量的音频，每秒最高也能生成2万4千个采样点，但这种顺序生成的方式对于生产环境来说还是太慢了。
最初版本的模型中，生成每个新的样本都需要把前一个生成的样本作为条件
为了解决这个问题，DeepMind的研究人员们认为他们需要一种新的方案，它应当能一次生成一个长序列中的所有采样点，而且没有生成质量的损失。他们的想到的办法叫做probability density distillation，“概率密度蒸馏”。它的做法是，用一个完全训练好的 WaveNet 模型教另一个“学生”网络如何推理；这个学生网络更小、并行度更高，从而也就更适合运行在现代计算硬件上。这个学生网络的架构是一个规模不大的卷积神经网络的拓展，跟原来的WaveNet很相似，但它有一点根本性的不同，就是生成新的采样点时不需要依赖任何之间生成的采样点。这也就意味着，语音生成时可以把第一个单词、最后一个单词、以及所有当中的单词全部同时生成出来，就像下面的动图里这样。
新的WaveNet把白噪音作为输入，然后一次同步生成所有的输出采样点。
训练的时候，学生网络是从一个随机状态开始的。它的输入是随机白噪声，要训练它做的任务就是产生连续的音频波形作为输出。学生网络生成的输出会被交给训练过的WaveNet模型，它会给每个采样点打分，作为提供给学生网络的信号，让它了解它的输出和理想输出之间的差距。随着训练过程进行，学生网络就可以根据反向传播不断调节、更新，从而学会产生理想的输出。从另一个角度说，“老师”网络和“学生”网络都会给每一个音频采样点的取值输出一个概率分布，然后训练的目标就是让老师的分布和学生的分布之间的KL距离最小化。
这样的训练过程和生成式对抗性网络（GANs）的设定有不少相似之处，学生网络就像是GANs中的生成器，老师网络就像是鉴别器。不过与GANs不同的是，学生的目标并不是像GANs中那样“骗过”老师，而是与老师合作，尝试学习、达到老师的表现水平。
虽然这种训练技巧有不错的表现，DeepMind的研究人员们还是需要增加几个额外的损失函数，引导学生更好地向理想的行为前进。具体来说，他们增加了一个感知损失来避免模型产生糟糕的发音，增加了一个对比度损失来进一步减少噪声，以及一个能量损失来让网络的音频输出与人类语音的能量相匹配。能量损失的作用是，如果没有它的话，模型的音量很小，更像窃窃私语而不是朗声说话。
应用了以上所有这些方法之后，DeepMind就得以让训练出的并行WaveNet达到与最初的WaveNet同等的语音质量，人类测试者听过之后的平均意见打分（MOS，5分为满分）结果如下。值得一提的是，真正的人类语音也只有4.667的MOS分数。
当然，概率密度蒸馏仅仅是让WaveNet达到生产化系统的速度和质量的众多必须手段之一。为了把并行WaveNet集成到GoolgeAssistant的服务流水线中，DeepMind的技术应用团队和谷歌语音团队也同样在工程方面付出了大量努力。也正是靠着这样的紧密协作，最初是基础性研究的技术只花了12个月多一点点的时间就成为了谷歌规模、能够服务全球用户的正式产品。
并行WaveNet论文地址：
via DeepMind Blog ，雷锋网 AI 科技评论编译
Deepmind语音生成模型WaveNet正式商用：效率提高1000倍
DeepMind发布最新原始音频波形深度生成模型WaveNet，将为TTS带来无数可能
版权文章，未经授权禁止转载。详情见 转载须知 。
免费问卷调查平台-问卷网，拥有创新的编辑界面和结果分析界面，海量的问卷和表单模板，提供20余万精品模板；支持微信，微博，QQ等多种发布模式。专注于为企业和个人提供问卷表单的创建，发布，管理，收集及分析服务。
手机冰与火之歌游戏,冰与火之歌h5游戏在线玩是一款放置类角色扮演h5游戏在线玩，顶级的战斗场面，庞大的世界地图，炫酷奥义技能，多职业上阵，多人在线PK，丰富的游戏玩法活动，让你欲罢不能。快来拯救暗黑军团降临的大陆，与邪恶势力对抗吧，称霸暗黑世界，舍我其谁。;您可以免费在线玩。
特迪云科技（19554192544）专业生产附近号码采集器,电话号码采集器,周围号码采集设备,小区号码采集器,手机号码采集软件,号码采集软件,电话号码收集,周边手机号码收集器,附近人获客神器,手机号码采集盒子稳定运行第五年，行业领先、技术源头
55Y音乐社区APP是一个聚合数千万音乐爱好者的专业的音乐内容分享社区，在这里你可以建立你的音乐自媒体，分享你的音乐生活！
青岛诚誉食品检测有限公司多年从事食品卫生检测，一切为了安全与安心
福建·日康卫浴洁具厂，是一家集研发、生产、销售高级水龙头、淋浴、地漏、下水、角阀的高新生产企业。 日康卫浴自建立以来坚持“以人为本”。凝聚了一批高素质的技术人才为管理人员。引进先进生产设备及工艺技术，不断加大技术设备投入。雄厚的技术和精良的设备
吴江鸿达织造有限公司,提花牛津布生产厂家,提供家纺面料,沙发布定制与批发.吴江鸿达织造有限公司主营:提花牛津布,化纤面料,工装面料,箱包面料等.秉承着“诚信,平等”的经营理念以及“友好互助,共同进步”的企业文化,在国内外市场享有良好的声誉和公认的品质认可.
欢迎来到PHP服务网学习各种PHP知识，这里有最新的PHP教程可以免费学习，也能下载到很多的PHP源码，PHP模板，PHP插件，也能以更加优惠的价格购买到PHP的虚拟主机，服务器等，PHP服务网为PHP生态助力。
济南皇冠油墨有限公司公司拥有完整、科学的质量管理体系。本着“敢于创新，稳重求进”的精神，大胆引进先进生产设备，加强生产管理、严把质量关，以其产品质量稳定、交货快捷和价格优势，在激烈的竞争市场中脱颖而出，稳步发展。
安平县鑫巡土工布厂家专业长丝土工布,无纺土工布,短丝,防水,复合土工布生产厂家,为您提供2021年土工布价格,无中间利润,免费提供施工支持特殊规格定做,一站式服务厂家
湖北利普达，利普达管业,湖北利普达管业，镀锌防腐管，碳钢管，薄壁碳钢管，卡压连接，燃气专用管，不锈钢管，燃气不锈钢管，PE管，燃气PE管，卡压阀门，专用阀门，钢塑转换
张家口市怀安县图书馆
北汽电动车，一家新时代下的国有控股高科技上市公司和绿色智慧出行一体化解决方案提供商，致力于为用户创造电动化、智能化、个性化的驾乘体验，构建汽车与能源、互联网、AI人工智能产业融合发展的新生态、新格局，打造面向未来的绿色智能科技服务平台，至于北汽电动车怎么代理，一起去了解一下，自2009年成立以来，北汽新能源以电动化为突破口，以科技为核...。
人工智能机器人高新科技技术的运用与大数据的运用，使得机器可以无障碍的与人类进行交流，起到陪伴的作用，更有一些的课程项目，会给提供合格的教学服务，智伴机器人是这当中很受欢迎的加盟项目，智伴机器人是高新科技项目，它当中拥有多项功能，有诗词歌赋，加减程序，相声歌剧等，这些项目可提高孩子的学习成绩，塑造好的品牌形象，那么现在智伴机器人如何加盟...。
抑郁症，似乎离我们很近又很远，我们会在社交网络上得知名人抑郁自杀的消息，但殊不知在他们背后，还有更多普通人正在饱受抑郁症的困扰，据世界卫生组织，WHO，统计，目前全球范围内大约有3.5亿人患有抑郁症，我国泛抑郁人数已超过9500万人，每10个人中就有1人饱受抑郁症的折磨，此外，抑郁症已成为自杀倾向的最大隐患，据美国国立卫生研究院，U....。
在11月16日举办的谷歌开发者大会上，有关AR技术的内容发布抓住了大量云宇宙关注者的眼球，尽管没有过多明说AR技术与元宇宙的直接关系，但其通过更新AR工具所能够达成的大量成果，对于元宇宙场景的落地都至关重要，一言以蔽之，，真实性，是这次大会上谷歌对AR内容最大的期许，而据雷锋网观察，，真实性，则体现在如下两个方面，一方面，AR需要足以...。
科技界从来不缺神话，经过2016大数据、物联网、人工智能、AR，VR等突破性的洗礼，2017年科技界精彩再续，各类黑科技大招一触即发，3月28日，在深圳，双创周，的举办地深圳软件产业基地，国家高新技术企业神画科技带来了一场盛大的，创·神话，触·梦想，主题发布，搭载基于触控技术而创新性研发出的投影电子白板技术的神画TT系列正式在发布会上...。
2016年9月，国内首台公安智能安保机器人AnBot，中文名，深圳小安，在深圳机场正式上岗，24小时自动巡逻，并配备了电防暴叉、电击枪的深圳小安立刻受到了一众国内外媒体的关注，其实，它还可以进行智能语音交互，回答关于补办身份信息、航班动态等方面的提问，小安的语音交互系统使用的是灵聚智能的技术，深圳小安机器人，成立于2013年6月的...。
近日，库克频繁出现在媒体中，并且先后在深圳和日本等地亮相，而在他近期的讲话中，库克的言行举止均透露出对VR、AR、AI、汽车四个，保密，方向的重视，近日，库克在接受媒体专访时着重讲述了自己对VR和AR的看法，为何更看好AR库克的观点是，相比于虚拟现实VR，增强现实具备增强人类体验的能力，是人感知的延伸，使得它比虚拟现实技术更可能成功，...。
雷锋网AI开发者讯，日前，神经信息处理系统大会，NeurIPS2019，于12月8日至14日在加拿大温哥华举行，中国科学院自动化研究所及其南京人工智能芯片创新研究院联合团队在本次大会的神经网络压缩与加速竞赛，MicroNetChallenge，中获得双料冠军！以模型压缩和加速为代表的深度学习计算优化技术是近几年学术界和工业界最为关注的...。
在具有挑战性的环境中，一些人工智能系统通过利用过去经验所提供的世界表象来实现目标，研究人员将这些应用推广到新的情况，使它们能够在以前从未遇到过的环境中完成任务，事实证明，强化学习——一种使用奖励来推动软件策略朝着目标前进的训练技术——特别适合学习一个总结agent经验的世界模型，并通过扩展来促进新行为的学习，雷锋网消息，近日，来自Go...。
雷锋网AI科技评论按，对于机器学习而言，区分异常数据或有显著差异数据至关重要，谷歌在NeurIPS2019论文中提出并发布了针对基因组序列OOD检测的现实基准数据集，进而提出一种基于似然比的解决方案，可显著提高OOD检测的准确性，AI科技评论将谷歌对该方法的官方解读编译如下，深度学习科学家要成功部署机器学习系统，需要系统能够区分出异常...。
雷锋网AI科技评论按，本文来自德国Fraunhofer协会IAIS研究所的研究科学家MichaelGalkin，他的研究课题主要是把知识图结合到对话AI中，雷锋网AI科技评论全文编译如下，必须承认，图的机器学习，MachineLearningonGraphs，已经成为各大AI顶会的热门话题，NeurIPS当然也不会例外，在NeurIP...。
新智驾按，2019第四届全球人工智能与机器人峰会，CCF，GAIR2019，于深圳正式召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办，深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在打造国内人工智能领域极具实力的跨界交...。
三年前，Google以，Daydream，为其VR平台命名时，绝不会想到，这个名字似乎成了一种预兆——昨天，Google在其发布会上宣布，包括新发布的Pixel4和Pixel4XL，未来的Android设备中将不再支持DaydreamVR平台；DaydreamView头显设备也从即日起停止销售，Daydream应用程序和商店依然可供现...。
太平洋时间2018年8月13日，在加拿大最大的港口城市温哥华，英伟达CEO黄仁勋现身于此地举办的SIGGRAPH大会，正式发布了新一代GPU架构——Turing，图灵，；同时基于此架构，黄仁勋同时宣布了一系列QuadroRTX新品，宣告了实时光线追踪的到来，黄仁勋说，图灵架构是自2006年CUDAGPU发明以来最大的飞跃，是计算机图形...。
，2021年12月9日，2021年12月11日，2021第六届全球人工智能大会，GAIR2021，于深圳开幕，本届大会由粤港澳大湾区人工智能与机器人联合会、联合主办，深圳市人工智能与机器人研究院、深圳市机器人协会、深圳市人工智能学会支持，作为中国最具影响力和前瞻性的前沿科技活动之一，GAIR大会已经度过了五次精彩而又辉煌...。
雷锋网近日得到消息，深圳的大疆创新入股了广州无人机企业天翔航空科技，大疆就不必赘述了，不知道的基本没必要再把这篇文章看下去了，天翔航空科技是一家在业内非常低调的公司，百度到的公开资料是2012年成立以及一些航拍作品和加入农业航空联盟等一些官方新闻，其他公司新闻甚少，全国企业信用信息公示系统显示的内容如下，中国无人机行业中，创始人风格往...。
选择酒店住宿，并不是一件随意的事情，各方面的标准都要符合自己心中所想，这样才可以享受到高品质的休息环境，维也纳国际酒店，为旅途中的人们提供了一个世外桃源般的氛围，令人心旷神怡，流连忘返，那么，维也纳国际酒店环境好吗，住宿空间大吗，维也纳国际酒店环境好吗各大酒店的选址、装修、设计等环节，都是在公司的协助下进行的，尤其是装修设计方面，为了...。
