WaveNet 做出了这些重大变化 你可能还不知道 Assistant 为了进驻 Google (WaveNet)
雷锋网 AI 科技评论按：DeepMind 提出的 WaveNet 是目前顶级的语音生成模型， 论文 最初于2016年9月发表，雷锋网 AI 科技评论也立即跟进报道 DeepMind发布原始音频波形深度生成模型WaveNet 。WaveNet抛弃了以往通过声学模型拼接语音音素的做法，完全通过深度神经网络生成原始音频波形，并且大幅提高了语音生成质量。
今年10月，我们也报道过 WaveNet正式商用：效率提高1000倍 ，仅一年时间就走出实验室，在 GoogleAssistant 中落地。在庆贺深度学习又一次完全颠覆传统做法的同时，大家想必也会好奇，到底DeepMind做了哪些改进才得以实现这样数量级的效率提升呢？DeepMind自己最近就发布了介绍商业化改进后的 WaveNet 的论文，并撰写了一篇博文通俗地介绍了其中的改进点。雷锋网 AI 科技评论把这篇博文翻译如下。
自 DeepMind 在2016年发表WaveNet论文后，这一顶级表现的语音生成模型已经于今年10月开始用在 GoogleAssistant 中，为全球的用户生成逼真的日语和美国英语语音。现在这个用于生产环境的模型称作“并行WaveNet”，它的运行速度要比最初发布的模型快一千多倍，而且生成的语音质量也更高。
在近期的论文（）中，DeepMind的研究人员们就介绍了新模型的一些细节；以及为了让这个系统能在大规模并行化的计算环境中运行，DeepMind还开发了一个新技术“概率密度蒸馏”。
最初版本的WaveNet在生成语音时用了很激进的连接方式，每次生成一个采样点，而且每个新生成的采样点都需要把前一个采样点作为输入（条件生成）。虽然这种做法能够生成高质量的音频，每秒最高也能生成2万4千个采样点，但这种顺序生成的方式对于生产环境来说还是太慢了。
最初版本的模型中，生成每个新的样本都需要把前一个生成的样本作为条件
为了解决这个问题，DeepMind的研究人员们认为他们需要一种新的方案，它应当能一次生成一个长序列中的所有采样点，而且没有生成质量的损失。他们的想到的办法叫做probability density distillation，“概率密度蒸馏”。它的做法是，用一个完全训练好的 WaveNet 模型教另一个“学生”网络如何推理；这个学生网络更小、并行度更高，从而也就更适合运行在现代计算硬件上。这个学生网络的架构是一个规模不大的卷积神经网络的拓展，跟原来的WaveNet很相似，但它有一点根本性的不同，就是生成新的采样点时不需要依赖任何之间生成的采样点。这也就意味着，语音生成时可以把第一个单词、最后一个单词、以及所有当中的单词全部同时生成出来，就像下面的动图里这样。
新的WaveNet把白噪音作为输入，然后一次同步生成所有的输出采样点。
训练的时候，学生网络是从一个随机状态开始的。它的输入是随机白噪声，要训练它做的任务就是产生连续的音频波形作为输出。学生网络生成的输出会被交给训练过的WaveNet模型，它会给每个采样点打分，作为提供给学生网络的信号，让它了解它的输出和理想输出之间的差距。随着训练过程进行，学生网络就可以根据反向传播不断调节、更新，从而学会产生理想的输出。从另一个角度说，“老师”网络和“学生”网络都会给每一个音频采样点的取值输出一个概率分布，然后训练的目标就是让老师的分布和学生的分布之间的KL距离最小化。
这样的训练过程和生成式对抗性网络（GANs）的设定有不少相似之处，学生网络就像是GANs中的生成器，老师网络就像是鉴别器。不过与GANs不同的是，学生的目标并不是像GANs中那样“骗过”老师，而是与老师合作，尝试学习、达到老师的表现水平。
虽然这种训练技巧有不错的表现，DeepMind的研究人员们还是需要增加几个额外的损失函数，引导学生更好地向理想的行为前进。具体来说，他们增加了一个感知损失来避免模型产生糟糕的发音，增加了一个对比度损失来进一步减少噪声，以及一个能量损失来让网络的音频输出与人类语音的能量相匹配。能量损失的作用是，如果没有它的话，模型的音量很小，更像窃窃私语而不是朗声说话。
应用了以上所有这些方法之后，DeepMind就得以让训练出的并行WaveNet达到与最初的WaveNet同等的语音质量，人类测试者听过之后的平均意见打分（MOS，5分为满分）结果如下。值得一提的是，真正的人类语音也只有4.667的MOS分数。
当然，概率密度蒸馏仅仅是让WaveNet达到生产化系统的速度和质量的众多必须手段之一。为了把并行WaveNet集成到GoolgeAssistant的服务流水线中，DeepMind的技术应用团队和谷歌语音团队也同样在工程方面付出了大量努力。也正是靠着这样的紧密协作，最初是基础性研究的技术只花了12个月多一点点的时间就成为了谷歌规模、能够服务全球用户的正式产品。
并行WaveNet论文地址：
via DeepMind Blog ，雷锋网 AI 科技评论编译
Deepmind语音生成模型WaveNet正式商用：效率提高1000倍
DeepMind发布最新原始音频波形深度生成模型WaveNet，将为TTS带来无数可能
版权文章，未经授权禁止转载。详情见 转载须知 。
丰生永康
91金融小助手有91金融深耕不动产领域十几年，掌握金融领域一手资源，业务专业，收费透明，制定专属贷款方案，贷前、贷中、贷后一对一管家式服务。
深圳快学教育发展有限公司
面子先生（成都面食,成都特色面馆,成都杂酱面加盟店十大品牌）自品牌创立以来以独特的口味在市场上脱颖而出，完成了主流美食文化与餐饮行业的对接，我们采用上等食材，提升了美味的口感与味觉层次，符合现代人的需求。在这里不仅仅有面食，还有各式的小吃、冒菜、快餐等，上百种单品，款款美味。
南充市飞行家体育文化有限公司
杭州隐秀道易活动策划,发布会年会策划,周年庆,开业庆典礼仪,行业峰会布置,演艺舞美.创意活动策划方案省心,年会策划流程省钱,公关活动靠谱!1000家成功活动案例
为各级民营医疗机构提供成套医疗设备及完善的售后服务。
广州毅佳电子有限公司，EAS厂家，供应超市防盗系统、EAS防盗系统、声磁防盗系统、服装店防盗系统。专业提供EAS防盗系统及相关服务。供应防盗软标签，防盗硬标签，声磁软标签，超市防盗扣等防盗标签。
曼瑞德集团有限公司（www.menred.cn）一直致力于新风系统、壁挂炉、地暖系统、地暖管、温控器、采暖散热器的生产和销售，曼瑞德致力于家居舒适系统集成和绿色建筑技术
成都建桩新能源有限公司主要经营:重庆新能源汽车充电桩、成都汽车充电桩设施规划、四川充电桩设施工程和服务,公司致力于成为推动全球新能源转变,助力电动汽车清洁出行的新兴技术企业!
斑马ERP是一款免费跨境电商ERP系统软件，深度对接亚马逊Amazon，日本乐天Rakuten，雅虎Yahoo，趣天Qoo10，Shopify，店匠Shoplazza，TikTok，Fordeal，Coupang，WooCommerce等跨境电商平台及独立站，致力于解决跨境电商卖家痛点，帮助跨境电商卖家更加灵活高效地处理跨境电商业务，帮助跨境卖家实现多平台多店铺高效运营。
合肥南高门控设备有限公司(www.hffydoor.com)专业生产销售电动门、道闸，智能停车场管理系统，智能一卡通设备等，安徽合肥最大的门控公司之一，公司成立10年以来，为数万家企业提供优质服务！
迷宫闯关手机游戏有哪些，这些游戏不仅能够锻炼你的逻辑思维，还能让你在解谜的过程中享受到成就感，无论是新手还是资深玩家，这些迷宫游戏都是你手机中不可或缺的精彩选择，不要犹豫，快来探索这些迷宫的奥秘，开启你的智慧之旅吧！1、，贪婪洞窟，游戏通过使用低饱和度的色彩渲染，精心设计了九种风格迥异的迷宫环境，每一种都充满了未知与挑战，玩家将在这上...。
在过去的几年时间里，出现了许多全新的网页应用程序，不过，由于应用程序的功能越来越丰富，也导致了前端开发的复杂度大幅增加，现在也有不少前端开发工具，比如Backbone和EmberJS框架都能提供稳定的App开发解决方案，同时，Javascript的应用也越来越常广泛，而且它还能和Node.JS在后端协同工作，快速搭建易于扩展的网络应用...。
只用腾讯自家的app，我能活过一周吗?这个问题在我进行这次实验的前前后后，已经自问了不下于三十次，只要有微信，我就还和世界有联系，肯定活得下去，这是实验开始前我信誓旦旦对周围人说的一句话，但实验真正开始的时候，我就开始了担心，实验准备工作我先是把腾讯系app全部载到了手机里，给自己设下规定，实验期间只用这些app，其他一律不闻不问...。
是这样的，前段时间有个在腾讯工作了5年，百度工作了2年，阿里巴巴工作了4年的保安小哥，打算跳槽，询问猎头应该开多少薪资，结果一下子就火了，紧接着引发了网友的关注，有的调侃称这个小哥应该开5000，6000左右的薪资，也有网友开始各种模仿，反正基本上评论区都炸开了锅，接下来文非君带各位看看那些网友的神评吧，比如下面这么网友的神评，阿里寻...。
目前我国幼儿园在市场的比例逐渐增加，但对于0，3岁婴幼儿的教育却少之又少，很多家庭无暇照看幼儿，或不知如何教育尚未懂事的孩子，因此，托育的重要性显现了出来，可托育早教机构在市面上还是渺小的存在，很多地方甚至没有托育早教机构，随着政策的开展，越来越重视对早期儿童的教育，开始大力支持托育行业，2021年7月，发布的，十四五，积极应对人口...。
发表在联想投影仪2024，10，1009，41联想LK205是最新上市的投影仪，价格在千元内，内置有智能系统，具体联想LK205投影仪怎么样呢，下面就分享联想LK205投影仪的详细参数配置，看看各方面有什么优缺点，是否可以符合家用需求，联想LK205投影仪怎么样，1.光学参数在亮度方面，联想LK205的亮度为800流明，实际亮度表现一...。
发表在综合交流大区2023，12，1115，25如今投影仪成为不少家庭的选择，不过很多人对投影仪的画面清晰度有所顾虑，不过画面清晰的投影仪还是不少，不过想要选择高清投影仪还是需要一定高度技巧，下面就分享投影仪的清晰度和什么有关的详细内容，看看什么样的投影仪画面清晰，值得用户入手，一、投影仪的清晰度和什么有关1.标准分辨率投影仪分辨率通...。
1、加盟咨询，加盟商可以通过广告、网络、官网、电话等方式获悉品牌的联系方式和一些基本的资料，分析下是否适合自己加盟，2、实地调查，到和府捞面总部考察了解、项目介绍、培训基地考察、咨询答疑，3、加盟申请，填写加盟申请表，和府捞面对创业者提供的资料进行审核，确认创业者的经营资格，4、签订协议，双方确认考察结果无异议，正式签定协议，5、店面...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
雪铁龙旗下顶级品牌DS系列的，DS3，这张图是，2011款DS3，Racing，但没有在国际上市，国际间接上市了2012款硬顶版和2013款敞篷版，指点价19.98，27.98万雪铁龙DS3报价雪铁龙DS3的报价如下，关于1.6L排量的车型，其中性能为2012款的尊享智能版，其官网指点价为24.98万元人民币，目前市场上的商家报价区...。
丰田普拉多2.7的百公里平均油耗大概为13.5升，作为一款领有杰出功能的出口ORV，丰田普拉多在油耗方面也有着相对稳固的体现，普拉多是丰田LAND，CRUISER车系中的一款车型，自1996年正式命名为PRADO普拉多以来，它曾经成为了真正意义上的第一代普拉多，这款车型不只承袭了丰田LAND，CRUISER车系的弱小越野功能，还融入了...。
竞技游戏，竞技游戏如何，什么竞技游戏，哪些竞技游戏，怎么竞技游戏
玩家们好呀，我们又见面啦！今天小编要给玩家们带来经典大型的mmo游戏大全推荐！在这里，你可以成为一名勇敢的战士、智慧的法师，或是任何你想要的角色，在这片充满冒险的土地上，与成千上万的玩家一起探索未知，战斗、贸易、建立联盟，喜欢这些游戏的玩家们一起来看看吧！1、，天涯明月刀，玩家不仅可以学习到各式各样的武林绝学，如轻功飞跃千山万水、剑法...。
导读，作为大家电中智能化最高的品类，彩电的市场表现却最糟糕，厂商要想自救，一方面只能结合用户体验，拓宽应用场景，另一方面，完善上下游的布局，才能减少特定环境对其产生的负面影响，4月19日，奥维云网公布的数据显示，一季度国内彩电销量比去年同期下滑0.6%，表现甚至不如疫情时期，从当下的环境来看，疫情对产业环境的后坐力还在继续，包括面板涨...。
凭借犀利吐槽成为国内，第一网红，的papi酱今天下午再度刷屏，原因并非又有最新视频出炉，而是由于她的节目出事了，新浪科技报道，广电总局今天发布消息，要求papi酱系列视频下架整改，原因是接到群众举报并经专家评审，确认该节目当中存在粗口内容，按照广电总局的要求，papi酱视频在去除粗口内容后才能重新上架播放，对此，尽管papi酱运营公司...。
昨天，高通在旧金山召开了年度人工智能日，AIDay，大会，在本次会议上，该公司揭开了三款芯片的神秘面纱，而这三款芯片可以用于智能手机、平板电脑以及其他移动设备，然而，这些芯片只是开胃菜，重头戏是一款专为边缘计算设计的新产品——QualcommCloudAI100，产品管理高级副总裁KeithKressin说，，我们设计这个全新的信号处...。
海洋与文明，的封面印着一句话，大意是，如果对这句话稍作修改也同样适用于眼下的新能源汽车市场，乃至是智能汽车市场——尽管这些新物种的发展紧紧围绕一二线城市，但中国绝大多数居民与土地都属于下沉市场的范畴，资料显示，在中国34个省级行政区中，一线城市、新一线城市、二线城市的数量大概有50个，行政面积仅占全国总面积5.36%，剩余近95%的...。
