效率提高1000倍 Deepmind语音生成模型WaveNet正式商用 (效率提高10%)

雷锋网消息:2017年10月4日,Deepmind发表博客称,其一年前提出的生成原始音频波形的深层神经网络模型WaveNet已正式商用于Google Assistant中,该模型比起一年前的原始模型效率提高1000倍,且能比目前的方案更好地模拟自然语音。

以下为Deepmind博客所宣布的详细信息,雷锋网摘编如下

一年之前,我们提出了一种用于生成原始音频波形的深层神经网络模型WaveNet,可以产生比目前技术更好和更逼真的语音。当时,这个模型是一个原型,如果用在消费级产品中的计算量就太大了。

在过去12个月中,我们一直在努力大幅度提高这一模型的速度和质量,而今天,我们自豪地宣布,WaveNet的更新版本已被集成到Google Assistant中,用于生成各平台上的所有英语和日语语音。

新的WaveNet模型可以为Google Assistant提供一系列更自然的声音。

为了理解WaveNet如何提升语音生成,我们需要先了解当前文本到语音(Text-to-Speech,

TTS)或语音合成系统的工作原理。

目前的主流做法是基于所谓的拼接TTS,它使用由单个配音演员的高质量录音大数据库,通常有数个小时的数据。这些录音被分割成小块,然后可以将其进行组合以形成完整的话语。然而,这一做法可能导致声音在连接时不自然,并且也难以修改,因为每当需要一整套的改变(例如新的情绪或语调)时需要用到全新的数据库。

另一方案是使用参数TTS,该方案不需要利用诸如语法、嘴型移动的规则和参数来指导计算机生成语音并进行语音拼接。这种方法即便宜又快捷,但这种方法生成的语音不是那么自然。

WaveNet采取完全不同的方法。在原始论文中,我们描述了一个深层的生成模型,可以以每秒处理16000个样本、每次处理一个样本党的方式构建单个波形,实现各个声音之间的无缝转换。

语音生成模型Net正式商用:效率提高1000倍

WaveNet使用卷积神经网络构建,在大量语音样本数据集上进行了训练。在训练阶段,网络确定了语音的底层结构,比如哪些音调相互依存,什么样的波形是真实的以及哪些波形是不自然的。训练好的网络每次合成一个样本,每个生成的样本都考虑前一个样本的属性,所产生的声音包含自然语调和如嘴唇形态等参数。它的“口音”取决于它接受训练时的声音口音,而且可以从混合数据集中创建任何独特声音。与TTS系统一样,WaveNet使用文本输入来告诉它应该产生哪些字以响应查询。

原始模型以建立高保真声音为目的,需要大量的计算。这意味着WaveNet在理论上可以做到完美模拟,但难以用于现实商用。在过去12个月里,我们团队一直在努力开发一种能够更快地生成声波的新模型。该模型适合大规模部署,并且是第一个在Google最新的TPU云基础设施上应用的产品。

语音生成模型Net正式商用:效率提高1000倍

(新的模型一秒钟能生成20秒的音频信号,比原始方法快1000倍)

WaveNet团队目前正在准备一份能详细介绍新模型背后研究的论文,但我们认为,结果自己会说话。改进版的WaveNet模型仍然生成原始波形,但速度比原始模型快1000倍,每创建一秒钟的语音只需要50毫秒。该模型不仅仅速度更快,而且保真度更高,每秒可以产生24,000个采样波形,同时我们还将每个样本的分辨率从8bit增加到16bit,与光盘中使用的分辨率相同。

这些改进使得新模型在人类听众的测试中显得发声更为自然。新的模型生成的第一组美式英语语音得到的平均意见得分(MOS)为4.347(满分5分),而真实人类语音的评分只有4.667。

语音生成模型Net正式商用:效率提高1000倍

新模式还保留了原始WaveNet的灵活性,使我们能够在训练阶段更好地利用大量数据。具体来说,我们可以使用来自多个语音的数据来训练网络。这可以用于生成高质量和具有细节层次的声音,即使在所需输出语音中几乎没有训练数据可用。

我们相信对于WaveNet来说这只是个开始。我们为所有世界语言的语音界面所能展开的无限可能而兴奋不已。

原创文章,未经授权禁止转载。详情见 转载须知 。

语音生成模型Net正式商用:效率提高1000倍

全局中部横幅
健康

hao123网址导航健康频道,提供医疗健康,保健养生,健康社区,网上药店,医学行业等相关的权威网站。

麦麦通

专为无货源卖家开发的上货/采购/售后等全流程自动化工具,软件支持目前常见电商平台,使用门槛低,操作人性化,全程自动化运行,并将为每家店铺接入国际化高智能AI客服。

宁波市房产交易信息服务网

宁波市房产交易信息服务网是集房源信息搜索、产品研发、大数据处理、服务标准建立为一体的以数据驱动的全价值链房产服务平台。宁波市房产交易信息服务网的前身为中国宁波住宅和房地产网。

天津康博轻钢制造有限公司,康博轻钢制造,高频焊接H型钢

天津康博轻钢制造有限公司是一家主营钢材及钢材加工的企业,主要经营生产高频焊接H型钢等钢材业务。公司经过多年的稳步发展,规模不断扩大,现可为全国各地用户配送相关钢材产品。我司货源充足,交货周期快,常年备有数万吨各类钢材现货库存,能稳健快捷地满足客户相关需求。

400电话代理

江西尚通科技发展有限公司面向全国400电话代理业务招商合作,从组建400电话销售团队到市场开发,全程保姆式扶持,业务快速发展,400电话加盟热线:400-999-5555

标牌

温州高巨标牌有限公司主要产品:标牌铭牌,各种材质LOGO标志定制、电镀铜镍分体标、鸳片金属LOGO、PET电镀金属分体LOGO、车标车贴、彩色感压水晶分体标(万能贴)等各类标牌铭牌。

粉末冶金齿轮

东莞市正朗精密金属零件有限公司是专业从事粉末冶金加工,行星齿轮减速箱,高精密粉末冶金零件生产的粉末冶金厂家;提供小模数精密粉末冶金齿轮,粉末冶金零件加工,不锈钢锁件的粉末冶金厂家。

脱发补发

【官网】极客侠专业解决严重脱发掉发问题,独家植入式增发补发技术、专业无痕补发技术,完美解决严重脱发问题,极客侠补发17年织发补发经验,累积众多客户,深受用户信赖。

郑州兽药公司

在郑州兽药公司和河南禽药畜药厂家中,郑州鑫世农长期致力于安卡拉病毒、滑液囊支原体病、腺胃炎、大肠杆菌病、呼吸道病等鸡病猪病特效中药的研制与销售,其精心研制的鸡药、猪药,如抗病毒类、抗寄生虫类、鼻炎呼吸道类、消毒类、营养保健类、肠道类及微生态制剂中药类等禽药畜药,绿色环保,价格实惠,包退包换,获得绿色养殖户的一致好评,是国内知名禽药、畜药研发生产厂家。

郑州朵朵科技商城搭建

郑州朵朵科技专注商城搭建_软件开发_小程序制作_系统网站开发_app开发的专业公司

高峰小筑

高峰小筑,记录网站建设技术中的点点滴滴,献给所有志同道合的朋友!

全局底部横幅