思必驰俞凯 端到端与半监督语音识别的技术进展 (思必驰俞凯个人简介)
雷锋网按：如何低成本高效率地利用少量带标注的数据，挖掘大量语音数据中的有效信息，半监督学习正成为当下研究趋势之一。在这种趋势背景下，端到端的训练方法也正尝试结合预训练或先验知识，投入在语音识别网络的探索中。
在8月8日的CCF-GAIR 2020全球人工智能与机器人大会·前沿语音技术专场上，俞凯教授分享了端到端和半监督学习技术在语音识别问题中的最新研究思路及进展。
俞教授指出，在深度学习发展以来，语音识别研究领域现在所面临的问题，除了在工程技巧和数据对接上做一些工作之外，最重要的事情是长尾的非配合语音识别。
其中，具备高效率的高精度系统和高质量的精准大数据构建是两个比较重要的进展和趋势。
一是具备高效率的高精度系统。高精度语音识别在前几年已经超过人的识别，但是高精度语音识别在长尾上仍有很多工作值得研究。很重要的一点是，现在大家的关注点由一般意义的高精度语音识别变成高效率的语音识别。如何在保持高精度的同时，还要保证系统构建和复杂度、响应速度、规模化能力和灵活性都必须同等提高，这是目前端到端语音识别引起很大兴趣的原因。
二是高质量精准大数据。大数据很有用，但有了大数据，精度就能提高吗？其实并非如此，越来越多的人发现真正的大数据应该是结构上的大，而不仅仅是数量上的大，也就是要在声学因素的分布、监督信号获取和识别系统适配方面，有高质量的精准数据。于是，也就出现了很多半监督、生成式的数据扩充方法。
何为端到端，以及为什么需要端到端？
在俞教授看来，传统的识别框架是结构不同的模型模块组成，称之为异构识别系统。首先，它本质上不是统一的参数化模型，中间需要WFST解码器，对各个模块分别建模训练；其次，声学、语言、字典等模型的类型和结构本质上完全不同，且解码器是不可缺少的连接模块信息的核心，需要构建复杂的搜索网络。
端到端识别框架不同之处在于，在大数据的背景下，能通过完整神经网络实现声学信号到识别结果的直接映射，各个组成部分是“同构”的。今天报告中谈到的端到端更多指的是，直接或简单转换后输出结果是“词序列”。
从优势上讲，端到端能够降低复杂度，减少参数量（不是声学上的减少，有神经网络语言模型的参数来描述语言空间），从而使得训练的流水线得以简化。其次，大数据资源的使用更为简单，数据驱动更为友好；此外，搜索解码速度加快，但是否真的需要构建搜索网络，俞教授指出，这项研究目前存在争议。
端到端的定义与分类
端到端主要分为两类，一类是同步框架，另一类是异步框架，主要解决语音识别的两个基本问题：分类与对齐。解决“对齐”问题通常采用的思路包括：马尔可夫模型（HMM）、标签填充、序列解码网络等方法。其中，后两种是端到端中比较常用的方法。
同步端到端框架采用的是，与输入同步逐帧输出，通过引入blank标签实现变长序列对齐；异步端到端框架采用的是，输入与输出使用两个网络分别处理，使用attention（注意力机制）解决对齐问题。
同步端到端框架最典型的就是CTC和RNN-T：前者通过引入相应的标签填充，同时在条件独立性假设上，每一帧输出之间条件独立，而后者没有条件独立性的假设。
随后，俞教授详细讨论了异步端到端存在的研究价值和争议。
俞教授表示，异步端到端最大的特点是输出与输入没有统一的时钟，是两个不同的网络。
在encoder-decoder架构上，encoder对整体输入序列提取所有信息，然后根据输出的要求再进行输出，时钟和输出标签是逐词进行的。这时，会通过attention的方式处理对齐。一般情况下，输出序列的个数会远远小于时间帧的个数，这种情况下，输出序列信息速率会远低于输入信息速率，beam搜索效率会变得很高。
不少研究指出，异步端到端的识别精度会优于同步端到端模型（上文讲到的CTC 、RNN-T），但这目前也是存在争议的。
端到端的问题与挑战
即便端到端存在一定优势，但问题在于，类似于encoder-decoder这样的架构，实时响应迟延可能会变长；同时，端到端的提出主要是在声学数据上的训练，对语言数据使用的讨论不够充分，直到最近才有一些新的工作。那么，端到端具体会有怎样的挑战？
这种情况下双向的神经网络无法使用，只能用单向网络，这就造成输入的信息变少。这时，如果通过注意力机制进行在线化解码，从而得到即时的、短迟延识别结果，就会变得非常有挑战性。
为此，俞教授指出，当下解决端到端的在线解码迟延问题，已有的思路主要有三类：一是固定短时窗口预测（Neural Transducer）；二是基于单帧触发的变长窗口方法（MoChA，Triggered Attention）；三是基于多帧累计触发阈值的方法（AdaptIve Computing Steps）。其本质都是只用历史信息或非常小的前探信息。
再回来上文所提到的，早期的端到端模型是融合声学语料文本的超大声学模型，它并不包括语言模型，那么海量的文本数据如何使用？
当前端到端框架下的文本数据使用的解题思路主要有三种：一是模型融合（Fusion）——将文本数据训练的神经网络LM，在decoder输出层进行插值融合； 二是语言模型模块嵌入——将端到端系统的部分网络作为LM建模，允许额外文本数据训练更新； 三是半监督训练——利用文本数据做端到端模型训练的数据扩充（无显示的语言空间建模）。
从海量数据到高质量精准大数据
想要从海量数据中提取到高质量、精准的大数据，最大的挑战在于没有监督信号、标注起来也很难。解决该问题主要会运用到三个思想：一是自监督预训练，二是半监督训练，三是使用生成数据训练。
首先是自监督预训练，这种思路下数据自身就是标注，不需要额外标注，这与自然语言处理使用词序列作为标注，设计一些训练任务使得能够提取比较好的预训练特征是比较一致的方法。比较典型的是wav2vec或结合了预训练模型BERT的方法，以及重构任务DecoAR。
其次是半监督训练，可以是海量无标注音频或海量文本加适量有标注音频的方式。大体思路也有三种：置信度选择、先验知识蒸馏、音频文本一致性训练。
在报告最后，俞教授还表达了对精准的环境数据扩充及语音合成研究方向的看好。对于语音合成，俞教授认为合成语音数据的难点在于，不同于语音识别，语音合成是一个信息增加的过程，这个过程需要解决的问题会更为复杂，往往这种“无中生有”的过程基本上是通过引入生成模型进行解决。比方说，在低资源数据下使用VAE建模说话人空间，或者不使用句子级的VAE，而是通过逐个phone的音频提取隐变量序列z。这些都是当下比较主流的解决问题的思路。
（雷锋网雷锋网）
原创文章，未经授权禁止转载。详情见 转载须知 。
上海鎏铖科技有限公司主要从事防火门,金属门框,矿物门芯,防火纤维水泥板,膨胀密封条,阻燃防潮密度板等产品销售,帮助了众多客户通过了国内国际防火测试.产品质量优异,防火性能好,价格合理,产品型号规格全,厂家直发,欢迎来电详谈18616658007.
快印客是国内专业二维码应用解决方案服务商,图文快印店加盟行业知名品牌，依托全国广告,印刷,快印,包装企业,在快印店加盟,图文快印连锁加盟,数码快印,人工智能名片,连锁领域具有广泛知名度和影响力的企业。
术业企业信息化全流程综合管理系统是一个专业为化工企业提供企业erp系统,erp管理软件,进销存管理系统服务的管理系统,如您需要企业erp系统,erp管理软件,进销存管理系统等服务，欢迎来电咨询。
【订购热线：150-3181-8882】安平县华良丝网制品有限公司提供各类钢格栅、格栅板、钢格栅板、镀锌钢格板。欢迎广大新老客户前来考察合作。
蓬生电子（pellson）是一家进口品牌接插件的厂家，主要从事家电汽车线束配件、日本压着端子、冷压端子插座、军用防水连接器，工业机械设备、电梯、航空插头、医疗连接器，从事样品零售，包含各类主流品牌连接器、线对线、线对板连接器、固定器插片防水塞密封塞护套等电子元器件，欢迎广大客户前来咨询。
蜂聘网,原360建筑网/360挂靠网,建筑证书人才兼职,找证书人才上蜂聘为您保驾护航.
霸州市智科启达自动化设备制造有限公司主营：全自动桥架成型机,全自动盖板机,冲孔机,全自动电缆桥架设备等桥架成型设备。
趣游网专注于手游App及应用软件下载和攻略分享，覆盖各类热门应用，提供便捷的下载渠道。我们还汇聚了最实用的游戏攻略，助您轻松突破游戏各种难关，享受游戏的乐趣发现更多精彩！
51IDC是中国领先的数据中心服务商,IDC混合云托管平台,致力于为公众和商业领域提供数据中心和云服务,以及高质价优的服务器租用、服务器托管、出海专线、互联网带宽和IT基础架构运维管理服务与解决方案
非开挖技术网
瑞邦晟达科技（北京）有限公司
2017年开始，AI浪潮开始席卷教育行业，AI技术已然渗透了教育的各个场景和环节，图像识别与OCR技术可以帮助纸质教育材料实现数字化、拍照搜题、作业自动批改；语音识别技术可以帮助指出和纠正错误发音，让每个人都有一对一的语言老师；自然语言处理可以用于英语作文批改，中文分级阅读等；人脸识别可以刷脸进入校园，考场，提升校园安全和教务管理效率...。
雷锋网AI科技评论按，随着语音识别ASR的进步，对话机器人从简单的指令式的语音助手，进化到关键词交互方式，人们能够使用较为完整的句子来表达意图，机器人从中截取关键词判断用户意图，现阶段利用NLP、NLU技术，以及机器学习方式，慢慢脱离关键词的束缚，可以更聪明的去理解用户意图以做出正确的回应，再下一步是否能脱离一问一答的回应方式，是否机...。
上个月，由于科大讯飞，AI同传造假，事件，AI同传被推上舆论的风口浪尖，不过，这件事显然并没有影响到AI同传技术的发展，今天，百度正式公布自家的AI同传，在10月19日的百度大脑行业创新论坛上，雷锋网编辑在现场就发现了百度的AI同传，百度AI技术生态部总经理喻友平在演讲时，左右两边的屏幕上实时呈现了中英文字幕，从现场效果来看，语音识别...。
国内首个端到端上车，5月20日，小鹏汽车的AIDAY上，何小鹏宣布端到端大模型上车，即日起面向用户全量推送AI天玑系统，覆盖所有在售车型，在特斯拉FSDV12推送后，国内智驾界就为，端到端，争得沸沸扬扬，而小鹏的此次发布，也如一枚深水炸弹，再次点燃了，端到端，的热度，根据发布，小鹏的端到端大模型由三部分组成，分别是神经网络XNet...。
AI对金融核心业务流程的改造，似乎始终，雷声大雨点小，但在用户的，交互方式，上，AI早就不声不响地，攻下数城，通过生物识别，AI不仅成功地取代银行卡这一物理介质，还替代了密码输入等核对流程，让金融的交易与身份识别更加，无感，；通过语音识别&，NLP，AI直接让客服这一工作，从，人人，交互转变为，人机，交互，随着图像和语料数据...。
苹果正开发，苹果神经引擎，AI处理器据彭博社MarkGurman报道，从知情人士处了解到，苹果正在开发一种专用处理器，可以用于处理人工智能相关的任务，比如在产品中实现面部和语音识别，报道称该芯片在苹果内部被称作，苹果神经引擎，AppleNeuralEngine，苹果计划与标准处理器和图形芯片一同使用这款处理器，以此为其产品增加更先...。
VincentVanhoucke是Google的首席科学家，斯坦福大学电子工程学博士，目前在GoogleBrain主导机器人相关的项目，Vanhoucke主要的研究领域是语音识别、计算机视觉和机器人等领域，他还即将主持机器人领域的盛会CoRL2017，ConferenceonRobotLearning，Vanhoucke认为，机器智...。
研发WiFi连接技术、试图占领上游市场并逐步控制物联网时代话语权，是高通一直以来的布局，2017年2月，高通宣布推出两款支持下一代标准——802.11ax的WiFi解决方案，其中包括面向网络基础设施的IPQ8074系统级芯片，SoC，和面向客户终端的QCA6290，借此，高通成为首家发布支持802.11ax的端到端商用解决方案的公司，...。
雷锋网按，在谷歌I，O2017的最后一日，主场馆海岸线圆形剧场迎来了本届I，O最具重量级的机器学习讲座，由四位分属不同领域的AI女性大牛展开巅峰对话，漫谈AI的过去、现在与将来，四位嘉宾分别是语音识别、计算机视觉、数据可视化和生物计算领域的顶级AI学者与工程师，而本场对话无关技术，纯是几位杰出科学家对各自领域深度学习发展历程的反思，以...。
2023年2月27日，小米在2023年MWC世界移动通信大会，MWC2023，上正式发布小米无线AR眼镜探索版，小米无线AR眼镜探索版是首个无线分布式计算的AR眼镜产品，拥有视网膜级光环境适应显示体验，与手机一碰即连，支持创新微手势交互、完整大屏应用生态以及丰富互联互通场景，吸引了众多现场媒体驻足了解，开启无线时代，端到端延迟低至50...。
联想常程宣布离职12月31日消息，昨日有消息称，联想集团副总裁、ZUKCEO常程已于12月18日离职，跟柳传志退休是同一天，今日早间，常程在微博宣布离职，据了解，常程于2000年加入联想，担任笔记本事业部研发总监，负责联想台式电脑、笔记本电脑和智能手机的研发工作；2011年，任联想集团副总裁兼移动端到端软件平台总经理，转身移动互联业务...。
无论是苹果、谷歌、亚马逊的新品发布会，还是百度、阿里、华为当下追逐的智能产品或生态，始终不缺智能语音的身影，可见，智能语音很热，而且不是一般的热，然而，智能语音在多数应用中，仍难逃鸡肋二字，仍是现实，尽管在语音识别能力方面，各一线，甚至二、三线厂商，已经能够达到95%及以上的精准度，但是，就应用来看，仍以泛娱乐为主，难以切中行业应用的...。
在探讨2024年近视眼加盟领域的品牌时，易视界品牌无疑是一个值得深入了解的选择，以下是对易视界品牌的详细分析，一、品牌概述易视界是一家从事青少年近视防护、弱视训练的全国性眼健康服务机构，自创立以来，易视界始终致力于帮助青少年改善视力问题，并提供全面的眼健康服务，二、品牌优势技术实力，易视界拥有多项高新技术，其中，多功能近视弱视增视仪，...。
放在四五年前，我很难想象5家国内TOP级的经销商会同时竞争小鹏一个授权店的名额，电盒校长回想起2022年，在经销商工作的老友和他聊到一件不同寻常的事，包括利星行、森那美在内的国内5大经销商，同时争夺小鹏汽车上海某一个授权店的名额，有经销商为了拿下该项目，直接派出豪车品牌出身的人担任该项目的销售经理，电盒校长曾在法拉利这样的豪华品牌...。
微软的Cortana并非最流行的个人语音助理，这一头衔属于亚马逊的Alexa，微软的Azure公共云服务同样落后于亚马逊的AWS，鉴于这一现状，在周二于西雅图举办的Build2017大会上，微软高管花了几个小时阐述，他们打算如何对Amazon实现赶超，不过微软CEOSatyaNadella也指出，相比亚马逊，微软仍具备一大优势，它在企...。
继空客、Uber后，丰田也加入了，飞行，自动驾驶汽车的研发大军雷锋网新智驾消息，日前，外媒称丰田方面已计划投入4000万日元在一个名为，Cartivator，的项目中，该项目由丰田内部员工发起，面向飞行汽车技术研究，Cartivator研发的飞行汽车名曰，Skydrive，，被认为是目前世界上最小的飞行电动汽车，车身可容纳一人乘坐，飞...。
3月21日，腾讯正式对外发布，2021年腾讯研发大数据报告，以下简称，报告，，该报告由腾讯技术委员会出品，披露了2021年腾讯在研发投入、研发效能、开源协同和技术公益等方面的重要数据，研发人员数量同比增长41%，持续投入基础技术研发当前，企业已经成为我国科技研发的主力军，2021年我国全社会研发投入达到2.79万亿元，其中76%由...。
