思必驰俞凯 端到端与半监督语音识别的技术进展 (思必驰俞凯个人简介)
雷锋网按：如何低成本高效率地利用少量带标注的数据，挖掘大量语音数据中的有效信息，半监督学习正成为当下研究趋势之一。在这种趋势背景下，端到端的训练方法也正尝试结合预训练或先验知识，投入在语音识别网络的探索中。
在8月8日的ccf-GAIR 2020全球人工智能与机器人大会·前沿语音技术专场上，俞凯教授分享了端到端和半监督学习技术在语音识别问题中的最新研究思路及进展。
俞教授指出，在深度学习发展以来，语音识别研究领域现在所面临的问题，除了在工程技巧和数据对接上做一些工作之外，最重要的事情是长尾的非配合语音识别。
其中，具备高效率的高精度系统和高质量的精准大数据构建是两个比较重要的进展和趋势。
一是具备高效率的高精度系统。高精度语音识别在前几年已经超过人的识别，但是高精度语音识别在长尾上仍有很多工作值得研究。很重要的一点是，现在大家的关注点由一般意义的高精度语音识别变成高效率的语音识别。如何在保持高精度的同时，还要保证系统构建和复杂度、响应速度、规模化能力和灵活性都必须同等提高，这是目前端到端语音识别引起很大兴趣的原因。
二是高质量精准大数据。大数据很有用，但有了大数据，精度就能提高吗？其实并非如此，越来越多的人发现真正的大数据应该是结构上的大，而不仅仅是数量上的大，也就是要在声学因素的分布、监督信号获取和识别系统适配方面，有高质量的精准数据。于是，也就出现了很多半监督、生成式的数据扩充方法。
何为端到端，以及为什么需要端到端？
在俞教授看来，传统的识别框架是结构不同的模型模块组成，称之为异构识别系统。首先，它本质上不是统一的参数化模型，中间需要WFST解码器，对各个模块分别建模训练；其次，声学、语言、字典等模型的类型和结构本质上完全不同，且解码器是不可缺少的连接模块信息的核心，需要构建复杂的搜索网络。
端到端识别框架不同之处在于，在大数据的背景下，能通过完整神经网络实现声学信号到识别结果的直接映射，各个组成部分是“同构”的。今天报告中谈到的端到端更多指的是，直接或简单转换后输出结果是“词序列”。
从优势上讲，端到端能够降低复杂度，减少参数量（不是声学上的减少，有神经网络语言模型的参数来描述语言空间），从而使得训练的流水线得以简化。其次，大数据资源的使用更为简单，数据驱动更为友好；此外，搜索解码速度加快，但是否真的需要构建搜索网络，俞教授指出，这项研究目前存在争议。
端到端的定义与分类
端到端主要分为两类，一类是同步框架，另一类是异步框架，主要解决语音识别的两个基本问题：分类与对齐。解决“对齐”问题通常采用的思路包括：马尔可夫模型（HMM）、标签填充、序列解码网络等方法。其中，后两种是端到端中比较常用的方法。
同步端到端框架采用的是，与输入同步逐帧输出，通过引入blank标签实现变长序列对齐；异步端到端框架采用的是，输入与输出使用两个网络分别处理，使用attention（注意力机制）解决对齐问题。
同步端到端框架最典型的就是CTC和RNN-T：前者通过引入相应的标签填充，同时在条件独立性假设上，每一帧输出之间条件独立，而后者没有条件独立性的假设。
随后，俞教授详细讨论了异步端到端存在的研究价值和争议。
俞教授表示，异步端到端最大的特点是输出与输入没有统一的时钟，是两个不同的网络。
在encoder-decoder架构上，encoder对整体输入序列提取所有信息，然后根据输出的要求再进行输出，时钟和输出标签是逐词进行的。这时，会通过attention的方式处理对齐。一般情况下，输出序列的个数会远远小于时间帧的个数，这种情况下，输出序列信息速率会远低于输入信息速率，beam搜索效率会变得很高。
不少研究指出，异步端到端的识别精度会优于同步端到端模型（上文讲到的CTC 、RNN-T），但这目前也是存在争议的。
端到端的问题与挑战
即便端到端存在一定优势，但问题在于，类似于encoder-decoder这样的架构，实时响应迟延可能会变长；同时，端到端的提出主要是在声学数据上的训练，对语言数据使用的讨论不够充分，直到最近才有一些新的工作。那么，端到端具体会有怎样的挑战？
这种情况下双向的神经网络无法使用，只能用单向网络，这就造成输入的信息变少。这时，如果通过注意力机制进行在线化解码，从而得到即时的、短迟延识别结果，就会变得非常有挑战性。
为此，俞教授指出，当下解决端到端的在线解码迟延问题，已有的思路主要有三类：一是固定短时窗口预测（Neural Transducer）；二是基于单帧触发的变长窗口方法（MoChA，Triggered Attention）；三是基于多帧累计触发阈值的方法（Adaptive Computing Steps）。其本质都是只用历史信息或非常小的前探信息。
再回来上文所提到的，早期的端到端模型是融合声学语料文本的超大声学模型，它并不包括语言模型，那么海量的文本数据如何使用？
当前端到端框架下的文本数据使用的解题思路主要有三种：一是模型融合（Fusion）——将文本数据训练的神经网络LM，在decoder输出层进行插值融合； 二是语言模型模块嵌入——将端到端系统的部分网络作为LM建模，允许额外文本数据训练更新； 三是半监督训练——利用文本数据做端到端模型训练的数据扩充（无显示的语言空间建模）。
从海量数据到高质量精准大数据
想要从海量数据中提取到高质量、精准的大数据，最大的挑战在于没有监督信号、标注起来也很难。解决该问题主要会运用到三个思想：一是自监督预训练，二是半监督训练，三是使用生成数据训练。
首先是自监督预训练，这种思路下数据自身就是标注，不需要额外标注，这与自然语言处理使用词序列作为标注，设计一些训练任务使得能够提取比较好的预训练特征是比较一致的方法。比较典型的是wav2vec或结合了预训练模型BERT的方法，以及重构任务DecoAR。
其次是半监督训练，可以是海量无标注音频或海量文本加适量有标注音频的方式。大体思路也有三种：置信度选择、先验知识蒸馏、音频文本一致性训练。
在报告最后，俞教授还表达了对精准的环境数据扩充及语音合成研究方向的看好。对于语音合成，俞教授认为合成语音数据的难点在于，不同于语音识别，语音合成是一个信息增加的过程，这个过程需要解决的问题会更为复杂，往往这种“无中生有”的过程基本上是通过引入生成模型进行解决。比方说，在低资源数据下使用VAE建模说话人空间，或者不使用句子级的VAE，而是通过逐个phone的音频提取隐变量序列z。这些都是当下比较主流的解决问题的思路。
（雷锋网雷锋网）
原创文章，未经授权禁止转载。详情见 转载须知 。
搜图导航精选及整理国内外优秀的设计行业网站,并且提供一站式快速搜索图像服务支持全网正版图片搜索。拥有以图搜图、智能配色、字体生成、个性定制等功能。给你带来更好的搜图体验,并且收录了十几类设计相关网站包括高清图库、灵感创意、素材资源、教程文章、设计工具、绘画涂鸦、建模贴图、设计社区、字体下载、图标下载等网站。
河北曲阳石雕加工厂家，石材雕刻厂生产各种石雕人物雕塑、广场园林小品石雕，有15年加工经验厂家直销质量保证,团队开发经验丰富,欢迎新老客户来电咨询洽谈图片和报价！
杭州五泗科技有限公司
公装网专业办公室装修,酒店装修,厂房办公楼装修,工装装修公司排名,提供写字楼装修,展厅装修,饭店装修,会所设计及餐饮店铺装修,公装设计首选装饰联盟工装网站★★★
青友园艺是杭州市盆栽观叶植物行业协会理事单位，青友园艺专业提供绿植租赁、植物租赁、绿植租摆、绿化养护、办公室绿植、植物出租服务，包括发财树，绿萝盆栽等。销售名贵花卉，蝴蝶兰盆栽、庆典花篮、商务鲜花服务。办公室绿植租赁哪家好？就选青友园艺
易木科技致力于提供供应链教育的解决方案,帮助校企进行供应链模式的讲授,通过沙盘模拟系统体验供应链各流程的衔接,让学员轻松但清晰的学到供应链思维
云梦泽是一个专注于知识付费资源的平台，提供丰富的免费知识付费项目，包括SEO优化、抖音运营、小红书运营、快手运营等热门课程。我们致力于为自媒体人提供优质的学习资源和项目分享，帮助您在自媒体领域取得成功。在这里，您可以找到各种项目拆解、教程和资源，轻松实现兼职和赚钱的目标。 在云梦泽，您将获得优质的闲鱼电商和pdd助力货源，让您轻松开展电商业务。我们还提供丰富的知识付费项目，如项目分享、项目拆解等，让您在短时间内掌握关键技能。在这里，您将结交更多志同道合的朋友，共同成长和进步。 让我们一起加入云梦泽，开启您的知识付费之旅吧！
电脑故障
本公司生产的多路阀，集美、德、日、意大利等国产品之长，形成了多品种、系列化。产品包括：DL8通径至DL20通径系列片式多路换向阀，FDL20型整体式多路换向阀，GD6通径至GD20通径隔爆电磁、电液换压阀，wy1.3、wy3.5、wy7.5、wy12.5挖掘机中央回转接头等矿山、煤矿、石油、化工、工程机械配套的各种液压阀。
商务信用服务平台是由商务部信用办指导、50余家国家级商协会与APEC等国际组织指定,由中国国际电子商务中心（CIECC）建设的集认证、发布、查询和监督功能于一体的企业信用信息公共服务平台。
裕恒科技[dabaocheng.com]专业研发生产包装机、粉末包装机、颗粒包装机、全自动包装机、包装生产线定制、沙子包装机等，咨询电话:13903862276
温州中伟石化设备制造有限公司是专业的不锈钢蓝式过滤器,定制蓝式过滤器,直通平底过滤器,非稳态阻火器,定制阻火器供应商，主营产品有：不锈钢蓝式过滤器,定制蓝式过滤器,直通平底过滤器,非稳态阻火器,定制阻火器等,温州中伟石化设备制造有限公司不仅具有专业的技术水平，更有良好的售后服务和优质的解决方案,欢迎来电洽谈
为了满足很多年轻客群的入住要求，生活的喜爱，很多酒店中装修就以豪华的装修，别致的设计，先进的硬件设备，受到了很多年轻商旅人士的青睐，市面上的酒店规格也在不断的提升，酒店偏向于奢华的装修，但是却受到很多年轻人的光顾，市场前景一片大好，喆啡酒店就是一个商旅酒店品牌，市场认可度高，入住一线大城市中，很多创业者想要了解，喆啡酒店加盟需要什么条...。
2021年5月27日，IDC发布了第一季度全球可穿戴设备报告，报告显示，2021Q1可穿戴设备共出货1.046亿部，这也是第一季度全球可穿戴设备出货量首次突破1亿台，虽然总出货量呈现上升趋势，但推动增长的主力选手并非苹果、三星之类的大公司，而是规模较小的企业，比如BoAt、Oura等，一个有趣的现象是，像苹果这样的实力选手，即便出货量...。
所谓的餐饮加盟，就是该企业组织，或者说餐饮加盟连锁总公司与餐饮加盟店二者之间的持续契约的关系，根据契约，总公司必须提供一项独特的商业特权，并加上人员培训、组织结构、经营管理及商品供销的协助；而餐饮加盟店也需付出相对的报偿；它是一种经济而简便的经商之道，经由一种商品或服务以及行销方法，以小的危险和大的机会获得成功，...。
更小，更强大的树莓派来了！1月21日，树莓派基金会，RaspberryPiFoundation，官网博客发布了最新一款微控制器开发板，RaspBerryPiPico，与其他树莓派相比，RaspBerryPiPico体积更小，但功能更强大，足以用于机器学习项目，博客中解释说，更重要的是，RaspBerryPiPico采用的是首款自研芯片...。
在医疗AI行业，一个优秀的创业者，应该具备怎样的特质，毕业于名校、掌握通用人工智能技术已经成为医疗AI领域创业者的，标配，这些专业过硬的创业者们，更加注重技术的创新；反之，他们在诸如行业经验、临床落地、市场、销售等方面，也可能面临有短板的问题，因此，在智能时代的创业浪潮中，有了这么一种现象——懂技术的科学家身边必定站着懂业务的职业经...。
当前的视觉识别系统都依赖人类用户明确指代目标物体或预先设定识别类别，进而进行识别，它们仍然只能处理简单明确的指令，如，橙子，，而无法解析相对隐式和复杂的指令，如在下图中指出，维生素C含量高的食物，而真正的智能感知系统应该根据用户指令推理其真实意图，例如，在指示机器人时，人们往往倾向于直接给一个指令，我想要看电视，，而不是分几个步...。
在宣布第十万台小米SU7正式下线的消息之后，小米给出了史上最强季度报，报告期内，小米集团总营收人民币925亿元，同比增长30.5%；经调整净利润人民币63亿元，小米，⼿机×AIoT，业务收⼊同⽐增⻓16.8%，达⼈⺠币828亿元；互联网业务收入创历史新高，达人民币85亿元，包括小米汽车在内的，智能电动汽车等创新业务，分部收入97亿元，...。
发表在其它家用投影仪品牌2024，11，409，14优迈A2是一款配备一体式云台支架的家用投影仪新品，价格在千元内容，具体优迈A2的画质和性能配置如何呢，下面就来全方面了解一下，看看优迈A2投影仪怎么样，各方面的优缺点有哪些，优迈A2投影仪怎么样，1.光学参数在亮度方面，优迈A2的实际亮度约为230CVIA流明，整体亮度不高，对使用环...。
每经记者许立波近年来，CAR，T细胞疗法在肿瘤治疗畛域的运行取得了渺小成功，已成为抗击多种恶性肿瘤的弱小武器，仅在国际就有多达六款CAR，T产品获批上市，而在肿瘤之外，越来越多的钻研标明，CAR，T细胞疗法在自身免疫性疾病畛域也显示出后劲，往年3月，浙江大学医学院隶属儿童医院，以下简称浙大儿院，展开国际首例运行自体CD19靶向CAR，...。
2023年11月1日购置了小米公司14pro.手机产品，经常使用仅半年，2024年7月6日上午突然不可开机经常使用，至今不能开机，对生存上班形成严重影响，关键数据都在手机里，至今未能修双数据！这种残次品不可保证反经常常使用！试想一个随时或者死机的手机和一个捣毁生存的不定时炸弹有什么区别，要求退款！！客服相互推诿，只说要培修且培修无期限...。
澎湃资讯综合报道7月3日早上9时许才发表提档至7月10日上映的电影，野孩子，，早晨10点突然颁布撤档信息，称因前期进展要素，将敞开7月10日的公映布置，相关信息也随后冲上热搜，7月3日早上9时许，该片正式开启预售，据灯塔专业版，截至7月3日22时31分，，野孩子，的预售票房已达550万，映前媒体预测总票房为3.5亿，5亿，影片由，我的...。
受降雨及干主流来水影响，7月1日23时40分，长江中游支流汉口水文站水位涨至27.31米，超警戒水位0.01米，至此长江中下游支流洞庭湖入江口以下全线超警戒，据预告，长江中下游支流水位仍将继续下跌，7月5日后长江中下游干主流及两湖水位将逐渐回落，最长超警历时15天左右，7月15日前后将全线退至警戒水位以下，自长江中下游地域进入梅雨季以...。
恰逢金三银四，各大厂商都紧锣密鼓地筹划新机发布，在华为P40上市后，荣耀30系列携诸多卖点而来，从配色到影像，再到基础功能点，都为行业带来思考，为用户带来惊喜，势头较P40有过之而无不及，4月14日，荣耀官微晒出了一条功能视频，视频中可以看到，两个人看似面对面交流，但随着镜头拉远，发现两人其实分居大厅两侧，视频还配文称，靠近的像特写，...。
汤粉呈灰色细长条状、久煮不糊、口感滑爽，晶莹剔透，与粉丝相似，以优质红薯为原料，经先进的封闭式流水线生产工艺和严格的品质管理精制而成，无任何添加剂，具有条细透明、柔韧明亮，爽滑耐煮，营养丰富等特点，为绿色天然食品！是一种大众餐桌上的四季皆宜的必备佳品，...。
学校没收学生手机后，手机去向不明，是否已被分配给他人使用，或者已经转售，在手机被没收时，教师通常会说明取回手机的时间，比如一个月后或学期末，且并未赋予权利进行销毁或不予归还，此行为不可取，建议报警处理，如果手机未被归还，且为个人行为，教育局可能认为员工缺乏道德，可对相关人员进行谴责、解雇，或不予追究，但教育局并无责任追回物品，若情况属...。
目前市场上不错的创业项目，其竞争者多，竞争压力大，起步阶段较为艰难，因此，许多智慧之选者想要寻找具有潜力，发展前景合格的创业项目，从而抢先占据市场，在未来获得更好的发展，那么，具有潜力的创业项目有哪些，具有智慧之选潜力的行业是什么，具有潜力的创业项目1男士化妆品店在不少人的认知中，认为化妆品只是女性的专属用品，殊不知，男士专用的护肤品...。
原曲，爱情买卖，曲填词，明流清醇小菊花演唱，明流清醇小菊花带鱼进城来，为了做买卖，没有铜钱穿上窗帘，眼泪掉下来遇见一老太，是卖女孩的老火柴带鱼投入她的门下决心做红牌丽春院里好气派，人人把铜钱戴像舒克贝塔的小正太，眼似刀片裁青楼不是你想来，想来就能来有榨干金钱吸干精血的黑山老妖怪，RAP，带鱼进城来为了做买卖看到蜡笔小新和梳黑人头的正...。
