开源首个 Meta AI 闽南话和英语可以直接语音互译！ 语音翻译系统 (开源 mq)
机器翻译是现今人类消除语言障碍、重建巴别塔的新工具。然而，在世界现存的 7000 多种已知语言中，许多低资源语言还未得到足够的关注，尤其是有近一半的语言没有标准的书面系统，这是构建机器翻译工具的一大障碍，所以目前 AI 翻译主要集中在书面语言上。
在利用 AI 推动自然语言翻译这件事上，Meta 一直致力于“No Language Left Behind”（没有一种语言被落下）的目标。
，现在也有了专属的机器翻译系统，讲闽南话的人可以与讲英语的人进行无障碍对话了。
第一个由 AI 驱动的非书面的、语音到语音的翻译系统。 来听听这项工作的负责人、Meta AI 研究员 Peng-Jen Chen 与小扎的对话，Chen 出生于中国台湾。
视频见：
该系统可以将闽南话的语音翻译成英语语音，反之亦可。会讲闽南话的读者可以来检验一下，是不是翻译效果还挺不错？
据了解，这个开源翻译系统是 Meta 的通用语音翻译(UST) 项目的一部分，该项目致力于开发新的人工智能方法，帮助实现所有现存语言的实时语音到语音的翻译。目前，Meta 已经开源了该翻译模型和评估数据集，研究论文如下：
闽南话是汉语方言之一，是一种低资源语言，没有标准的书写系统，人工的英语到闽南话翻译人员也相对很少，所以为模型收集和标注训练数据就变得更加困难。
图注：讲闽南话（Hokkien）的人的数量
为此，来自 Meta AI 的研究团队采用了一种特殊放方案， 利用汉语普通话（属于高资源语言）作为中间语言 来构建伪标签和人工翻译。他们首先将英语（或闽南话）语音翻译成普通话文本，然后再翻译成闽南话（或英语）并将其添加到训练数据中。这种方法通过利用来自类似高资源语言的数据，极大地提高了模型性能。
是训练数据生成的另一种方法。使用预训练的语音编码器，能够将闽南话语音嵌入编码到与其他语言相同的语义空间中，所以闽南话没有书面形式也不造成问题。闽南话语音可以与语义嵌入相似的英语语音和文本对齐，然后从文本中合成英语语音，产生并行的闽南话和英语语音。
图注：无需人类标注的语音翻译模型
许多语音翻译系统都依赖转录或者是语音到文本的系统。但是，闽南话的形式主要是口语，缺乏标准的书面文字系统，无法转录成文本作。所以，Meta 所构建的是一个
研究人员使用语音到单元（speech-to-unit，S2UT）翻译， 将输入语音直接翻译成一系列的声学单元， 这也是 Meta 先前最早开创的一种路径。然后，从这些声学单元中生成 。此外，研究人员还采用了 UnitY 作为双通道解码机制，第一通道解码器生成相关语言（即汉语普通话）的文本，第二通道解码器创建单元。
语音翻译系统的评估工具通常是 ASR-BLEU 指标，该指标首先使用自动语音识别 (ASR) 将翻译后的语音转录为文本，然后将转录文本与人工翻译的文本进行比较，计算 BLEU 分数。
但要评估闽南话的语音翻译系统，难处还是在于它没有标准的书面文字系统。所以，为了实现自动评估，研究人员开发了一个系统，将闽南语语音转录为一种称为 Tâi-lô 的标准化注音符号。这样就能在音节的层面上计算 BLEU 分数，从而比较不同方法的翻译质量。
除了开发这种评估闽-英语音翻译的方法外，研究人员还基于闽南话语料库 Taiwanese Across Taiwan，创建了第一个闽-英双向语音到语音翻译基准数据集。该基准数据集将开源，以方便更多研究人员从事闽南话语音翻译工作。
这项工作所用技术可以进一步扩展到许多其他书面和非书面语言。
为此，Meta 还发布了 SpeechMatrix，它是一个大型的语音到语音翻译语料库，使用了 Meta 的创新数据挖掘技术 LASER， 从欧洲议会录音的真实演讲中挖掘数据。该数据库包含 136 种语言对的语音对齐，共 41.8 万小时的语音。挖掘的数据和模型都是免费的，研究人员可以创建自己的语音到语音翻译 (S2ST) 系统。
图注：LASER 挖掘获得的语音到语音成对数据
Meta 在无监督语音识别 ( wav2vec-U ) 和无监督机器翻译( mBART )方面的研究进展，也为口语翻译工作提供了支持。比如用于预训练语音模型的无监督域自适应技术，提高了下游无监督语音识别的性能，尤其是对于低资源语言，在没有任何人工标注的情况下，可以构建高质量语音到语音翻译模型。
该模型仍在不断推进中，目前一次只能翻译一个完整的句子，但这迈出了未来实现语言间同声传译的一步。
据 Meta AI 的研究员 Peng-Jen Chen 说，这个闽南话翻译系统其实有一部分是出于他的一个私人心愿。他在中国台湾长大，同时会讲普通话，但是他的父亲普通话不好，他希望他的父亲能够用闽南话与每个人都顺畅地交流。这也是 AI 之于人类的意义之一。
版权文章，未经授权禁止转载。详情见 转载须知 。
提供最新的移民政策解读、签证申请指南以及留学资讯，是您可信赖的专业全球移民资讯平台。
高顿教育不仅提供2024年CMA免费备考资料、历年真题、备考经验等相关资源，还提供CMA培训课程与辅导网课等具体服务
维美整形网创办于2008年12月份，专注在线医疗美容整形咨询预约服务，拥有超过20人以上的专业医学美容顾问，与国内多家整形医院签约合作，打造为医院、医生及求美者服务的网上医疗美容综合信息服务平台。
艺淘教育优课网汇集了众多杰出的教育机构，是一个优秀的代理招生平台。成千上万的人在这里找到了适合自己的教育和培训课程。此外，艺淘搜课网还提供学校招生信息发布服务和在线招生技巧的分享。涵盖领域包括计算机、英语、财务会计、技能培训、出国留学、管理以及学历提升等，拥有数十万条最新的培训课程信息。
中国银联将发挥银行卡清算机构优势，升级开放合作能力，联合境内外的商业银行、商户和产业各方，共同为持卡人和移动支付用户等提供优质高效的支付服务。
济南鑫德石通精密机械有限公司专业从事花岗石精密量具及机械构件的集研制、开发、生产、销售于一体气浮导轨厂家。主要产品包括：花岗石气浮导轨、陶瓷气浮导轨、气浮导轨厂家、气浮导轨、气浮平台以及精密仪器设备的机械构件如：气浮平台、导规等。并可完成工作台上的钻孔、开槽、镶嵌金属件等异型加工。
都市聚焦网，一个以地方新闻，每日焦点，财经关注，法制视点，文化教育等等为出发点的新闻平台
任福顺烧鸡,任福顺酱香牛腱,任福顺虎皮凤爪,任福顺香卤猪蹄
LASIKA品牌成立于1999年（拉斯卡电子厂），是一家集开发、设计、生产、销售电子表、多功能防水表、双显表、石英表等各种新潮款式的专业厂家，拥有自建标准厂房20,000平方米。
世界腐蚀组织（WorldCorrosionOrganization,WCO）成立于2006年，是隶属于联合国公共信息部的非政府组织。WCO的官网是http://corrosion.org/。这里是WCO中文官网http://www.corrosion.org.cn/，也是WCO中国办公室官网。WCO的使命：推动和促进腐蚀控制的教育和实践，为取得社会效益与经济效益、节约资源、保护环境做贡献。
麦米网为用户收集白菜线报及促销活动,每日超值品牌特卖低1折,半折秒杀,,聚划算秒杀,大额内部券等百万优惠券等你来拿！
电玩城加盟,电玩城设备,电玩设备,电玩游戏机,游戏机厂家,电玩游戏机生产厂家,电玩游戏机价格,投币游戏机,儿童游艺机厂家,室内儿童乐园设备,儿童乐园设备,室内儿童游乐场设备,游戏机设备,电玩游戏机,电玩设备,游戏厅游戏机,电玩城游戏机,投币游戏机,电玩设备厂家,游艺设备,电玩城游戏机设备,电玩城电玩,游艺机
有12岁小孩子可以玩的手游吗，大多数游戏的难度会比较高，对于一些小朋友来说是比较吃力的，那么是否有适合12岁年纪的游戏呢，接下来小编会给大家带来适合岁孩子玩的游戏有哪些2023的排行榜单，对于各位小学生来说是非常不错的选择，地铁跑酷，控制可爱的主角，在地铁中进行跑酷，极其简单且畅爽的跑酷过程，创建了美式街头风格的画面，会有各种地铁轨...。
10月11日消息，今日Xbox手柄新款配色，极光银特别版，开启预售，国行微软商城售价499元，10月25日开始陆续发货，微软官方对此手柄的产品介绍称，体验Xbox无线控制器所蕴含的现代化设计，采用雕刻的表面和精致的几何图，有助于提高游戏过程的舒适度，利用纹理握把和混合式方向键，可以更令您保持专注，通过全新的分享按键轻松捕获和分享内容，...。
2020年，雷军迎来小米创业第十年，十年间，小米在整个移动互联网的变革中，成长为世界知名的智能手机企业——在最新一季度智能手机出货量排名中，小米超过苹果，成为世界第三，尽管如此，雷军还是有一个最大的心结，小米手机的高端化，11月18日，在2020亚布力论坛上，雷军谈到了外界对小米的三个误解，其中最先提到的就是小米产品尤其是小米手机的高...。
欧盟数字改革的主要架构师MargretheVestager4月23日，欧盟就新的数字法规达成一致，这将迫使谷歌和Meta等科技巨头更积极地监管其平台上的非法内容，否则可能面临数十亿美元的罚款，欧洲议会和欧盟成员国就，数字服务法，达成协议，这是一项具有里程碑意义的立法，旨在让平台迅速删除非法和有害内容，欧盟竞争事务负责人、欧盟数字改革的...。
天蝎座与12星座的血型配对O型天蝎座牡羊座，属牡羊座者请属天蝎座者当军师，锦上添花，金牛座，除了经商，无论做什么，都是最佳同伴，双子座，性情差异大或者互助，也或者相互箝制，巨蟹座，男女搭配，上班协调，狮子座，属狮子座者统治欲太强，属天蝎座得太执拗，常互不信服，处女座，在人群中，唯此二者心有灵犀一点通，天秤座，属天蝎座者常惋惜属天秤座者...。
通过屡次比拟，引荐出三款本田汽车10万元左右的智能挡车型，它们区分是本田思域、飞度和缤智，一、本田思域本田思域在外观设计方面十分静止时兴，内饰作为一款家用轿车来看十分繁复粗劣并且材质也做得十分扎实，座椅也堪比奢侈车的温馨水平，车辆装备了档位拨片、后视镜加热以及电动天窗等性能，驾驶起来容易上手并且十分稳固，悬挂也做得相当到位，总之，本田...。
奇瑞A5小轿车是一款外观时兴、外部空间超大的车型，它的外型合乎国际潮流，运用了欧美习尚的Sky，line天穹设计理念，流利而富于动感的线条，前脸动感圆润的曲线外型，具备极强的视觉冲击力，内饰方面，只管材质上还不够高挡，然而接缝平均、设计理念合乎时兴潮流，各个零部件的制作工艺也到达了同级别合资车型的水平，此外，奇瑞在节能环保方面还经常使...。
往年6月，35岁的唐尚珺在广西迎来了第16次高考，2016年，唐尚珺因挚友何汉立拍摄的纪录片，高十，而被人们熟知，那年是唐尚珺第8次参与高考，当年的何汉立怎样也想不到，直到2024年，唐尚珺还在考，往年高考效果发布后，中国资讯周刊在南宁见到了唐尚珺，他衣着静止鞋，背着双肩包，包里装着填报志愿的参考书，当谈起往年能否会去上大学时，唐尚珺...。
6月16日，福建龙岩上杭县蓝溪镇，有湖里村村民反映称抢先水库开闸放水，洪水水位极速下跌造成屋宇倒塌，有亲人被埋可怜离世，梅永村应该是重灾区，日前，蓝溪镇梅永村村民苏先生打进华商报微风资讯热线，反映同日水库泄洪没有提早通知村民及时转移，形成黄潭、湖里、岐滩、梅永、蓝溪和觉坊等6个村落被淹，他们村有7位老人未能及时转移罹难，蓝溪村大桥...。
说起紧凑型轿车，置信许多好友首先想到的是，马路三大妈，—轩逸、雷凌、卡罗拉，然而合资品牌10万，的起售价以及寒酸的性能还是让不少消费者望而生畏，当天咱们来看一台购车门槛相对更低，并且历经五代传承，累计销量打破115万台的全新荣威i5，全新荣威i5已于7月12日上市，售价6.89万元—9.09万元，新车不只外观驳回全新设计，并且对空间...。
奥迪S5系列车型中，能否有敞篷车型呢，答案是必需的，详细型号为S5，3.0T，Cabriolet，它驳回的是软顶敞篷方式，上方为您详细引见一下奥迪S5敞篷版的特点，首先，奥迪S5敞篷版是一款静止高性能轿跑车，旨在满足生产者对驾驶乐趣和外观设计的需求，作为奥迪汽车的旗舰车型之一，它在能源性能上有着出色的体现，奥迪S5敞篷版搭载了一款3....。
W10DigitalActivation是由俄国大佬Ratiborus开发的一款用于Windows10系统的数字权利激活工具。Ratiborus其实针对微软的产品开发了不少激活类工具
一般逃生类游戏给大家带来的感觉都很刺激，玩家必须逃离特定的环境，这样刺激的逃生游戏目前非常流行，那么受欢迎的逃生游戏下载推荐哪个好?今天小编就介绍些免费的逃生游戏给大家，让大家更清楚逃生游戏的玩法，这些免费的逃生游戏下载链接小编也整理好了，1、，迷失在森林，迷失在森林是个要求玩家逃离一片森林的逃生游戏，玩家驾驶的小飞机遇到风暴后坠毁在...。
在当今快节奏的生活中，休闲游戏为我们提供了一种放松和娱乐的方式，其中，趣味农场达人凭借其独特的农村经营主题和多样化的玩法，吸引了大量玩家的关注，今天小编带来趣味农场达人下载链接分享，如果你渴望体验农场生活的乐趣，享受种植与养殖的过程，那么这款游戏无疑是一个理想的选择，本文将为你分享趣味农场达人的下载链接和预约渠道，让你轻松开始这段农场...。
8月以来多款学习软件被指含有色情信息，有大量荤段子和有性暗示的栏目，涉及的应用包括学霸君，作业帮，我要当学霸，小猿搜题，等，8月14日在作业帮宣布获得新一轮1.5亿美元C轮融资之际，小猿搜题也召开媒体沟通会，称是百度作业帮员工在小猿搜题上发布恶意涉黄信息，并表示已经就该事件报案，猿辅导联合创始人李鑫告诉媒体，8月9日下午3点半到...。
仅仅一年前，修复学的一些从业人士还在担心，3D打印的进步会让他们失业，3D打印将会对许多行业产生革命性影响，医疗领域是其中之一，与之相对的，是修复科医生和其他医疗从业者，对原本，平静，的传统行业被新技术入侵的忧虑，根据调研公司IndustryArc的估计，全球3D打印市场的总产值，将在2020年达到12亿美元，我们常说的3D打印，在技...。
在芯片从业者眼中，RISC，V无疑是继x86和ARM之后，第三大CPU指令集阵营，投奔RISC，V对有些芯片巨头而言，无异于苹果和微软抛夫弃子，投入安卓怀抱，也犹如诺基亚，早早离开自己的，养子塞班，和，继父Windows，，选择其他操作系统，小公司才谈对错，大公司只考虑利益，过去几十年里，芯片巨头们依仗x86和ARM赚得盆满钵满，过程...。
