神经机器翻译的混合交叉熵损失函数 (神经机器翻译的单词错误减少了)
本文提出了一个新的损失函数，混合交叉熵损失（）， 用于替代在机器翻译的两种训练方式（Teacher Forcing和 Scheduled Sampling）里常用的交叉熵损失函数（CE）
，计算开销基本和标准的CE持平，并且在多个翻译数据的多种测试集上表现优于CE。这篇文章我们简要介绍Mixed CE的背景和一些主要的实验结果。
本节简单介绍一下 Teacher Forcing 和 Scheduled Sampling 的背景。
Teacher Forcing[1]训练方式指的是当我们在训练一个自回归模型时（比如RNN，LSTM，或者Transformer的decoder部分）， 我们需要将真实的目标序列（比如我们想要翻译的句子）作为自回归模型的输入，以便模型能够收敛的更快更好。 通常在Teacher Forcing（TF）这种训练方式下，模型使用的损失函数是CE：
值得注意的是，机器翻译（MT）本身是一个一对多的映射问题，比如同样一句中文可以翻译成不同的英文，而使用CE的时候，因为每个单词使用一个one-hot encoding去表示的，这种情况下MT是被我们当作了一个一对一的映射问题。这种方式可能会限制模型的泛化能力，因为使用CE的模型学到的条件分布
更接近于一个one-hot encoding，而非数据真实的条件分布
。但不可否认的是，即使模型用CE训练，它在实践中也取得了很好的效果。CE在实践中的成功意味着模型学习到的条件分布
可能也包含着部分真实分布
的信息。我们能不能在训练的时候从 提取
的信息呢？这就是我们的Mixed CE所要完成的目标。
虽然TF训练方式简单，但它会导致exposure bias的问题 ，即在训练阶段模型使用的输入来自于真实数据分布，而在测试阶段模型每一时刻使用的输入来自于模型上一时刻的预测结果，这两个输入分布之间的差异被称作exposure bias。
因此，研究者们进而提出了Scheduled Sampling[2]（SS）。 在自回归模型每一时刻的输入不再是来自于真实数据，而是随机从真实数据或模型上一时刻的输出中采样一个点作为输入。 这种方法的本质是希望通过在训练阶段混入模型自身的预测结果作为输入，减小其与测试阶段输入数据分布的差异。也就是说，SS所做的是让训练输入数据分布近似测试输入数据的分布，从而减轻exposure bias。
而另一种减轻exposure bias的思想是，即使训练和测试阶段输入来自不同的分布，只要模型的输出是相似的，这种输入的差异性也就无关紧要了。我们的Mixed CE就是想要达到这样的目标。
需要注意的一点是，SS本来是用于RNN的，但由于Transformer的兴起，后续的研究者们提出了一些改进的SS以便适用于Transformer decoder在训练阶段能够并行计算的特性。即运行Transformer deocder两次，第一次输入真实的数据
，然后从t时刻的输出分布里采样一个数据点
。接着，将
里面的元素随机进行混合，得到新序列
作为decoder的输入，按照正常方式进行训练。
我们提出的Mixed CE可以同时用于TF和SS两种训练方式中。
在TF中，为了应用MixedCE，我们首先做出一个假设： 如果模型当前预测的概率最大的token和目标token不一致，那我们认为预测的token很有可能是目标token的同义词或者同义词的一部分。
我们做出这个假设是因为在实际中的平行语料库里，同样一个源语言的单词在目标语言会有多种不同的翻译方式。如果这些不同的翻译在语料库里出现的频率相差不多，那么在预测该源语言单词时，模型非常有可能给这些不同的翻译相似的概率，而概率最大的那种翻译方式恰好是目标token的同义词。
是模型在当前时刻模型预测的最有可能的结果，而根据我们之前的假设，
的同义词。Mixed CE通过以
作为目标进行优化，有效利用了
是当前训练的iteration，total_iter代表了总的训练轮数。随着训练的进行，模型的效果越来越好，
会不断增大，Mixed CE中第二项的权重也就越大。
在SS中，Mixed CE的形式类似于上述公式：
这里的
是对第一次运行Transformer decoder的输出进行greedy采样的结果。第一次运行Transformer decoder时的输入是真实的目标序列，而第二次运行时的输入是序列
。通过优化这个目标函数的第二部分，无论模型输入是
还是
，模型总是能够输出相似的结果，也就是说，
模型能够忽略输入分布的差异，从而减轻了exposure bias的问题。
值得注意的是，相比于CE，Mixed CE在训练期间只增加很少的计算量，额外的计算量来自于寻找模型预测结果的最大值。
由于篇幅有限，我们只列出几个重要的实验结果，更详细的实验结果可以在原文中找到。
在TF训练方式中，我们在WMT’14 En-De上的multi-reference test set上面进行了测试。在这个测试集中，每个源语言的句子有10种不同的reference translation，我们利用beam search为每一句源语言句子生成10个candidate translations，并且计算了每一个Hypothesis相对于每一种reference translation的BLEU分数，并且取它们的平均值或者最大值。结果如下：
我们可以看到Mixed CE在所有reference上面始终优于标准CE。
另外，我们也在一个paraphrased reference set（WMT’19 En-De）上面进行了测试。这个测试集里面的每一个reference都是经过语言专家的改写，改写后的句子结构和词汇的使用都变得更复杂。结果如下：
通常在这个测试集上，0.3~0.4 BLEU的提升就表明效果就很显著了。
由于Mixed CE的形式类似于label smoothing，所以我们也具体比较了Mixed CE和label smoothing。我们利用Pairwise-BLEU（PB）衡量模型输出分布的平滑程度，PB越大，输出分布越陡峭，反之则越平滑。结果如下：
可以看到，加入label smoothing之后，输出分布变得更加平滑，而Mixed CE使得输出分布变得更加陡峭。所以Mixed CE和label smoothing是不同的。并且从BLEU的分数可以看出， label smoothing和Mixed CE并不是一个互斥的关系，两者共用效果会更好。
在SS中，我们以SS和word oracle（SS的一个变种）作为Baseline。结果如下：
可以看到Mixed CE总是好于CE。此外，我们在论文中还提供了ablation study，以确认 Mixed CE中的第二项对性能的提升是必不可少的。
此外，我们在附录中也列出了一些关于domain adaptation的初步实验，欢迎大家继续探索Mixed CE在其他领域的应用。
在本文中我们提出了Mixed CE，用于替换在teacher forcing和scheduled sampling中使用CE损失函数。实验表明在teacher forcing里，Mixed CE在multi-reference, paraphrased reference set上面的表现总是优于CE。同时，我们也对比了label smoothing和Mixed CE，发现它们对输出分布的影响是不同的。在scheduled sampling当中，Mixed CE能够更有效的减轻exposure bias的影响。
若二维码过期或群内满200人时，添加小助手微信（AIyanxishe3），备注ICML2021拉你进群。
特约稿件，未经授权禁止转载。详情见 转载须知 。
智能命名助手是一个专业的命名工具，它可以帮助你快速生成优秀的产品名称和文案，让您的品牌更具辨识度和吸引力。通过智能命名助手，你可以在数秒钟内创建一个完美的产品名称，让您的产品更容易被记住！
中向旭曜科技有限公司_中向旭曜坚持践行农业强国战略，以天然优质腐殖质材料为主要原料，研发、生产和销售土壤改良剂，提升耕地质量，助力乡村振兴，服务社会，造福人民。
山东正丰机械有限公司位于运河之都,工商业发达的“孔孟之乡”—济宁.公司成立于2014年,是集研发、制造、销售为一体的履带式拖拉机生产专业企业.具有噪音低、振动小、接地压力小、重量轻、牵引力大,对路面破坏力小,山地坡地均可使用等多种特性
全国EOD项目策划投资融资建设、经济信息咨询服务、知识产权咨询、全国重点人群补贴项目-财道企业服务网_25年执业经验，热线0755-89816699，是中国最值得信赖的一站式全方位企业顾问服务商。
中共安徽省委网络安全和信息化委员会办公室安徽省互联网信息办公室安徽网信办安徽网信网网络安全信息化网络治理。
易峰热流道科技有限公司是一家专业研发、生产、销售热流道系统和配件的技术领先型企业。公司整体实力雄厚，拥有国际水准的专业技术团队，先进的生产设备，完善的现代化管理体系。引进国外***的热流道生产技术和加工工艺。
中联税务是中国财税服务领军集团——中联企业管理集团旗下5A级税务师事务所，有涉税服务、涉税鉴证业务资质的专业机构，始创于1994年，拥有自主研发的大数据和人工智能科技平台，目前是位列北京前3名的综合专业服务机构。
外贸收款：链接/二维码/银行账号收款；免费开通海外银行账号；全球主流币种收款；实时汇率0汇损，阳光结汇安全合规。跨境电商收款：一账号管理多店铺资金，店铺提现效率高，速度快。国际收银台：多个建站平台，对接零门槛；60+支付方式，70+交易币种。全球付：供应商收款信息管理，付款更高效；全球通道布局，付款最快5分钟到账。金融服务：极速提现/超前收款订单回款先拿到手；飞业融安全、合规、高效的快捷融资支持；飞先付可为优质卖家实现信用付款
AboutLab专业实验室电商平台,力求专业,快速,价格美丽
CSOB记录CS饰品价格走势图,饰品成交量,饰品趋势,CS大盘行情,CS饰品出租年化,CS饰品分析,CS饰品排行榜,CS开箱回报率,CS在线人数
夺目，企业视频在线制作工具，仅需上传照片和视频，即可一键制作各类风格的视频广告，淘宝主图视频，企业宣传片、产品视频、微信小视频，高效且低成本的满足您的视频营销需求
食品加盟网是专业的食品加盟招商代理平台，汇集休闲食品、方便食品、烘焙食品、低温食品、粮油食品、饮料饮品等加盟招商代理信息，是食品企业招商、食品代理商找产品的信息平台
现在的消费者对炸鸡与鸡排类的食物有着很大热情，不仅可以当做主食，同时还能被当做风味小吃，尤其周末休息的时候，市面上各种炸鸡店，挤满了消费者，生意很好，叫了个炸鸡历经多年发展，在市场上一定名气，受到不少创业者的关注，那么叫了个炸鸡好吃吗，口味如何，分店多吗，叫了个炸鸡好吃吗，口味如何公司在美食制作中，有着成熟化美食制作技术，精心选择上等...。
顺应大健康时代的需求，以铝代木的健康家居理念，正全国蔓延，全铝家居，选材环保，坚固，由此，众多智慧之选者看中该商机，有心把握，那么，全铝家居加盟费多——蓝华蓝铝，进行具体分析，蓝华蓝铝全铝家居，加工精简，采用铝材表面立体木纹处理技术，具有与实木同等的真实视觉感，更具备超越实木表面的触感，不仅花色绚烂，在表面处理上也是丰富多彩，轻易解决...。
阿里旗下源头厂货直销平台1688开始猛补服务短板，9月4日，1688发布，买家保障服务升级公告，，全面升级买家采购体验，从9月12日开始，退货包运费、极速退款和争议订单平台赔付等服务将陆续覆盖1688所有站内订单，在，坚决，补短板的同时，1688在汹涌的商家情绪之下也展示了，听劝，姿态，公开表示要打击商家吐槽集中的恶意仅退款和恶意薅羊...。
对于现在疫情还是非常严重的，一个时候如果能够出现一个相应的一个疫苗的话，那么对于个人而言，大家还是觉得有非常不错的一个事情的了，同时而对于现在这个疫苗儿来到总体而言是一个非常紧缺的这个状态，确实没有想到了，就是有的人他们竟然想要去用生理盐水来制作这样一个假的一个新型疫苗，让人感觉到非常的一个无语了，在国家现在这样没危险的过程中还是去赚...。
中华十大鞋业是多年来消费者认真评选出来的，第壹，贝贝鞋，经营男女鞋，有着专业的设计团队，鞋子在市场上是非常受欢迎的，第二，鞋状元，分店的数量多已经超过了四百家，定期进行市场调研，一经推出便引起了销售热潮，第三，鞋之恋，在市场上的反响好，已经有了扎实的市场基础；第四，高记鞋艺，分店遍布全国各地，有着丰富的经营模式，对分店整店输出，第六，...。
外地期间10月6日，乌克兰总统泽连斯基签订法则，对3名团体和在乌克兰注册的18家公司实施制裁，关系法则已在乌总统府网站发布，总台记者王晋燕，...。
网易文娱3月10日报道由踏雪寻阳，天津，文明有限公司、芒果TV联结出品，北京中创文旅文明产业集团有限公司策略协作，芒果TV首档S级原创潮流综艺，当燃了！国潮，，仰仗着节目主题陈腐，紧贴，国潮，文明，外加首席，国潮体验官，秦霄贤的，潮流，短视频圈粉有数，目前节目已是未录先火，等候声响一片，当燃了！国潮，是一档以，国潮，概念为主题的综艺...。
你先要查到自己属什么，八字中，相克为财，比如，你自己属水，水克火，火就是财运，你自己为木，木克土，土就是财运，假设你不知道自己属什么，可以在网络上搜查，很多提供五行查问的网址，假设知道自己属什么了，觉得财运不是很好，那可以用一些补五行的方法，把财运补起来，比如，自己为水，水克火，火是财，那就可以用一个叫离为火的卦来补把这个离为火卦，做...。
1、梦见自己老婆生小孩的吉凶指数境遇安宁，平顺幸福，能扫除艰巨，广得人助，而获取名利双收之大完成，生存劳碌，惋惜因完成运不现实，是以向上舒展发生阻碍多端，只能维持原有旧日之成就现状而已，中吉，吉凶指数，77，仅供参考，2、梦见自己老婆生小孩的宜忌，宜，宜读古书，宜下厨房，宜驾驶汽车，忌，忌穿白色衣物，忌低声哼歌，忌叫外卖，3、梦见...。
外地时期7月4日晚，国度主席习近平乘专机抵达杜尚别，应塔吉克斯坦共和国总统拉赫蒙约请，对塔吉克斯坦启动国事访问......。
有哪些是可以随时收费追剧的工具，在这篇2023最火爆的追剧影视大全app清点就搜集到了很多最受欢迎的，下载之后就可以轻松的观看自己最喜欢的电视剧和电影，须要的用户快来一同下载2023最火爆的追剧影视大全app吧！heibai弹幕app下载行星视频ios版本行星视频ios版本追剧影视大全app有哪些1、heibai弹幕app下载介绍理由...。
腾讯课堂iPad版是腾讯专门开发的一款iPad线上教育学习软件，腾讯课堂iPad版收录了大量的精品课程，可以了名师面对面请教交流，海量教学课程资源和名师，腾讯课堂iPad版让你坐在家里就能体验高质量的学习教育，不用再去外面花钱补课了;您可以免费下载。
一旦网站被降权是件很头疼的事情，相信很多的站长也多遇到过的，那么网站被降权了我们除了淡定还是要淡定的，不可过慌，找对原因解决问题是最根本的，1、分析网站降权原因这一步是最关键的一步，只有明白病因，才能要到病除，分析前一段时间你是如何优化的，是否外链做的过客，大量转载内容，是否更改了首页标题，网站结构是否改版，关键词密度是否变化，站内锚...。
她被外界称为女版的，马云，在微软任市场服务部经理和事业发展部经理时，她是微软最年轻的中国区高管，在思科任市场营销部经理时，作为高管中唯一的女性，她管理着，思科亚洲最佳团队，在卓越网当CEO时，她领导卓越网成为中国最大的网上音像店，2004年，她创立了电子商务网站敦煌网，据Paypal交易平台数据显示，敦煌网是在线外贸交易额中亚太排...。
烤肉作为特色的美食，不管是大人，还是小孩子，都难以抵挡烤肉所带来的诱惑，市场中的烤肉品牌在逐渐的增加，为人们带来了广泛的选择空间，也为创业者们带来了商机，梁山烤肉是行业中口碑和名气都不错的品牌之一，有着不错的发展前景，成为了创业者们所关注的项目，那么梁山烤肉怎么样，现在需要什么条件，梁山烤肉是一个实力强大的餐饮连锁品牌，自2008年在...。
在人工智能领域，训练一个先进的机器学习模型需要投入大量的计算资源，随着机器学习算法越来越多的应用在各个领域并表现出优越的性能，对于机器学习算法专业硬件的需求，也变得越来越强烈，2016年，谷歌首次公布了专为加速深层神经网络运算能力而研发的芯片——TPU，在计算性能和能耗指标上，TPU的表现都远远优于传统CPU、GPU组合，我们在上个...。
11月10日，全球领先的IT市场研究和咨询公司IDC发布，IDCMarketScape，中国基于区块链技术的政府行业解决方案2022，报告，报告显示，腾讯云区块链解决方案居行业第一，并在战略发展综合能力、产品能力、市场收入等细分维度分别位列第一，值得一提的是，此前腾讯云还斩获了2021年IDC中国政府行业区块链软件市场份额第一，正在持...。
