神经机器翻译的混合交叉熵损失函数 (神经机器翻译的单词错误减少了)
本文提出了一个新的损失函数，混合交叉熵损失（）， 用于替代在机器翻译的两种训练方式（Teacher Forcing和 Scheduled Sampling）里常用的交叉熵损失函数（CE）
，计算开销基本和标准的CE持平，并且在多个翻译数据的多种测试集上表现优于CE。这篇文章我们简要介绍Mixed CE的背景和一些主要的实验结果。
本节简单介绍一下 Teacher Forcing 和 Scheduled Sampling 的背景。
Teacher Forcing[1]训练方式指的是当我们在训练一个自回归模型时（比如RNN，LSTM，或者Transformer的decoder部分）， 我们需要将真实的目标序列（比如我们想要翻译的句子）作为自回归模型的输入，以便模型能够收敛的更快更好。 通常在Teacher Forcing（TF）这种训练方式下，模型使用的损失函数是CE：
值得注意的是，机器翻译（MT）本身是一个一对多的映射问题，比如同样一句中文可以翻译成不同的英文，而使用CE的时候，因为每个单词使用一个one-hot encoding去表示的，这种情况下MT是被我们当作了一个一对一的映射问题。这种方式可能会限制模型的泛化能力，因为使用CE的模型学到的条件分布
更接近于一个one-hot encoding，而非数据真实的条件分布
。但不可否认的是，即使模型用CE训练，它在实践中也取得了很好的效果。CE在实践中的成功意味着模型学习到的条件分布
可能也包含着部分真实分布
的信息。我们能不能在训练的时候从 提取
的信息呢？这就是我们的Mixed CE所要完成的目标。
虽然TF训练方式简单，但它会导致exposure bias的问题 ，即在训练阶段模型使用的输入来自于真实数据分布，而在测试阶段模型每一时刻使用的输入来自于模型上一时刻的预测结果，这两个输入分布之间的差异被称作exposure bias。
因此，研究者们进而提出了Scheduled Sampling[2]（SS）。 在自回归模型每一时刻的输入不再是来自于真实数据，而是随机从真实数据或模型上一时刻的输出中采样一个点作为输入。 这种方法的本质是希望通过在训练阶段混入模型自身的预测结果作为输入，减小其与测试阶段输入数据分布的差异。也就是说，SS所做的是让训练输入数据分布近似测试输入数据的分布，从而减轻exposure bias。
而另一种减轻exposure bias的思想是，即使训练和测试阶段输入来自不同的分布，只要模型的输出是相似的，这种输入的差异性也就无关紧要了。我们的Mixed CE就是想要达到这样的目标。
需要注意的一点是，SS本来是用于RNN的，但由于Transformer的兴起，后续的研究者们提出了一些改进的SS以便适用于Transformer decoder在训练阶段能够并行计算的特性。即运行Transformer deocder两次，第一次输入真实的数据
，然后从t时刻的输出分布里采样一个数据点
。接着，将
里面的元素随机进行混合，得到新序列
作为decoder的输入，按照正常方式进行训练。
我们提出的Mixed CE可以同时用于TF和SS两种训练方式中。
在TF中，为了应用MixedCE，我们首先做出一个假设： 如果模型当前预测的概率最大的token和目标token不一致，那我们认为预测的token很有可能是目标token的同义词或者同义词的一部分。
我们做出这个假设是因为在实际中的平行语料库里，同样一个源语言的单词在目标语言会有多种不同的翻译方式。如果这些不同的翻译在语料库里出现的频率相差不多，那么在预测该源语言单词时，模型非常有可能给这些不同的翻译相似的概率，而概率最大的那种翻译方式恰好是目标token的同义词。
是模型在当前时刻模型预测的最有可能的结果，而根据我们之前的假设，
的同义词。Mixed CE通过以
作为目标进行优化，有效利用了
是当前训练的iteration，total_iter代表了总的训练轮数。随着训练的进行，模型的效果越来越好，
会不断增大，Mixed CE中第二项的权重也就越大。
在SS中，Mixed CE的形式类似于上述公式：
这里的
是对第一次运行Transformer decoder的输出进行greedy采样的结果。第一次运行Transformer decoder时的输入是真实的目标序列，而第二次运行时的输入是序列
。通过优化这个目标函数的第二部分，无论模型输入是
还是
，模型总是能够输出相似的结果，也就是说，
模型能够忽略输入分布的差异，从而减轻了exposure bias的问题。
值得注意的是，相比于CE，Mixed CE在训练期间只增加很少的计算量，额外的计算量来自于寻找模型预测结果的最大值。
由于篇幅有限，我们只列出几个重要的实验结果，更详细的实验结果可以在原文中找到。
在TF训练方式中，我们在WMT’14 En-De上的multi-reference test set上面进行了测试。在这个测试集中，每个源语言的句子有10种不同的reference translation，我们利用beam search为每一句源语言句子生成10个candidate translations，并且计算了每一个Hypothesis相对于每一种reference translation的BLEU分数，并且取它们的平均值或者最大值。结果如下：
我们可以看到Mixed CE在所有reference上面始终优于标准CE。
另外，我们也在一个paraphRASed reference set（WMT’19 En-De）上面进行了测试。这个测试集里面的每一个reference都是经过语言专家的改写，改写后的句子结构和词汇的使用都变得更复杂。结果如下：
通常在这个测试集上，0.3~0.4 BLEU的提升就表明效果就很显著了。
由于Mixed CE的形式类似于label smoothing，所以我们也具体比较了Mixed CE和label smoothing。我们利用Pairwise-BLEU（PB）衡量模型输出分布的平滑程度，PB越大，输出分布越陡峭，反之则越平滑。结果如下：
可以看到，加入label smoothing之后，输出分布变得更加平滑，而Mixed CE使得输出分布变得更加陡峭。所以Mixed CE和label smoothing是不同的。并且从BLEU的分数可以看出， label smoothing和Mixed CE并不是一个互斥的关系，两者共用效果会更好。
在SS中，我们以SS和word oracle（SS的一个变种）作为Baseline。结果如下：
可以看到Mixed CE总是好于CE。此外，我们在论文中还提供了ablation study，以确认 Mixed CE中的第二项对性能的提升是必不可少的。
此外，我们在附录中也列出了一些关于domain adaptation的初步实验，欢迎大家继续探索Mixed CE在其他领域的应用。
在本文中我们提出了Mixed CE，用于替换在teacher forcing和scheduled sampling中使用CE损失函数。实验表明在teacher forcing里，Mixed CE在multi-reference, paraphrased reference set上面的表现总是优于CE。同时，我们也对比了label smoothing和Mixed CE，发现它们对输出分布的影响是不同的。在scheduled sampling当中，Mixed CE能够更有效的减轻exposure bias的影响。
若二维码过期或群内满200人时，添加小助手微信（AIyanxishe3），备注ICML2021拉你进群。
特约稿件，未经授权禁止转载。详情见 转载须知 。
看看新闻24小时直播流。视频直播重大事件、直播突发新闻、直播权威发布、直播电影电视剧发布并精选每日国际与国内视频新闻、社会新闻、体育新闻、娱乐新闻、财经新闻。每天不同时段播出视频资讯、新闻评论节目，搜集论坛热点、汇聚搞笑视频，发布天气预报并可通过视频参与直播。
快看漫画是引领行业的新生代漫画阅读平台和兴趣社区。它为用户提供优质原创漫画内容，营造良好的二次元社区氛围，成为年轻一代的潮流文化阵地。
八九网bajiu.cn，提供卫星地图、身份证、今日股市、字典、成语词典、时差、社保、交通、天气预报、菜谱、区号、邮编等查询。89网，分享知识，分享快乐！
牙科网是中国最大的最全资讯百科网站，提供专业、完善的牙科信息服务，包括牙齿矫正，烤瓷牙，种植牙，补牙，镶牙，牙齿美白，根管治疗，牙科医院查询，牙科医生查询等频道。
杭州联强大厦租赁电话欢迎您致电咨询，地址杭州市西湖区文三路249号，距离地铁2号线学院路站855米。本站实时更新包括大厦的出租面积、出售面积、简介、交通位置、入驻企业、照片、日租金、售价、地图、楼盘参数和物业等相关信息。
人民论坛网为国家一类新闻网站、中央重点思想理论门户网站、中央网信办新闻信息稿源单位、全国行业新闻网站传播力10强网站。人民论坛网由人民日报社主管、人民论坛杂志社主办，坚持四个自信，弘扬中国精神，引领思想潮流，开创了“互联网+智库”的新型发展模式，获得国家首批数字转型示范单位等系列荣誉，作为中国思想理论网站的排头兵，被视为观察中国思想动态走向的“晴雨表”。
安平县东旭金属制品厂专业生产退火黑铁丝，截断丝，镀锌丝，轴丝，钢丸专用丝，普通铁钉，保温钉。实体老厂家,质优价廉量大从优！联系电话15903211011（微信同号）
广东裕园有害生物防治技术有限公司专业从事于虫害控制管理,主要提供虫害防治、白蚁防治、除四害、空气净化处理等服务.服务电话:0760-88282913
广东芯灵实业有限公司专业贴片机一站式解决方案供应商，提供贴片机销售,租赁，配件供应，设备维修，板卡马达维修，飞达维修，贴片头维修，技术培训的全系列业务。
樊鑫YoY网-专注分享情感故事、脱单技巧和Seo建站技巧，帮助您改善情感生活和成功建站。
日本三丰量具，三丰卡尺,三丰千分尺,三丰千分表,三丰粗糙度仪，三丰高度尺，三丰测高仪，三丰投影仪,日本UnipulseF490A压力测试仪,压力传感器，电子称，天平，涂层测厚仪，光源箱，推拿力计，品，联系人：杜先生，联系电话：
重磅体育（www.zbango.com）分享最新、最全面的NBA球队资讯、英超、意甲、西甲、德甲、法甲等各大体育联赛的比赛数据、球队情报和赛前分析，帮助球迷们更好地了解和掌握各项体育赛事的最新动态和精彩瞬间。
如何高效训练大规模数据，一直是机器学习系统面临的重要挑战，当下互联网时代，数十亿用户每天生产着百亿级规模的数据，作为AI炼丹的底层燃料，这些海量数据至关重要，然而，由于训练数据和模型规模的增大，机器之间的通信成本越高，机器学习系统经常会出现高延迟、低负载的现象，2004年，谷歌首次提出并行算法Mapreduce，通过将大规模数据分发给...。
作者，李浩然、陆巍本文提出了一个新的损失函数，混合交叉熵损失，，用于替代在机器翻译的两种训练方式，TeacherForcing和ScheduledSampling，里常用的交叉熵损失函数，CE，，计算开销基本和标准的CE持平，并且在多个翻译数据的多种测试集上表现优于CE，这篇文章我们简要介绍MixedCE的背景和一些主要的实验结果，...。
作者，维克多、琰琰原定于在奥地利维也纳召开的ICML2021，受疫情影响已于近日在线上召开，根据官方消息，会议将在7月18日~7月24日内完成所有的日程，在接收的一千多篇论文中，组委会最终挑出了四篇论文，分别颁发了一个杰出论文奖，三个杰出论文提名奖，杰出论文奖由康奈尔大学博士生获得，他本科毕业于上海交通大学，研究领域是分布式优化和机器...。
有不少的上班族厌倦了枯燥乏味的工作，萌生了加入创业的大军中，但是想要在创业的道路上取得成功并不是一件容易的事情，选择合适的开店项目比较重要，老鸭面馆面食行业中名气比较大的品牌，自成立以来专注于为消费者们提供营养丰富的老鸭面，凭借实惠的销售价格，赢得了消费者们的青睐，也让创业者们萌生了加盟开店的想法，那么老鸭面馆加盟费多少钱，老鸭面馆加...。
为加深直营店和授权门店初级康养师对专业知识的掌握，培养知识型人才，达到，以赛促学，以赛带练，的目的，6月09日，千方世家商学院组织的初级康养师全国专业知识竞赛成功举行，以考赋能促成长千方世家注重学习力的培养，并将学习和培训考核落实到日常工作中，本次竞赛主要针对初级康养进行，大家踊跃报名积极参与，每日进行语音打卡，掀起了康养师专业知识...。
12306上线全新4大功能，选座功能终于要来了近日，新版12306增加了，正晚点，、，温馨服务，、，起售时间，、，约车，四个功能按钮，据悉，，正晚点，可查询过去1到3小时内的列车正晚点信息；，温馨服务，的服务类型包括重点旅客预约、遗失物品查找、质量服务投诉、网络购票投诉、建议及客服电话查询；，起售时间，用于查询各地火车站的售票时间，用...。
中国的医疗AI产品，再次在世界舞台上突围，雷锋网消息，近日，推想医疗脑卒中AI产品，InferReadCTStroke.AI，通过FDA认证，正式获批美国市场准入，推想医疗创始人兼董事长陈宽表示，，我们很高兴推想的脑卒中AI产品获得美国FDA准入认证，这不仅是对该产品医学表现的积极肯定，更为出血性脑卒中患者带来巨大价值，值得注意的是...。
史上最佳的编程笑话之一是，为什么程序员会死在浴室，因为洗发水瓶上写着，揉出泡沫、冲洗、重复，其实这是一个无限循环，很显然，条理分明的程序员，重复，了这一循环指令，直到死，觉得这很荒谬，但计算机多年来一直被人带入这种循环中，事实上，这是经典的，fork炸弹，攻击，虽然一个fork炸弹可能只有几个字符长，但它却能让计算机用光自己的资源，...。
