EMNLP 2021 (EMNlP2025会议地点)
近期，字节跳动人工智能实验室在 EMNLP 2021 上发表了一篇关于在线更新机器翻译系统的论文。
机器翻译系统在线更新指的是使用单个翻译样本更新机器翻译系统。工业应用中对机器翻译系统在线更新的需求主要来自于两类场景：
当前主流的机器翻译系统都是基于神经网络搭建的，而参数众多结构复杂的神经网络模型难以做到在线更新。基于样本的机器翻译系统却很容易做到在线更新。在基于样本的机器翻译系统中，通常存在一个大规模的翻译语料库。给定一条源语言句子，生成对应翻译结果的过程中，需要从翻译语料库中检索出若干相似的翻译样本，并利用检索到的样本生成最终的译文。更新基于样本的机器翻译系统只需要更新翻译语料库就可以了，无需更新机器翻译模型的参数。
但是基于样本的机器翻译系统泛化性较差，在检索不到相似样本的情况下，很难生成高质量的译文。因此， 最近一些工作将样本检索与神经机器翻译结合，在神经机器翻译模型解码的过程中检索相似的翻译样本辅助译文生成 。这种样本检索机制赋予了机器翻译系统在线更新的能力。
在这个方向上，一个经典的工作是发表在 ICLR 2021 上的 kNN-MT[2]。kNN-MT 为神经机器翻译引入了词级别的样本检索机制，使得翻译系统在无需额外训练的情况下，显著提升多领域机器翻译和领域适应机器翻译的能力，同时具有了在线更新的能力。
但是 kNN-MT 仍然存在一些问题，使用固定的将神经机器翻译输出和样本检索进行组合的策略使得它难以适应多变的输入样本。如图1所示，带有领域内翻译语料库的 kNN-MT 领域内的翻译质量取得了明显提升，而通用领域翻译质量却剧烈下滑。造成这种现象的原因是，kNN-MT 过度依赖检索到的样本，在检索到的样本与测试样本不相似时，检索到的样本对于机器翻译而言反而是噪声，从而降低了翻译质量。
这篇工作主要针对该问题[3]， 提出了一种动态结合样本检索和神经机器翻译的方法 KSTE R (Kernel-SmooThed Translation with Example Retrieval)，使得翻译系统在检索到相似样本的情况下能够提升翻译效果，在检索不到相似样 本时，也能保持原有的翻译质量，同时保持在线更新的能力。
图1 带有领域内数据库的kNN-MT，在领域内数据和通用领域数据上的翻译效果。
在这篇工作的模型结构中， 翻译系统由两个部分组成，分别是一个通用领域的神经机器翻译模型——采用经典的 Transformer 结构[1]，和一个样本检索模块——用于执行相似样本检索、相似度计算和概率估计。 自回归的机器翻译模型生成译文是按相似的方式逐词生成，因此只需考虑单步的解码过程。在解码生成译文的每一步中，翻译系统的两个部分都会产生下一个词对应的概率分布。这两个分布会根据一个混合系数进行线性插值，估计出一个混合的概率分布。下一个词将由这个混合的分布预测出。
为了在解码过程中进行样本检索，作者 构建了一些词级别的翻译数据库 。数据库中存储的是词级别的翻译样本，每一个样本是一个键值对 。这个键指的是目标端语言的句子中一个词出现的上下文的向量表示 ，值指的是对应的目标端语言的词 。使用一个通用领域上训练好的 Transformer 模型，对每一条训练数据做强制解码，即可计算出目标语言每个词的上下文相关向量表示，构造出一组词级别翻译样本以供检索。
在解码的每一步中，NMT 模型会计算出一个基于模型的下一个词分布 。另外， NMT 模型会计算当前上下文的向量表示作为查询 ，从翻译数据库中检索Top- k 个 L2 距离最小的样本。
可学习的核函数
利用核密度估计根据检索到的样本估计出一个基于样本的分布 ，其中核函数是一个具有可学习带宽参数的高斯核或拉普拉斯核。带宽参数基于当前上下文和检索到的样本动态估计得出，主要是为了调整 的锐度。当检索出的 k 个样本只有几个头部样本与当前上下文相似时，低带宽的核密度估计会生成一个尖锐的分布，将绝大多数概率质量分配给头部样本，忽略尾部样本引入的噪声。
图3 核函数的带宽参数越小，估计出的分布越尖锐。
基于模型的分布 将和基于样本的分布 按一定权重 进行线性插值，得到一个混合分布 ，并由混合分布预测出下一个词。混合权重 决定了翻译系统预测下一个词是更多地依赖 NMT 模型的输出还是检索到的样本。如图4 所示，在解码的每一步中，混合权重都是不同的，根据当前上下文和检索到的样本估计出。翻译系统自适应地决定更多地依赖哪个部分。
图4 动态的混合权重。Memory 表示基于样本的分布权重 ，Translation 表示基于模型的分布权重 。
模型训练策略
在 KSTER 训练过程中，NMT模型参数是固定不变的，需要训练的部分只有一个带宽参数估计器和一个混合权重估计器。作者使用交叉熵损失函数对翻译系统整体进行优化，但只更新带宽参数估计器和混合权重估计器的参数。
由于训练翻译系统的数据与构建翻译数据库的数据是相同的，在训练时总能检索到 top 1 相似的翻译样本就是查询自身。而测试数据通常在翻译数据库中没有出现过。这种训练和测试的不一致性，导致翻译系统容易过度依赖检索到的样本，产生过拟合的现象。为了缓解训练和测试的不一致性，作者在训练时检索最相似的 k + 1 个样本，并把第 1 相似的样本丢弃，保留剩下的 k 个样本用于后续的计算。这种训练策略被称为检索丢弃，在测试时并不使用这种策略。
这篇工作在机器翻译领域适应和多领域机器翻译两种任务上进行了实验，KSTER 相比 kNN-MT 在两种任务上均有提升。
图6 多领域机器翻译任务上的实验结果
图7 不同领域的核函数带宽和混合权重分布
图8 检索不同数量样本 k 时，kNN-MT 和 KSTER 的翻译效果
图9 验证了检索丢弃这种训练策略的必要性。在不使用检索丢弃策略时，KSTER模型产生了严重的过拟合。而使用检索丢弃策略后，过拟合的现象得到明显缓解。
图9 检索丢弃训练策略有助于缓解过拟合
作者基于 KSTER 开发了一个基于在线干预机器翻译系统，用于展示翻译系统在线修复bad case的能力。 图10 - 14 展示了一些具体的样例。
如 图10 所示，由于训练数据中没有出现过“字节跳动”这种新兴实体，以及“C位”这类新词，翻译系统对它们的翻译效果是不好的。
图12 向 KSTER 翻译数据库中添加以上样本
图13 添加样本之后KSTER的翻译结果
图14 KSTER 在相关样本上的翻译结果
本文主要介绍了 KSTER，一种有效的机器翻译系统在线更新方法。其在机器翻译领域适应和多领域机器翻译上均表现出优异的效果。同时展示了它的在线修复 bad case的能力。
参考文献
版权文章，未经授权禁止转载。详情见 转载须知 。
北京数字万融科技有限公司是工业和信息化部下属企业，是为贯彻党中央、国务院关于中小企业发展系列重要指示精神，以及国务院促进中小企业发展工作领导小组决策部署，经工业和信息化部批准，由国家中小企业发展促进中心联合中国科学院控股、中诚信投资集团联合发起成立的国有企业。公司主要针对融资难、融资贵问题，依托市场化服务和科技手段，全力推进直接融资、产业金融、普惠金融、专精特新发展基金等各项业务，系统性支持中小企业融资发展。
长沙市虹艺沙发有限公司是一家专业从事沙发定做、沙发生产设计、沙发销售服务的机构。主要生产餐厅沙发，西餐厅沙发订做，咖啡厅沙发订做，茶餐厅沙发订做，酒吧沙发订做，影楼沙发订做，KTV沙发订做，酒店沙发订做，客厅沙发订做翻新等一系列沙发定做服务。
码农集市专业分享IT编程学习资源包括编程,视频教程,技术文章,文档,手册,源码,软件,工具
一个95后青年的个人博客，从事于成套电器行业，偶尔分享电器设备知识、电工技术文章的博客。
中国电子科技集团公司（https://www.cetc26ao.com）立足五十多年来的技术，是一家集生产、研发、销售及代理为一体的声光、光电器件领域的高科技技术公司。我们的产品有：光纤声光调制器、声光调制器、声光移频器、AOFS、声光偏转器、AOD、声光滤光器、声光驱动器、AOTF、声光可调滤光器、声光Q开关、光电器件。
XP系统下载之家为您提供纯净版xp系统、ghostxp系统下载、ghostxp装机教程、windowsxp系统下载等各种系统下载，找安卓游戏、手机应用、教程攻略就上XP下载站。
飞进仓库位于上海市嘉定工业园区,仓库为工业厂房标准库,仓库有经验丰富和协调处理能力强的精英团队管理，为仓库安全作业保驾护航021-69925759,69925623
TKE品牌碳带厂家，专注进口碳带分切。碳带样品及报价询【186-0273-8880】微信同号
河南粮院专注研发生产面粉加工成套设备,面粉成套设备,面粉生产加工,面粉生产设备,面粉加工机械设备价格,面粉机成套设备公司电话,河南郑州面粉机械厂,购买粮院面粉设备享受农机补贴；咨询电话:400-966-9225
华脉通信器材有限公司一家生产硅芯管，梅花管，钢绞线、线路铁件、塑料管材、电话线等产品的厂家。手机：13833788633
金桔云创是一家以多年沉淀的“三农”行业数据、行业经验、行业资源为支点，专注农业、深耕场景，应用互联网+物联网、供应链+区块链技术（双网双链），打造标准化、低成本、高品质的供应链生态圈，建设成为“双网双链”的新零售大农业产业互联网B2B平台。
上海创为建筑工程有限公司
2021年，我国将发展托育服务体系列为，KPI，在，十四五，期间，每千人口拥有3岁以下婴幼儿托位数由1.8个提高到4.5个，意味着2025年中国托位总量要达到630万个，据数据显示，我国现有0，3岁婴幼儿4200万，其中1，3的家庭有着比较强烈的托育服务的需求，但实际入托率为5.5%左右，供需缺口还很大，KPI和民众需求的推动，使得...。
目前我国幼儿园在市场的比例逐渐增加，但对于0，3岁婴幼儿的教育却少之又少，很多家庭无暇照看幼儿，或不知如何教育尚未懂事的孩子，因此，托育的重要性显现了出来，可托育早教机构在市面上还是渺小的存在，很多地方甚至没有托育早教机构，随着政策的开展，越来越重视对早期儿童的教育，开始大力支持托育行业，2021年7月，发布的，十四五，积极应对人口...。
现实生活中，有各种各样的排行榜，排行榜是对某一相关同类事物的客观实力的反映，带有相互之间的比较性质，比如，关注度排行榜、流行歌曲排行榜、球队实力排行榜、经济实力排行榜、歌手排行榜等等，顾名思义，药店加盟店排行榜就是对要点加盟店的客观实力的反映，有人认为排名本身也是在促进竞争，为将来的竞争提供参照系，为潜在的未来富翁提供，动力，如果这...。
2021年12月15日，京师通，学霸养成计划，项目说明会于中关村互联网教育中心圆满举办！本次说明会共有来自山东、西安、贵州等多个城市的20多位嘉宾参会，会议中，京师通总经理黄天鹏给嘉宾做了分享，黄总从大环境做了分析，并对学霸产品进行了深度的剖析，学霸养成计划，套装，北师大杨娟教授团队研发，为12，18岁中学生提供的一站式学习解决方案...。
新高考改革逐步深入，每个学校都面临着如何帮助学生们提早做好学业规划和学业能力提升的问题，北京师范大学亚太实验学校对此高度重视，从2021年9月起，特邀北京师范大学学业规划研究中心杨娟教授团队刘璇老师为七、八年级开设，生涯探索规划，兴趣选修课程，带领同学们探索自己未来的学业前途，并进一步通过学业能力的提升，为自己的理想积蓄力量，保驾护航...。
新高考改革逐步深入，每个学校都面临着如何帮助学生们提早做好学业规划和学业能力提升的问题，北京师范大学亚太实验学校对此高度重视，从2021年9月起，特邀北京师范大学学业规划研究中心杨娟教授团队刘璇老师为七、八年级开设，生涯探索规划，兴趣选修课程，带领同学们探索自己未来的学业前途，并进一步通过学业能力的提升，为自己的理想积蓄力量，保驾护航...。
干洗店为消费者们的生活提供着便利的服务，在市场中拥有广阔的发展空间，不少的创业者看到了干洗行业所具有的商机，产生了加盟其中的想法，浣依阁洗衣是一家发源于成都的干洗服务品牌，自2021年成立以来，只经过短短3年的发展时间，在全国建立了上千家连锁合作门店，成为了加盟商眼中的香饽饽，那么浣依阁洗衣加盟支持有哪些，总部在经营多年时间中积累了丰...。
2020年的突发事件，令很多人对于自己的财富有了新的思考，尤其是创业者，更多的将眼光放到了互联网项目，这其中有个项目尤其被看好，它就是手游代理项目，为什么在众多互联网创业项目中，大家更看好手游代理项目呢，游戏市场前景不必多说，喜欢玩游戏，或者对游戏有些了解的朋友一定知道，目前国内市场3000亿，且近5年来持续增长中，游戏付费用户也逐渐...。
春季回暖，草木萌动，万物生机待发，人的新陈代谢在此也比较旺盛，真正的春日养生秘籍，不是多贵的护肤品，而是——睡个好觉，2021·SPRING近期，#超3亿人存在睡眠障碍#登上热搜，调查显示，当下我国超3亿人存在睡眠障碍，其中，超3，4的人晚上11点以后入睡，近1，3的人熬到凌晨1点以后才入睡，01、印花睡裙春季升温，解锁家居新品，舒适...。
夏天，送来瓜果的香甜，也送来孩子们欢乐的节日，2021年5月23日，易道教育江苏泰州品臣校区在初夏时节迎来了，易道儿童月，盛典活动，超多好礼和福利等着宝贝们前来领取哦，易道总部运营管理部高雪梅老师，携市场二组薄雪云老师、李丹老师参与全程指导与策划，除了总部老师外，易道教育江苏盐城阜宁部落及兄弟校区也受邀前来并送上祝福，盛典前夕盛典活动...。
iPhone13与iPhone12参数对比介绍苹果在2021年北京时间9月15日凌晨1点举办秋季发布会，这次发布全新iPhone13系列机型，这次一共发布了4款机型，分别为iPhone13mini、iPhone13、iPhone13Pro、iPhone13ProMax，其实外观设计和功能在之前就已经曝光了，高配版新增120Hz刷新率和...。
12月21日消息，百度宣布首个国产元宇宙产品，希壤，正式开放定向内测，用户可凭邀请码可以进入希壤空间进行超前体验，首期上线的功能包括虚拟空间定制、全真人机互动和商业拓展平台，据介绍，12月27日，希壤，将面向所有用户开放，届时百度Create2021，百度AI开发者大会，将在，希壤，中举办，百度副总裁马杰谈论到了关于希壤这个产品...。
抖音短视频可以说是大家现在社交的主流软件之一了，拥有诸多功能和优质内容，大家不仅能在这里学习各种知识，同时还能在这里观看各种视频来打发时间，那么抖音短视频怎么添加密友呢?下面小编就为大家带来详细介绍，感兴趣的朋友快来看看吧，...。
自动驾驶汽车，迎来一次进化，近日，美国国家公路交通安全管理局，NHTSA，发布规定，不再要求自动驾驶汽车制造商为全自动汽车配备手动驾驶控制系统，以满足碰撞标准，该机构表示，对于设计为仅由ADS操作的车辆，手动驾驶控制在逻辑上是不必要的，由此，美国自动驾驶汽车正式迈入一个新的时代，法案详情在NHTSA看来，未来汽车标配自动驾驶系统已...。
十月十六出世是天秤座，9月23日，10月23日，天秤座的人很有气质，谈吐应答得体，擅长与人沟通协调，是绝佳的谈判人才，属于诱人优雅派人物，只不过，思维易左右摇晃；谋求外表光鲜，易失去自我，主要词，合伙意味，天秤四象性，风主持宫位，第七宫阴阳性，阳性最大特色，权衡抉择主管星，金星色彩，褐色三方官，基本主持身材，胃脏珠宝，珊瑚、琥珀幸运号...。
在成都车展的盛事上，上海公众浩荡颁布了全新国产Yeti车型，并将其中文名定为，野帝，据了解，这款备受注目标新车有望在年内与生产者见面，国产版Yeti在外观设计上展现了清楚的扭转，驳回了海外最新款Yeti的前脸设计，最具亮点的是，它摒弃了四眼灯组的旧设计，取而代之的是一体化的灯组设计，与家族化的中网格栅井水不犯河水，展现出愈加粗劣的视...。
不是，依据查问业百科得悉，起亚远舰2005款不是出口的，属于国产，远舰起源于起亚OPTIMA，与北京现代的索纳塔是同永世产平台，国际上市的这款车型的性能相当完全，领有电动天窗、前排两座椅电动调整等奢侈性能，安保装备有4安保气囊和气帘、倒车雷达以及车速感应式智能车门锁止系统，起亚远舰是继千里马和起亚嘉华之后，西风悦达起亚在中国汽车市场推...。
