回顾Google神经网络机器翻译上线历程 (回顾工作历程经典句子)
雷锋网按：本文作者陈村，剑桥大学自然语言处理（NLP）组， 现为机器学习语义分析工程师。
Google Translate作为久负盛名的机器翻译产品，推出10年以来，支持103种语言，一直作为业界的标杆。
而在前不久，Google官方对翻译进行一次脱胎换骨的升级——将全产品线的翻译算法换成了基于神经网络的机器翻译系统（Nueural Machine Translation， )。从Google官方发表的博文[1]和技术报告[2]中，我们有机会一窥究竟，这个全新的系统到底有什么神奇的地方？笔者借这篇文章，帮大家梳理一下机器翻译的发展历程，以及Google这次新系统的一些亮点。
机器翻译，即把某一种源语言（比如英文）翻译到最恰当的目标语言（比如中文）。
还在几年前，机器翻译界的主流方法都是Phrased-Based Machine Translation (PBMT)，Google翻译使用的也是基于这个框架的算法。所谓Phrased-based，即翻译的最小单位由任意连续的词（Word）组合成为的词组（Phrase），比如下图中的“北风呼啸”。
PBMT是怎么把一句英文翻译成中文的呢？
Statistical machine translation. ACM Computing Surveys, 40(3), 1–49.
传统的PBMT的方法，一直被称为NLP（Natural Language Processing，自然语言处理）领域的终极任务之一。 因为整个翻译过程中，需要依次调用其他各种更底层的NLP算法，比如中文分词、词性标注、句法结构等等，最终才能生成正确的翻译。 这样像流水线一样的翻译方法，一环套一环，中间任意一个环节有了错误，这样的错误会一直传播下去（error propagation），导致最终的结果出错。
因此，即使单个系统准确率可以高达95%，但是整个翻译流程走下来，最终累积的错误可能就不可接受了。
深度学习这几年火了之后，机器翻译一直是深度学习在NLP领域里成果最为卓越的方向之一。 深度神经网络提倡的是end-to-end learning ，即跳过中间各种子NLP步骤，用深层的网络结构去直接学习拟合源语言到目标语言的概率。
2014年，Cho et. al [3]和Sutskever et al. [4] 提出了Encoder-Decoder架构的神经网络机器翻译系统。如下图所示：
NMT这样的过程直接学习源语言到目标语言，省去了训练一大堆复杂NLP子系统的依赖，依靠大量的训练数据（平行语聊库，比如同一本书的中文和英文版本），直接让深度神经网络去学习拟合。熟悉深度学习的朋友可能会意识到，这样的方法一个极大的优势就是 省去了很多人工特征选择和调参的步骤 。听说前两年，有个做神经网络图像处理的教授，在不太了解NLP的基础上，硬生生地搭建了一套可以匹敌传统PBMT的机器翻译系统，后者可是十几年来多少奋战在第一线的NLP同志一砖一瓦垒起来的啊。而且，相比于传统PBMT一个词组一个词组的独立翻译，NMT这样end-to-end翻译出来的语言更加自然流畅。
2015年，Yoshua Bengio团队进一步，加入了Attention的概念。稍微区别于上面描述的Encoder-Decoder方法，基于Attention的Decoder逻辑在从隐层h中读取信息输出的时候，会根据现在正在翻译的是哪个词，自动调整对隐层的读入权重。即翻译每个词的时候，会更加有侧重点，这样也模拟了传统翻译中词组对词组的对应翻译的过程。Attention模块其实也就是一个小型神经网络，嵌入在Encoder-decoder之间的，跟着整个神经网络训练的时候一起优化训练出来的。
Bengio团队的这个工作也奠定了后序很多NMT商业系统的基础，也包括Google这次发布的GNMT。
Google这次在算法上、尤其是工程上对学术界的NMT方法提出了多项改进，才促成了这次Google NMT系统的上线。
学术上的NMT虽然取得了丰硕的成果，但在实际的产品中NMT的效果却比不上PBMT。究其原因Google在技术报告[2]中总结了三点：
1、训练和预测的速度太慢。
要获得更好的模拟效果，就要用更深层的神经网络来拟合参数（下面会提到，GNMT用了8层的Stack LSTM来做Encoder）。这么复杂的神经网络在预测的时候就要耗费大量的资源，远远慢于PBMT的系统。并且在训练的时候拟合这么大规模的预料，可能要很久很久才能训练一次，这样不利于快速迭代改进调整模型参数。
2、NMT在处理不常见的词语的时候比较薄弱。
比如一些数字、或者专有名词。在传统PBMT系统中，可以简单地把这些词原封不动的copy到翻译句子中；但是在NMT中，这样的操作就无法有效的进行。
3、有时候NMT无法对输入源句子的所有部分进行翻译，这样会造成很奇怪的结果。
Google NMT的主要神经网络架构图如下：
仔细看，其实还是带Attenion的Encoder-Decoder逻辑。Encoder是由8层LSTM组成，最下面两层是一个 双向LSTM ，可以从前到后以及从后往前理解一遍输入的源语言输入。中间的蓝色模块就是 Attention模块 ，负责对Encoder的逻辑进行加权平均输出到Decoder层。 Decoder模块 也是一个8层的LSTM，最终连接到Softmax层，一个词一个词输出最终的目标语言词语的概率分布。
算法上，论文中还提到了一些创新点。包括引入Wordpiece来对单词进行更细粒度的建模，来解决上面提到的不常见词语的问题；以及在Decoding结束之后，搜索最佳输出序列的时候，引入coverage penalty的概念，来鼓励Decoder输出更加完整的翻译句子，以解决有时候NMT有时候无法完整的翻译整句的情况。
工程上，报告里面着重谈到了几个 性能优化 的重点：
8层的LSTM堆叠起来，大大增加了神经网络的表达能力，在海量的数据下可以获得更好的模型效果。不过这样的堆叠会直接导致模型太庞大不可训练，在梯度反向传播的时候，很容易出现梯度弥散或梯度爆炸的问题。过去的研究证明[5]，Residual Connection的方式，直接去学习残差可能会带来更好的效果，避免了深度网络中反向传播中出现的梯度反向传播可能会发生的问题。在上面的Google NMT架构图中，从倒数第三层开始都会引入Residual Connection。
与此同时，在工程上Google也进行了非常多的优化，来减少训练和实时翻译时候的延迟问题。比如训练数据的时候，数据会分成n等份，交给不同的GPU去异步训练，然后再汇总到统一的参数服务器；同时，Encoder和Decoder的不同层的LSTM会在不同的GPU上运行，因为更上一层的LSTM不必等到下一层的神经网络完全计算完毕再开始工作；即使对于最后的Softmax输出层，如果最后输出词的维度太大，也会划分到不同的GPU上并行处理。可谓不放过丝毫并行的机会。
底层基础计算平台的支持。 Google NMT采用了自家的Tensorflow深度学习框架，并运行在Google专门为深度学习打造的TPU（Tensor Processing Unit）上，当年的AlphaGo也是由TPU提供支持。在对于模型参数的计算上，也大量应用了Quantized计算的技术：
从软件框架到定制硬件，相互配合，追求最极致的性能。在这篇报告里，有着长长的作者列表，最后赫然列着Google工程架构大神Jeffrey Dean的名字，他是当年一手创造了Map Reduce、Big Table等产品的Google奠基者之一。
Google这次的论文，基本框架仍然是带Attention模块的Encoder-Decoder。而且国内厂商，比如百度和搜狗，也发布了类似的神经网络机器翻译系统。百度早在去年，就发布“工业界第一款NMT系统”。不过，Google毕竟是机器翻译界的标杆，这次披露的论文也揭示了很多他们为了大规模商业化做出的努力，因此在业界引起了不小的震动。
注： [1] A Neural Network for Machine Translation, at Production Scale
[2]Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., Macherey, W., et al. (2016, September 26). Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation.
[3]Cho, K., van Merrienboer, B., Gulcehre, C., Bougares, F., Schwenk, H., and Bengio, Y. (2014a). Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the Empiricial Methods in Natural Language Processing (EMNLP 2014).
[4]Sutskever, I., Vinyals, O., and Le, Q. (2014). Sequence to sequence learning with neural Networks. In Advances in Neural Information Processing Systems (NIPS 2014).
[5]He, K., Zhang, X., Ren, S., & Sun, J. (1512). Deep residual learning for image recognition. arXiv preprint (2015).
原创文章，未经授权禁止转载。详情见 转载须知 。
实现JSON转GET请求,GET请求转JSON,很实用的小工具
提供CCTV5+在线直播及电视节目表预告等服务，是中央电视台的第二个体育频道，频道每天24小时以全高清的方式进行开路播出。频道内容主要包括：赛事直播、录像和集锦。
校园集市官方网站，轻量级校园社区，百万+活跃用户。以便捷的信息交流、可靠的用户沟通，很快在全国各高校风靡起来～
江苏群杰物联科技有限公司专注数字化风控管理，推出包括群杰智能章筒、智能印控台、智能盖章机、智能印章柜、智能印章管理平台在内的印章合同智能化管理产品及解决方案。目前群杰已服务超3500家客户，服务范围涵盖建筑、地产、金融、制造、政务等众多行业。
鸿雀（北京）咨询有限公司是一家从事互联网资质审批代理服务咨询公司，办理全国icp经营许可证、经营性icp资质备案申请以及企业增值电信业务经营许可证变更、续期、注销、年报等业务服务，咨询热线：400-110-0723。
天宇游戏为手游玩家提供好玩的手机游戏下载以及手机折扣游戏下载！天宇游戏天宇互动app有热门的手机游戏，还有丰富的手游礼包激活码，手游攻略、视频、活动资讯等内容！
985.so为您提供:,短网址程序,短网址服务,短网址转换,短网址API接口,批量生成短链接,短网址生成,压缩所有网址包括图片、flash、mp3、rar等所有互联网地址,专业的网址缩短网站！。
我们专注于商品摄影与平面设计,以镜头捕捉商品精髓,用创意诠释品牌魅力.以贴合品牌定位的设计风格,为商品赋予强烈视觉冲击力,有效提升品牌辨识度与市场吸引力,助力您的商品在竞争激烈的市场中绽放异彩,开启商业成功之路!
商盟网是专为各大中小企业免费发布信息、免费推广的B2B网站平台
广州市聚凯机械设备有限公司
成都百沃机械设备有限公司
中山市豪宇机电有限公司专业生产高频焊机、高频钎焊机、手持式高频焊机、超音频退火机、超高频淬火机、中频熔炼炉、中频锻造炉等，技术工艺精湛、价格实惠，欢迎广大客户朋友前来参观选购。联系电话：13680141789杨小姐。
在11月16日举办的谷歌开发者大会上，有关AR技术的内容发布抓住了大量云宇宙关注者的眼球，尽管没有过多明说AR技术与元宇宙的直接关系，但其通过更新AR工具所能够达成的大量成果，对于元宇宙场景的落地都至关重要，一言以蔽之，，真实性，是这次大会上谷歌对AR内容最大的期许，而据雷锋网观察，，真实性，则体现在如下两个方面，一方面，AR需要足以...。
雷锋网消息据外媒报道，Google将在其搜索引擎中新增，个人，选项卡，以筛选出来自私人的内容，比方说你的Gmail账户和Google相册中的内容，此消息最先由一个叫做，搜索引擎圆桌会议，的论坛网站曝出，该网站称于今天早些时候在搜索引擎中看到了新的选项卡，个人，选项卡与现有的，地图，新闻，以及，图像，等选项卡作用相似，输入搜索关键词...。
雷锋网AI开发者讯，日前，神经信息处理系统大会，NeurIPS2019，于12月8日至14日在加拿大温哥华举行，中国科学院自动化研究所及其南京人工智能芯片创新研究院联合团队在本次大会的神经网络压缩与加速竞赛，MicroNetChallenge，中获得双料冠军！以模型压缩和加速为代表的深度学习计算优化技术是近几年学术界和工业界最为关注的...。
雷锋网AI科技评论按，对于机器学习而言，区分异常数据或有显著差异数据至关重要，谷歌在NeurIPS2019论文中提出并发布了针对基因组序列OOD检测的现实基准数据集，进而提出一种基于似然比的解决方案，可显著提高OOD检测的准确性，AI科技评论将谷歌对该方法的官方解读编译如下，深度学习科学家要成功部署机器学习系统，需要系统能够区分出异常...。
雷锋网AI科技评论按，本文来自德国Fraunhofer协会IAIS研究所的研究科学家MichaelGalkin，他的研究课题主要是把知识图结合到对话AI中，雷锋网AI科技评论全文编译如下，必须承认，图的机器学习，MachineLearningonGraphs，已经成为各大AI顶会的热门话题，NeurIPS当然也不会例外，在NeurIP...。
Line发布数字助理智能扬声器日本即时通讯巨头Line该公司宣布将推出数字助理和智能扬声器，而今天在东京举行的年会上，它公布了有关产品的新细节，Line的智能扬声器范基本功能与GoogleHome和AmazonEcho类似，用户可以播放音乐，制作列表，设置闹钟，而且外观更加可爱，采用两个受欢迎的吉祥物，布朗熊和萨莉小鸡造型，其中的旗舰...。
8月10日至16日，IJCAI2019在中国澳门隆重召开，经过3天Workshop和Tutorial的前期预热和酝酿，8月13日，IJCAI大会正会终于迎来万众期待的开幕式，AI科技评论在现场为大家带来全程报道，IJCAI50周年与中国人工智能40周年首位为大会开幕式致辞的是今年IJCAI的大会主席ThomasEiter，一句，欢迎，...。
通过使用优化的数据增强方法，在CIFAR，10、CIFAR，100、SVHN和ImageNet上得到了目前最好的结果，您可以从这里找到和使用它们，在ImageNet上得到的最好的增强效果，源自，https，arxiv.org，abs，1805.09501v1AutoML——使用机器学习来改进机器学习设计，如体系结构或优化器，的想法...。
20日上午，中兴通讯发布声明表示不能接受美国商务部对中兴的制裁，而全民关于中国芯的讨论依旧在持续，在这个关键的时间节点，阿里巴巴布局芯片的一系列消息也接连曝光，继昨天下午阿里巴巴达摩院正在研发Ali，NPU神经网络芯片的消息曝光之后，今天，4月20日，上午又了解到阿里巴巴全资收购杭州中天微系统有限公司，简称中天微系统，，后者是一家嵌入...。
字幕组双语原文，时间卷积网络，时间序列的下一场革命，英语原文，TemporalConvolutionalNetworks，TheNextRevolutionforTime，Series?翻译，雷锋字幕组，君思，这篇文章回顾了几个最新的基于TCN的解决方案，我们首先介绍运动检测的案例研究，并简要回顾一下TCN架构及其相对于传统方法，如卷...。
雷锋网AI科技评论按，今日，谷歌分享了SemanticExperiences，在博客中展示了两大关于自然语言理解的互动工具，TalktoBooks是一个可以从书中的句子层面搜索书籍的全新检索模式；另一个互动内容则是Semantris，一个由机器学习驱动的单词联想游戏，地址，https，research.google.com，sem...。
雷锋网AI科技评论按，在GoogleI，O2018上，除了Google助手给餐馆打电话的场景赢得现场观众的喝彩外，在用户写邮件时可预测下一句的SmartCompose技术同样也引得众人欢呼，近期，谷歌大脑团队首席软件工程师YonghuiWu在GoogleAIPo出了这篇详细介绍SmartCompose原理的博文，雷锋网AI科技评论将其...。
这个时代，房子、车子都是人们的硬性需求，房价是越涨越高的，但车子的价格却越来越低，所以基本上每个家庭都会拥有一辆汽车，汽车销售行业兴起的同时也带动了相关汽车服务产业的发展，汽车是耐用品，市场达到一定饱和程度后就很难再谋取到效益，但汽车服务项目可以时间久地经营下去，那么如何加盟汽车服务呢，关于如何加盟汽车服务这个问题，我们可以结合具体的...。
8月4日，TCLArt艺术电视品鉴会暨公益音乐季在深圳湾1号莱佛士酒店云颂音乐厅举行，正如TCLArt的初衷，艺术是一种力量，触动我们的感官，充沛我们的情感，启迪我们的生活，借用科技的力量让更多的朋友欣赏和创造激发内心最自然的灵感，通过TCL第三代艺术电视A300系列和5位顶尖青年音乐家带来弦乐五重奏，在这个美妙的云端音乐殿堂，通过多...。
AI掘金志独家获悉，希捷科技全球资深副总裁暨中国区总裁孙丹，已于近期离职，孙丹在其朋友圈中如此解释辞职原因，究其根源是中美对立的大环境，即使是十多年的，爱情，在国家利益面前也脆弱如纸，截止2024年，孙丹在希捷一共工作了十一年，是带领希捷中国区从寂寂无名走向辉煌的核心人物，孙丹与希捷的故事，始于2012年希捷重仓中国市场的决定，当...。
发表在米家投影仪2021，1，513，35米家投影仪系列采用的都是小巧轻便的遥控器，这样的遥控器总是会在不经意间丢了，放到了不知什么地方，如果米家投影仪遥控器丢了怎么办呢，有什么东西可以来代理遥控器吗，下面就为大家分享几种临时替代遥控器操控的方法，米家投影仪遥控器丢了怎么办方法一，键鼠操控在米家投影仪的USB接口上接入键盘和鼠标，键盘...。
1.QQ飞车，腾讯自研的一款抢手赛车游戏，玩家可以在游戏中体验抚慰的赛车竞技，2.搭瞎咫尺明月刀，腾讯自研的一款角色表演游戏，以武侠环球为背景，提供丰盛的剧情和精巧的画面，3.有限规律，腾讯自研的一款射击游戏，驳回大逃杀形式，玩家须要在游戏中生活上去，4.逆战，腾讯自研的一款射击游戏，允许多人在线对战，提供多种游戏形式，5.王者荣耀，...。
