Compose 神经网络可以帮你写 Gmail 谷歌 Smart 邮件了 (composition)
雷锋网 AI 科技评论按 ：在 Google I/O 2018 上，除了 Google 助手给餐馆打电话的场景赢得现场观众的喝彩外，在用户写邮件时可预测下一句的 Smart Compose 技术同样也引得众人欢呼。近期，谷歌大脑团队首席软件工程师 Yonghui Wu 在 Google AI Po 出了这篇详细介绍 Smart Compose 原理的博文，雷锋网 AI 科技评论将其内容编译如下。
Google I/O 2018 上，谷歌介绍了 Gmail 中的一项新特性，智能预测拼写功能：Smart Compose，该新特性利用机器学习，交互式地为正在写邮件的用户提供补全句子的预测建议，从而让用户更快地撰写邮件。Smart Compose 基于此前智能回复（Smart Reply）技术开发而来，Smart Compose 提供了全新的方式来帮助用户撰写邮件，无论用户是在回一封来件还是从草稿箱起草一封新邮件。
谷歌在开发 Smart Compose 的过程中，遭遇到了以下这些关键挑战：
找到对的模型
比如 ngram，neural bag-of-words（BoW）和 RNN language 这种典型的语言生成模型，它们是基于前缀词序列来预测下一个词的。然而，在一封邮件中，用户在当前邮件撰写会话中打下的单词会给模型一个信号，模型会利用该信号来预测下一个单词。为了结合更多用户想表达的上下文，谷歌的模型还会利用邮件主题和此前的邮件正文（假设用户正在回复一封刚刚收到的邮件）。
谷歌的方法是包含利用额外语境的一个方法，该方法是将问题转换成一个序列到序列（seq2seq）的机器翻译任务，其中源序列是邮件主题和上封邮件正文（假设存在上封邮件）的串联，用户正在写的邮件是目标序列。尽管该方法在预测质量上表现良好，但它的延迟要比谷歌严苛的延迟标准超出了好几个量级
为了提高预测质量，谷歌将一个 RNN-LM 神经网络与一个 BoW 模型结合起来，结合后的模型在速度上比 seq2seq 模型要快，且只轻微牺牲了预测质量。在该混合算法中，谷歌通过把词嵌套们平均分配在每个区域内，来对邮件主题和此前的邮件内容进行编码。随后谷歌将这些平均分配后的嵌套连接在一起，并在每次执行解码步骤时将它们提供给目标序列 RNN-LM，过程如下面的模型图解。
Smart Compose RNN-LM 模型架构。将邮件主题和此前邮件信息进行编码，采用的方法是将它们的词嵌套平均分配在每一个区域内。随后，平均后的嵌套会在每次执行解码步骤时提供给目标序列 RNN-LM。
加速模型训练和服务
当然，一旦选定了这种建模方法，谷歌就必须调整各种模型超参数和使用超过数十亿的样本来训练这些模型，所有的这些操作都相当费时。为了实现加速，谷歌使用了一个完整 TPUv2 Pod 来执行实验。在这情况下，谷歌能够在一天之内将一个模型训练至收敛状态。
在谷歌训练出速度上更快的混合模型之后，初始版本的 Smart Compose 在一个标准 CPU 上运行时，依旧存在几百毫秒的平均服务延迟，这与 Smart Compose 努力预测语句来帮用户节省时间的特点是不相符的。幸运的是，谷歌可在推断期间使用 TPU 来大大地加速用户体验，通过分流 TPU 之上的大部分计算，谷歌可以将平均延迟改良至几十毫秒，同时也能大大增加单一机器可处理的服务请求数量。
公平性和隐私
由于语言理解模型会反映人类的认知偏倚，这样会导致得到多余的词汇联想和句子完成建议，所以在机器学习内实现公平至关重要。Caliskan et al. 在他们近期的「Semantics derived automatically from language corpora contain human-like biases」论文中指出，模型的词联想深陷于自然语言数据的偏倚数据中，这为打造任何一个语言模型都带来了相当的挑战。在模型训练过程中，谷歌积极地寻找方法来持续降低潜在的偏倚。另外，由于 Smart Compose 是基于数十亿的短语和句子进行训练，这与废品邮件机器学习模型的训练方法一致，谷歌已经进行了广泛的测试来确保，模型只记忆多种用户都使用的常识语句，关于常识语句的调查结果源自这篇论文 The Secret Sharer: Measuring Unintended Neural Network Memorization & Extracting Secrets（）。
未来研究
谷歌将持续地研究改良语言生成模型的预测质量，为此谷歌会通过使用最先进的构架（如 Transformer，RNMT+等）和试用最新、最先进的训练技术来实现这一目标。一旦模型的实验结果满足了谷歌的严格延迟约束条件，谷歌就会把这些更加的先进模型部署到自家产品上去。另外，谷歌还在进行结合个人语言模型的研究，该模型的目的是给系统增加一个新特性，让它能够更加准确地模拟每个用户自己的写作风格。
via Google AI Blog，雷锋网 AI 科技评论编译。
原创文章，未经授权禁止转载。详情见 转载须知 。
爱客云商--网络营销策划顾问、深圳网站建设、深圳网络营销、深圳微信营销、微信营销、电商产品详情页制作、拍摄、渲染图制作
买水果就到果多美,安全无忧,品质无忧,价格无忧,产地直采,大众价格,品质保证
宿迁慈乌温控科技有限公司是南京星德机械有限公司的授权办事处，是专业从事模温机、工业冷水机、冷冻机、冷水机组的设计、生产、销售的大型模温机厂家，采用进口配件，产品使用寿命长。星德机械为你提供模温机价格、模温机维修等相关服务，欢迎来电咨询，我们将竭诚为您服务！
宁波市江北慈城不锈钢拉丝厂供应材料用途广泛，主要适用于五金轴承料、铆钉及空心铆钉料、洗衣机法兰、管料等。
沛叁网免费资源共享平台,专为新手打造的免费共享资源网,分享时尚动态资讯，专注您于你身边的生活资源，让生活更精彩。
高尔夫招聘具有影响力的高尔夫门户网唐高网Golf998.com
苏州探寻文化科技有限公司秉承寓教于乐的产品理念，应用现代科技，以时尚、动感、有趣、容易让现代人接受的方式将传统文化的内涵呈现出来。公司应用人工智能、大数据、云计算和物联网等技术成功研发了众多数字文化产品（①“琴棋书画”系列产品；②儿童互动教育系列产品；③红色党建系列产品；④数字博物馆系列产品）。公司旗下数字文化产品已广泛应用于文化馆、图书馆、博物馆、学校、部队、党群服务中心和旅游景区等领域，几乎每一个省份都可以体验到公司旗下数字文化产品。
巴州在线网(0996.net)为您提供新疆巴州库尔勒便民服务,包括新疆巴州库尔勒人才、房产、招聘、教育、旅游、特产、库尔勒香梨、天气、美食、二手车等新闻资讯。
临沂鲁临消防装备有限公司,生产销售:消防车.环卫车.抢险车.特种车.电动车.等车用铝合金卷帘门.云梯，后爬梯.旋转支架.消防工具挂架.铝合金扶手.不锈钢扶手护栏.平托.立拖.各种灯具等相关配件.本公司本着质量为上，诚信为本的原则回馈社会。
岩火科技（杭州）有限公司（简称：岩火科技）成立于2018年2月，是一家以信息化建设、大数据分析、云计算、增强现实技术为核心的科技公司。成立至今，我司积极参与智慧司法领域的建设，包括“浙江移动微法院”、“温州微仲裁”、“黄岩掌上非诉”等。
电池分为很多不同的品牌，超威电池的面世，迅速受到了市场的关注，品牌在行业内获得了可观的发展前景，因而让创业者产生了加盟想法，这部分关注到此品牌的创业者，想先知道超威电池怎么加盟，感兴趣的话就继续看下面介绍的内容吧，超威电池自从创立之后，不断研制出的新的产品，旗下面世售卖的产品，均符合质量检测标准，品牌从客户满意角度出发，用求真务实的风...。
雷锋网消息，6月2日，科创板上市委2020年第33次审议会议结果公告显示，同意中科寒武纪科技股份有限公司发行上市，首发，针对此次寒武纪此次IPO过会，上市委提出问询，希望寒武纪发行人进一步说明对智能计算集群系统业务的定位及该业务的可持续性，说明人如何维持核心技术人员的稳定性和持续研发能力，以及结合公司主要产品及在研产品的预计市场规模...。
发表在综合交流大区2023，3，1714，36如今，当贝等投影行业巨头代表牵头制定的全新，CVIA流明亮度，标准正式启用，作为行业先锋，当贝投影率先采用CVIA流明亮度标准，那么通过全新的亮度标准来看，哪款投影仪CVIA流明亮度最高呢，哪款投影仪CVIA流明亮度最高，目前仅当贝投影和坚果投影全面采用CVIA亮度标准，相信未来会有更多的...。
蝴蝶姐姐官宣怀孕，孩子爸是上海医生，罗志祥经纪人送祝福,怀孕,罗志祥,周扬青,王力宏,蝴蝶姐姐
1、景程官网指点价暂无，综合评分401景程Epica引入中国消费整车彰显强调力气的欧洲静止轿车格调，并领有中级车中最长的车身，外部空间严惩温馨，更装备了多项低档车才有的性能雪佛兰景程实践油耗如何车主一起级别车；雪佛兰景程是一台典型的美系车型，车体尺寸比拟大，外部的空间比拟的宽阔，乘坐温馨性很好，2010年的车型经常使用的是20升的发起...。
六个四角星的标记是是斯巴鲁重要车型有，Legacy力狮SUBARUXVOutback傲虎Impreza翼豹Forester森林人BRZTribeca驰鹏ImprezaWRXSTITrezia，特雷奇，StellaEV，斯特拉EV，Dex，德克斯，Pleo，普雷欧，Exiga，埃克西加，拓展资料，斯巴鲁是富士重工业株式会社，FHI，旗下...。
公众凌渡是公众汽车公司推出的一款中级车型，其外观设计时兴慷慨，车内设计明亮温馨，营建出一种轻松自在的觉得，此外，公众凌渡的性能体现也是杰出的，装备1.4T涡轮增压发起机，最大功率可达150马力，最大扭矩可达250牛·米，成性能源微弱、操控精准、油耗昂贵的成果，1、温馨性能公众凌渡的温馨性能也是杰出的，无论是前排座椅还是后排座椅，都驳回...。
长安欧尚X70A是一款属于紧凑型SUV的车型，它领有5门7座的车身结构，关于2020款1.5L长安欧尚X70A手动基本型，其车身尺寸区分为长4620mm、宽1770mm、高1820mm，轴距为2750mm，最小离地间隙为195mm，该车型搭载了一款1.5L人造吸气发起机，最大马力为107Ps，最大扭矩为145Nm，最大功率为79kW，...。
天霸编程助手是一款基于易语言和铃心自定义开发的编程助手软件，能够帮助用户更加有效的提升编程速度，软件内置了非常多的功能
抖音,微信，已经成为当下所有用户的潮流聚集地，几乎每个用户手机上都安装有微信，抖音。继而，市场上出现了一系列关于两个平台的衍生类产品，目的是帮助我们获得更好的体验，那么，抖音微信必备软件是什么？有哪些？下面就跟着小编一起了解，探索吧~
这里收集一些比如delphi,c语言编程软件,VisualStudio,delphi等优秀的编辑软件,plc编程软件。PC6免费提供编程软件,c语言编程软件下载
Office2003,MicrosoftOffice2003是一套由微软公司开发的办公软件，它为MicrosoftWindows和AppleMacintosh操作系统而开发,您可以免费下载。
服装行业内有很多可供选择的品牌，雅戈尔则包含在内，品牌不仅吸引消费者到店购买，也值得创业者来加盟，这部分创业者想知道加盟雅戈尔品牌需要多少钱，继续跟着小编浏览下面介绍的内容，现有不同城市的创业者选择加盟雅戈尔品牌，一线城市、二线城市、三线城市的创业者，需具备大约16万元、13万元、12万元的费用，创业者可以将这里介绍的费用作为参考，具...。
真奇喵机器人·编程创客中心是卓灿教育集团旗下机器人教育品牌，以机器人·编程教育为载体，以3，16岁儿童和青少年为对象，结合美国霍华德·伽德纳博士提出的多元智能理念，因材施教，全方面开发孩子的动手能力、创意能力、多学科综合运用能力、团队合作精神和竞争意识，为青少年打造机器人·编程教学、机器人·编程实践和机器人·编程竞赛等综合性教育平台！...。
12月7日，2021世界糖尿病大会成功召开，在大会上，由国际糖尿病联盟，IDF，、北京大学人民医院、北京大学国际医院、平安智慧城市、平安科技、平安健康联合举办的，全球首届糖尿病综合管理国际人机大赛，的比赛结果正式公布，平安AskBob，AI医生，的糖尿病综合管理能力以92.4vs89.5媲美参赛国际内分泌主治医生团队，证实了AskBo...。
作者，饶舒玮编辑，岑峰在月初，一则名为#男子打鼾一夜呼吸暂停800次#的话题在微博被讨论了数百万次，不少网友也因为这则新闻被科普了OSA，阻塞性睡眠呼吸暂停，，严重可导致猝死，北京大学睡眠研究中心主任韩芳教授介绍，每5个打鼾的人之中，就有1人患有OSA，且患者群体呈现年轻化趋势，庞大的患者规模和日渐增强的健康意识，带动了家用呼吸机的销...。
有购买了海尔电视的朋友想要安装第三方软件，但不知道海尔电视怎么安装第三方软件，其实直接用U盘安装就可以了，准备工作，U盘一个，海尔电视一台教程中的海尔电视型号为LU55J71，制造时间是2021年11月22日，教程可能因为设备型号或制造时间的不同有所差异，1、下载当贝市场安装包百度搜索当贝市场，进入官网，下载安装包并复制到U盘，2、安...。
