Compose 神经网络可以帮你写 Gmail 谷歌 Smart 邮件了 (composition)
雷锋网 AI 科技评论按 ：在 Google I/O 2018 上，除了 Google 助手给餐馆打电话的场景赢得现场观众的喝彩外，在用户写邮件时可预测下一句的 Smart Compose 技术同样也引得众人欢呼。近期，谷歌大脑团队首席软件工程师 Yonghui Wu 在 Google AI Po 出了这篇详细介绍 Smart Compose 原理的博文，雷锋网 AI 科技评论将其内容编译如下。
Google I/O 2018 上，谷歌介绍了 Gmail 中的一项新特性，智能预测拼写功能：Smart Compose，该新特性利用机器学习，交互式地为正在写邮件的用户提供补全句子的预测建议，从而让用户更快地撰写邮件。Smart Compose 基于此前智能回复（Smart Reply）技术开发而来，Smart Compose 提供了全新的方式来帮助用户撰写邮件，无论用户是在回一封来件还是从草稿箱起草一封新邮件。
谷歌在开发 Smart Compose 的过程中，遭遇到了以下这些关键挑战：
找到对的模型
比如 ngram，neural bag-of-words（BoW）和 RNN language 这种典型的语言生成模型，它们是基于前缀词序列来预测下一个词的。然而，在一封邮件中，用户在当前邮件撰写会话中打下的单词会给模型一个信号，模型会利用该信号来预测下一个单词。为了结合更多用户想表达的上下文，谷歌的模型还会利用邮件主题和此前的邮件正文（假设用户正在回复一封刚刚收到的邮件）。
谷歌的方法是包含利用额外语境的一个方法，该方法是将问题转换成一个序列到序列（seq2seq）的机器翻译任务，其中源序列是邮件主题和上封邮件正文（假设存在上封邮件）的串联，用户正在写的邮件是目标序列。尽管该方法在预测质量上表现良好，但它的延迟要比谷歌严苛的延迟标准超出了好几个量级
为了提高预测质量，谷歌将一个 RNN-LM 神经网络与一个 BoW 模型结合起来，结合后的模型在速度上比 seq2seq 模型要快，且只轻微牺牲了预测质量。在该混合算法中，谷歌通过把词嵌套们平均分配在每个区域内，来对邮件主题和此前的邮件内容进行编码。随后谷歌将这些平均分配后的嵌套连接在一起，并在每次执行解码步骤时将它们提供给目标序列 RNN-LM，过程如下面的模型图解。
Smart Compose RNN-LM 模型架构。将邮件主题和此前邮件信息进行编码，采用的方法是将它们的词嵌套平均分配在每一个区域内。随后，平均后的嵌套会在每次执行解码步骤时提供给目标序列 RNN-LM。
加速模型训练和服务
当然，一旦选定了这种建模方法，谷歌就必须调整各种模型超参数和使用超过数十亿的样本来训练这些模型，所有的这些操作都相当费时。为了实现加速，谷歌使用了一个完整 TPUv2 Pod 来执行实验。在这情况下，谷歌能够在一天之内将一个模型训练至收敛状态。
在谷歌训练出速度上更快的混合模型之后，初始版本的 Smart Compose 在一个标准 CPU 上运行时，依旧存在几百毫秒的平均服务延迟，这与 Smart Compose 努力预测语句来帮用户节省时间的特点是不相符的。幸运的是，谷歌可在推断期间使用 TPU 来大大地加速用户体验，通过分流 TPU 之上的大部分计算，谷歌可以将平均延迟改良至几十毫秒，同时也能大大增加单一机器可处理的服务请求数量。
公平性和隐私
由于语言理解模型会反映人类的认知偏倚，这样会导致得到多余的词汇联想和句子完成建议，所以在机器学习内实现公平至关重要。Caliskan et al. 在他们近期的「Semantics derived automatically from language corpora contain human-like biases」论文中指出，模型的词联想深陷于自然语言数据的偏倚数据中，这为打造任何一个语言模型都带来了相当的挑战。在模型训练过程中，谷歌积极地寻找方法来持续降低潜在的偏倚。另外，由于 Smart Compose 是基于数十亿的短语和句子进行训练，这与废品邮件机器学习模型的训练方法一致，谷歌已经进行了广泛的测试来确保，模型只记忆多种用户都使用的常识语句，关于常识语句的调查结果源自这篇论文 The Secret Sharer: Measuring Unintended Neural Network Memorization & Extracting Secrets（）。
未来研究
谷歌将持续地研究改良语言生成模型的预测质量，为此谷歌会通过使用最先进的构架（如 Transformer，RNMT+等）和试用最新、最先进的训练技术来实现这一目标。一旦模型的实验结果满足了谷歌的严格延迟约束条件，谷歌就会把这些更加的先进模型部署到自家产品上去。另外，谷歌还在进行结合个人语言模型的研究，该模型的目的是给系统增加一个新特性，让它能够更加准确地模拟每个用户自己的写作风格。
via Google AI Blog，雷锋网 AI 科技评论编译。
原创文章，未经授权禁止转载。详情见 转载须知 。
查询百度权重和百度的关键字排名，查询360权重和360的关键字排名
中国电信官方网站•北京（原北京中国电信网上营业厅）-在线销售数码通讯、套餐/靓号等产品、正品低价、品质保障。同时为用户提供充值缴费、宽带办理、费用查询、在线客服、及品牌专区等全方位的网上自助服务；中国电信——世界触手可及。
宁波市双嘉仪器有限公司(www.nbsjialab.com)是优质的中试冷冻干燥机,生物制品冻干机,冬虫夏草冻干机,普通型冷冻干燥机,大型食品冻干机,立式/台式冷冻干燥机,压盖型冷冻式干燥机生产厂家,宁波市双嘉仪器有限公司不仅具有精湛的技术水平,更有良好的售后服务和优质的解决方案,欢迎来电洽谈
地热天气网_提供24小时、今天、明天、未来一周7天、10天、15天、30天及40天天气预报查询服务。
重庆哪家皮肤科医院看白癜风/牛皮癣好一点「重庆迪邦皮肤病医院」是重庆皮肤科最有名的医院,位列重庆皮肤科医院排名第一,是重庆市医保定点医院,专注治疗白癜风、牛皮癣等皮肤疾病,咨询电话：400-698-8568。
南平市建阳区福达竹木机械制造有限公司
CF蘑菇资源网站专注于推广绿色软件,官方软件,免费为大家提供最新最全的官方软件和绿色软件下载,打造国内最好绿色软件下载站,官方软件,绿色软件免费下载站!
南京艾凌节能技术有限公司简称艾凌节能，是因永磁调速技术而成立，专做产品：永磁调速器，永磁耦合器，永磁联轴器，永磁调速器系统，套筒式永磁调速器。永磁调速节能方案提供者和实践者。从此开启了完全自主知识产权的研究和产业化。
郑州永信工业搪瓷机械有限公司生产工艺先进、技术领先，瓷面光洁无污染；产品传热效率高，耐腐能力强，使用效果好。服务热线：13213082890
邻家快修提供附近管道疏通、防水补漏、墙面翻新、家具维修、水电维修、开锁换锁、门窗维保、瓷砖地板修复、厨卫改造等服务，专业师傅24小时在线服务，覆盖全国城市，同时有专业的家修类知识和问答，是专业的家庭维修服务平台
重庆派若特科技作为真空泵厂家,专注于莱宝/爱德华/科威尔/英帕/鲍斯真空泵机组,重庆油泵的销售及服务.根据多年的实战经验,在选型设计方面有丰富的积累与创新,可以为客户提供优质的服务.欢迎新老客户来电咨询!
从俄国数学家AndreyMarkov，安德烈·马尔可夫，提出著名的，马尔科夫链，以来，语言建模的研究已经有了100多年的历史，近年来，自然语言处理，NLP，发生了革命性的变化，2001年，YoshuaBengio用神经网络进行参数化的神经语言模型，开启了语言建模的新时代，其后，预训练语言模型如BERT和GPT的出现再次将NLP提高到一...。
Arduino是创客们DIY的必备法宝，借助Arduino开发板，创客们通过简单的代码程序就可以实现一些常用电子设备的运行功能，硬创邦此前曾发布过用Arduino制作的，乌龟机器人，、，家庭报警系统数控绘图仪，项目，今天，创新林创客空间为大家带来了一款Arduino温度计，这款温度计既可以作为日常温度计使用，又可以进行家用装饰，特别适...。
亲爱的采购商朋友，全国糖酒会作为国内历史悠久、规模宏大、影响深远的综合会展平台，始终致力于为行业发展和国民经济建设服务，举办至今已逾百届，第102届全国糖酒会以线上展形式举办，组委会携手集团，建立了集多维展示、线上洽谈交易、直播活动、大数据分析为一体的全国糖酒会线上云展平台，与往届糖酒会一致，本届会共设置了传统酒类、葡萄酒及国际烈酒、...。
鲜美的鸡汤文如同陈酿的美酒在人潦倒之时总像一剂强心针让人大彻大悟看破红尘……但是如果给你灌输毒鸡汤的是科技圈的大佬，那么亲们可要注意了，科技圈的各位大佬们向来是一个做技术靠谱，灌鸡汤必然带毒的重灾区，如果他们的鸡汤信以为真，那么人生路基本是要看破红尘了，1、反正他不知道就瞎编吧——比尔盖茨在中学或者小学写作文时，部分写作达人会创造出一...。
经济观察网记者瞿依贤李微敖2024年10月9日，经济观察网记者从多个信源得知，福建省医疗保证局，下称，福建省医保局，局长林圣魁近日坠楼身亡，一则落款为林圣魁妻女的讣告信息亦显示，林圣魁逝世于2024年9月30日，并在10月4日举办遗体告别仪式，2024年10月9日，福建省医保局官网网站的机构指导一栏，曾经删除了林圣魁的信息，只要副局...。
第一，双子座天秤座的人遇上双子座就意味着是捡到宝了，天秤座的人盼望浪漫的恋情，双子座对此是了如指掌，清分明楚，双子座擅长肺腑之言，然而这正是天秤座的人青睐听到的，双子往往能够用自己的肺腑之言赢得天秤的芳心，所以，这样的双子座是天秤座十分须要的，而且，他们都拒绝平清淡淡渡过永世，也拒绝清淡如水的婚姻生存，并为之付出致力，成功独特谋求，第...。
十二星座速配表—处女座天生绝配，金牛、摩羯、双鱼，懂得容纳，、射手、水瓶，出乎自己构想范畴，相斥星座，射手、水瓶，逻辑不相反，、白羊，不足大脑，、狮子，膨风，、双子，谈话像放屁，十二星座速配表—天秤座天生绝配，狮子，包装抢眼，、双子、水瓶，能说会道，相斥星座，白羊，粗鲁，、巨蟹，刁顽，、摩羯，万马齐喑，、天蝎，阴阳怪气，十二星座速配表...。
中韩文在线翻译APP，网络翻译、有道翻译官、出国翻译官、Google翻译、翻易通，1、网络翻译网络翻译app广阔中国网友们翻译、学习、上班、出国游览必备翻译&，词典工具软件，网络翻译app针对日本、韩国和美国3国游览方向深度提升，尊享贴身翻译服务，允许28种抢手言语，700，翻译方向服务，收录500万威望词条，新增专业柯林斯词典...。
1、斯威g05用的20l人造吸气发起机，其发起机作用是将汽油的热能经过在密封气缸内熄灭后收缩气体，推进活塞做功，转变为机械能以2021款斯威g05为例，其属于中型suv，车身尺寸是长4750mm宽1860mm高1780mm，轴距为2750mm，2、Swayg05装备了20L人造吸气发起机和15T涡轮增压发起机动力方面，这款车推出了两款...。
在不影响的情况下理论上把每一条视频都变成了带货视频一旦这个习惯形成一定是一个超级大的入口最近在内测一个新功能如下图所示你先点开一条视频点暂停然后就会出现视频里的了抖音的暂停识别画面的功能抖音营销电商抖音微新闻第张抖音的暂停识别画面的功能抖音营销电商抖音微新闻第张如果你喜欢这件衣服也可以直接在搜索栏中找到购买链接如果你想...
摔角主要分为日摔、美摔和墨摔三大类别，其中最为中国摔角迷熟悉的是美国职业摔角，而WWE则是目前世界最大的职业摔角上市公司，一个摔角联盟，那你知道WWE有哪些较为出名的摔角
pc6官方下载为您提供网易会议PC版,我们的网易会议PC版是一款非常好用的云会议软件，为您的组织提供全套开放、简单、安全的视频会议服务，支持SDK接入，让您的应用也可以随时随地视频会议，提升办公效率,您可以免费下载。
开个麻辣烫店能什么时候实现目标，如今智慧之选做麻辣烫生意是朋友多，其中麻辣剧麻辣烫项目实现目标快，收银大，是靠谱的加盟项目，大家知道致富要找到很好的商机还要创业者有足够的经验，现在麻辣剧麻辣烫这个项目的到来，总部提供多方面的指导，让加盟商可以轻松经营，麻辣剧麻辣烫之所以受到大众的喜爱，是因为它在香、鲜、麻、辣、嫩、艳、甘、补、法这九个...。
2018年2月25日，在当年度的MWC上，来自中国的智能手机厂商vivo亮出了一台名称为APEX概念机，它的接近100%的屏占比、升降式前置摄像头、隐藏式的听筒和传感器，让整个行业都为之震惊——有媒体评论称，这才是未来的手机，此后，据雷锋网所知，基于APEX概念机的产品理念，vivo相继推出了采用升降式前置摄像头设计的vivoNEX和...。
雷锋网AI金融评论消息，央行中汇金融科技，深圳，有限公司，下称，中汇金科，，日前在2020中国，深圳，金融科技全球峰会揭牌成立，这是继成方金科之后，央行年内成立的第二家金融科技公司，中汇金科由中国外汇交易中心，中国金融交易中心，发起设立，注册资本为10000万元，注册时间为2020年10月29日，被认为是是中国外汇交易中心在粤港澳大...。
11月13日上午，国台办举办例行资讯发布会，记者，据媒体披露，马斯克日前需要美国太空探求技术公司，SpaceX，的台湾地域供应商把消费业务搬出台湾地域，对此有何评论，国台办发言人朱凤莲，民进党当局固执保持，台独，决裂立场，勾连外部权利始终启动谋，独，寻衅，把台湾一步步推向兵凶战危的险境，无关意向标明民进党当局一味谋，独，寻衅，只会害台...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
