四大研究领域揭示自然语言技术的奥秘 MSRA副院长周明博士 (四大研究领域是什么)

MSRA副院长周明博士:四大研究领域揭示自然语言技术的奥秘

雷锋网 AI 科技评论按:在 EmTech China 峰会上,微软亚洲研究院副院长周明博士围绕自然语言四个方面的进展,结合 MSRA 在自然语言上的一系列研究成果做了介绍,雷锋网 AI 科技评论根据速记整理如下:

人工智能最重要的分支就是自然语言的理解与处理,即语言智能,通过对词、句子、篇章进行分析,对内容里面的人物、时间、地点等进行理解,然后在此基础上,去支持一系列核心技术,比如跨语言的翻译、问答系统、阅读理解、知识图谱等技术,基于这些技术,又可以把它应用到其它应用领域,比如说搜索引擎、客服、金融、新闻等等领域。总之,就是通过对语言的理解,实现人跟电脑的直接交流,从而实现人跟人更加有效地交流。自然语言技术不是一个独立的技术,其受云计算、大数据、机器学习、知识图谱等等各个方面的支撑。

接下来将从四个方面介绍自然语言的进展,即神经机器翻译、聊天机器人、阅读理解及机器创作。

神经机器翻译就是模拟人脑的翻译过程,人在翻译的时候,首先是理解这句话,然后在脑海里形成对这句话的语义表示,最后再把这个语义表示转化到另一种语言。

神经机器翻译有两个模块,一个是编码模块,把输入的源语言变成一个中间的语义表示,用一系列的机器的内部状态来代表,另一个模块是解码模块,根据语义分析的结果,逐词生成目标语言。

神经机器翻译在这几年发展非常迅速,2017 年的研究热度更是一发不可收拾,现在神经机器翻译已经取代了统计机器翻译,成为机器翻译的主流技术。目前有统计数据表明,在一些传统的统计机器翻译难以完成的任务上,神经机器翻译的性能远远超过了统计机器翻译,而且跟人的标准答案非常接近,甚至说是相仿的水平。围绕着神经机器翻译,研究者们已做了很多的工作,比如如何提升训练的效率,如何提升编码和解码的能力。还有一个重要的研究问题就是数据问题,神经机器翻译依赖于双语对照的大规模的数据集来训练,端到端地训练神经网络参数,这涉及很多语音段和很多的垂直领域,但我们实际上并没有那么多的数据,我们只有小量的双语数据和大量的单语数据。

所以,我们就提出了半监督的联合垂直模型,已知一个双语推导语料,分别对之训练,从而达到中英翻译系统与英中翻译系统的相互促进,比如拿中英翻译系统去翻中文的语料,形成很多伪的中英对照语料,然后把这个语料去加到英中翻译里面去。同样,用英中翻译系统去翻译大量的英文语料,然后把这个语料加到中英翻译里面,这样经过多次迭代之后,翻译水平大幅度提升。

微软现在已经全面采用神经机器翻译,最近还跟华为的 Mate10 手机合作,得到了神经机器翻译类似于在云上的效果。

第二个话题是聊天机器人。聊天机器人就是人和机器对聊,在聊天的时候机器要理解人的意图,产生比较符合人的想法,以及符合当前上下文的回复,再根据人与机器各自的回复将话题进行下去。微软小冰就是这样的一个聊天机器人。基于当前的输入信息,再加上对话的情感,以及用户的画像,经过一个类似于神经机器翻译的解码模型生成回复,可以达到上下文相关、领域相关、话题有关,而且是针对用户特点的个性化的回复。

这样的技术已经应用到微软的很多产品里,比如会 5 种语言、拥有 1 亿以上用户的微软小冰、可以进行自然人机交互的 Cortana、可以在敦煌回答游客问题的敦煌小冰。

MSRA副院长周明博士:四大研究领域揭示自然语言技术的奥秘

via

下一个话题是阅读理解,阅读理解就是让电脑看一遍文章,针对这些文章问一些问题,看电脑能不能回答出来。斯坦福大学曾做过一个比较有名的实验,就是使用维基百科的文章提出 5 个问题,由人把答案做出来,然后把数据分成训练集和测试集,训练集是公开的,用来训练阅读理解系统,而测试集不公开,个人把训练结果上传给斯坦福,斯坦福在其云端运行,再把结果报在网站上,这也避免了一些人对测试集做手脚。阅读理解技术,自 2016 年 9 月前后发布,就引起了很多研究单位的关注,大概有二三十家单位都在做这样的研究,一开始的水平都不是很高,以 100 分为例,人的水平是 82.3 左右,机器的水平只有 74 分,相差甚远,后来通过类似于开源社区模式的不断改进,它的性能就得以逐步地提高了。

最近在阅读理解领域出现的一个备受关注的问题,就是如何才能做到超越人的标注水平。现在微软、阿里巴巴、科大讯飞和哈工大的系统,都超越了人工的标注水平,这标志着阅读理解技术进入了一个新的阶段。这几个系统都来自中国,也体现中国在自然语言处理的进步。

一个阅读理解的框架首先要得到每个词的语义表示,再得到每个句子的语义表示,这可以用循环神经网络 RNN 来实现,然后用特定路径来找出潜在答案,基于这个答案再筛选出最优的答案,最后确定这个答案的边界。在做阅读理解的时候,是用到了外部的知识,可以用大规模的语料来训练外部的知识,通过外部知识训练的 RNN 模型,加入到原来端到端的训练结果中,以此来大幅度地提高阅读理解的能力。

最后介绍机器创作,机器可以做很多理性的东西,那么它可以做一些创造性的东西吗?10 年以前,我们就开始做微软对联,在此基础上,创作绝句、律诗、唐诗宋词等等,现在进行写歌谱曲。在微软对联里,用户输入上联,系统就可以对出下联,也可以给出横批;在字谜游戏里,用户给出谜面,让系统猜出字;或系统给出谜面让用户猜出字。

我们的编码解码技术已经成功用于神经网络机器翻译、小冰机器人和词曲创作中。中央电视台《机智过人》节目就曾播过我们的小冰与人类选手进行词曲创作比拼的环节,结果是小冰险胜人类。这件事说明如果有大数据,那么机器学习或者深度学习就可以模拟人类的创造智能,创造出一些作品来,也可以与专家合作,帮助专家产生更好的想法,然后两者配合,产生出美妙的音乐。

这个在以前是难以想象的,做自然语言的人从来没有想到自然语言还可以延伸到音乐上去,其实音乐也是一种语言,自然语言的所有技术就可以应用到音乐上去,这需要大家的想象力。

今天我快速介绍了自然语言处理在神经机器翻译、阅读理解、聊天机器人以及机器创作领域的进展。随着未来大数据、云计算和深度学习的发展,模型还会进一步地提升,再加上合适的场景,技术就可以落地,就可以服务于成千上万的用户。可以预料,随着自然语言处理技术的提高与普及,它将会与其他的人工智能技术一起提升人类的生活水平。

雷锋网延伸阅读:

专访MSRA副院长周明:中国NLP如何跻身世界顶尖水平?

微软副院长周明:NLP目前存在的问题、以及未来的发展方向

版权文章,未经授权禁止转载。详情见 转载须知 。

MSRA副院长周明博士:四大研究领域揭示自然语言技术的奥秘

全局中部横幅
顺德租车

广东佛山顺德大良商和租车公司主要服务于顺德市场商务租车、婚庆租车和旅游包车,车辆涵盖奔驰、宝马、奥迪、凌志、林肯加长、丰田、本田、日产、大众、别克等日系及欧美品牌的轿跑车、商务车及加长婚庆用车车型,我们将以优质的服务赢得您满意的答案,期待您的合作!

北京没筷子影视文化有限公司

北京没筷子影视文化有限公司成立于2019年,公司致力于以内容为核心布局广泛的影视产业链,开发项的目内容兼并商业类与艺术类,业务板块横向发展涉及影视剧开发、制作及艺人经纪业务;纵向发展以输出优秀青年导演及编剧为核心,推广具有创造价值的优质作品。公司拥有一支专业的内容创作团队,团队成员在各擅长领域精细打磨,同时在保护创作者的前提下,以孵化高质量的电影为共同努力的目标。

新氧

新氧是一款高人气医美整形网站和手机App,为你推荐地区的整形项目、整容机构、整形医生,在这还有海量整形美容日记,专业医美先搜新氧

x8管理系统

x8销售管理系统是集商品销售管理与会员管理为一体的综合管理系统,拥有专业的技术研发人员,为您提供高品质的商店会员、商品管理解决方案;支持多店连锁管理,使x8更适用于具有多家连锁店的商家使用;

宁夏恒康科技有限公司

宁夏恒康科技有限公司成立于2013年,位于宁夏贺兰工业园区,占地面积13万平方米,注册资金2亿元,是集胍盐类中间体、医药原料、动物营养、食品保健、新型材料等产品的研发、生产、销售为一体的科技型企业。公司现有员工300余名,53%以上拥有大专以上学历。公司建有1300平米的研发实验室,拥有独立的研发技术中心及配套的研发设备,具有完善的产品检测设备,QC实验室拥有液相色谱仪(HPLC)、气相色谱仪(GC)、红外光谱仪(IR)、质谱仪(MS)等实验设备,可独立开展相关的产品研发项目。依托自身丰富的人才优势和先进的硬件设施,公司承担多项自治区级科研示范项目,在盐酸二甲双胍、GAA、肌酸、DICY超细粉工艺技术创新方面取得了突出成果,相关技术指标达到国际先进水平。公司先后获评国家高新技术企业、自治区瞪羚企业、自治区科技型中小企业、专精特新中小企业、宁夏氰胺类医药中间体工程研究中心、宁夏医药中间体(贺兰)技术创新中心、贺兰县节水型企业及获得欧盟CEP和韩国KFDA等法规市场的通行证。

云商网

云商网整合企业产品信息、供求信息等B2B商机信息,为企业免费建商机网站,提供产品推广,打造云商网B2B电子商务平台,辅助中小企业开展B2B电子商务。

三三鱼

三三鱼是专业的在线编程考试答题及考试服务平台,平台提供编程考试搜试题、搜试卷、查答案、scratch考试题库、python考试题库、c\c++考试题库、机器人技术考试题库等服务。

天天外链

链接一键跳转微信小程序、公众号、企业微信、个人微信;支持短信、邮件、知乎、QQ、头条、抖音、微博、H5网页等市面上几乎所有APP。

精密机械加工

浙江创凯机电科技有限公司成立于2003年3月,注册资金1500万人民币,公司集精密模具设计和制造、精密冲压件、精密钣金加工、机加工、表面喷涂等为一体的企业,厂房总面积约13500平方米...

上海翱浩实业

上海翱浩实业有限公司致力于提供优质的工业通风设备及助燃热风机,专业解决方案满足您的各种需求,为您的生产提供强大支持。

广州华美[官方网站]

广州华美医疗美容医院,是较早开展医疗美容的品牌,具有正品联盟示范单位等资质,总占地面积15000平方米,分东、西两院。

全局底部横幅