着眼两大核心应用问题 2018 SMP 第二届中文人机对话技术评测顺利落幕 (两个核心是)
雷锋网 AI 科技评论按:由中国中文信息学会社会媒体处理专委会主办、哈尔滨工业大学承办的第七届全国社会媒体处理大会(SMP 2018)于 2018 年 8 月 2 日- 4 日在哈尔滨召开。雷锋网作为独家战略媒体带来专题报道。
对话是人机交互最为流畅且自然的一种形式,因此人机对话成为自然语言处理的一个重要研究方向。以微软小冰、Siri 为代表的人机对话产品也作为产业界的代表应用迅速发展。与之相应地,人机对话的技术评测也成为了高校及企业技术的「练兵场」。
8 月 4 日下午,SMP 2018 第二届中文人机对话技术评测(The Second Evaluation of Chinese Human-Computer Dialogue Technology,SMP-ECDT) 的颁奖仪式及技术报告论坛顺利召开。
本届 SMP-ECDT 由中国中文信息学会社会媒体处理专委会主办,承办方包括哈尔滨工业大学和提供数据支持的科大讯飞股份有限公司,此外华为公司提供奖金支持。SMP 2018 技术评测委员会组织架构包括主席张伟男(哈尔滨工业大学),委员陈志刚(科大讯飞股份有限公司)、车万翔(哈尔滨工业大学)及张轶博(华为公司)。
本届 SMP-ECDT 技术评测沿袭上一年的赛制,分为用户意图领域分类及任务型人机对话在线评测两个任务。
用户意图领域分类(任务一)针对闲聊类和任务类两大类领域(domain),要求系统将用户在单轮对话的输入分类对应到相应的领域中;其中,任务类又细分为 30 个垂直领域。
在人机对话的应用过程中,只有正确判断用户的意图,并正确进行划分,才能进一步返回正确的回复结果。在本任务中,参赛者可以开放地获取除主办方提供的数据之外的训练及开发数据;主办方提供给定测试集,并运行参赛系统,在测试集上面得出评测结果。评价标准包括准确率(P)、召回率(R)及 F 值。
任务型人机对话在线评测(任务二)则涵盖机票类、火车票类、酒店类 3 个垂直领域,系统通过与测试人员实时在线对话完成相应的预定或查询任务。
整个评测过程对不同的参赛系统均给定相同的首轮对话输入,评测员根据给定的完整意图描述与参赛系统进行交互直至对话结束;系统返回所有任务(单任务或多任务)的执行结果,此外,如果单个任务在 30 个对话轮数之后仍未返回测试员所需的结果,则对话测试结束。评价指标包括任务完成率、对话轮数、用户满意度、回复语言的自然度及资源未覆盖情况的引导能力等五大领域。
SMP-ECDT 技术评测从 2018 年 4 月 1 日启动,历经近五个月的赛程,最终吸引了 80 支队伍共 248 位参赛者报名,相较去年第一届技术评测有了一定程度的提升。值得一提的是,来自工业界的队伍比重相比去年有所增加,SMP 2018 技术评测委员会主席、哈尔滨工业大学张伟男博士表示,这从一个侧面上反映了工业界对人机对话技术的关注度在不断提高,技术水平也在不断进步。
SMP-ECDT 技术评测于 7 月 23 日公布评测结果,详情如下:
尽管评测主题相比去年并没有明显变化,但张伟男博士向雷锋网 AI 科技评论介绍,两个任务都采用了新的数据集,且任务一的测试集规模更大,提升了技术评测的任务难度。
与之相应地,任务一参赛队伍的整体指标相比去年有所下降。不过,技术评测委员会也从中看到了参赛团队的进步。
「我们看到了最近比较火的基于 T2T 的 Transformer 模型应用在了任务一的参赛系统中,并且取得了第一名的成绩,相比于 LSTM,Transformer 仅利用 multihead 的 attention 技术,模型整体更加简单高效,同时我们还看到了 FastText 在数据预训练及获取词汇 embedding 上的应用及取得的成绩。」
而任务二除了采用全新数据集外,也参考去年所遇到的一些测试问题做出了修正。令评测委员会感到欣喜的是,今年任务二的任务完成率和平均话轮数两个主要指标有了明显的提升,张伟男博士表示,「这无疑标志着人机对话技术在过去的一年中,起码在我们这个任务中,有了较大的进步,让我们对后续的进展充满了信心和期待。」
从去年开始,SMP 技术评测委员会在刘挺老师和蒋盛益老师的支持下,于 SMP 大会上连续举办两届中文人机对话技术评测,开创先河。张伟男博士介绍道,在制定评测内容的过程中,委员会认为不仅要考虑人机对话研究上的热点,更应该考虑人机对话在实际应用中的关键核心问题。「经过多次讨论我们确定了两个评测任务,即用户意图分类和在线人机对话实时评测。经过两届的评测,我们欣喜地看到了人机对话技术在这两个任务上的进步,同时也发现了一些问题,如模型的领域迁移问题。」
结合各个团队在比赛过程中暴露的共同问题,评测委员会在未来调整评测重点及后续方案的制定。张伟男博士也表示,在未来,他们也将规划与真实应用场景的结合,如手机助手、智能音箱等,让参赛队伍能在实践中及时获得反馈并做出调整,这也有益于推动人机对话技术的进步与落地。
SMP2018中文人机对话技术评测(ECDT):
原创文章,未经授权禁止转载。详情见 转载须知 。

贵阳凯利建材有限公司专业从事混凝土生产、销售的部门。是贵州省较大的大型混凝土生产企业之一。企业坐落于山川秀丽、文学圣地修文县。随着西部大开发,贵州省各城区的建设发展,公司规模不断扩大,现已是注册资金1000万,投入资产3000万的大型企业,,其中设有生产部、实验部、市场部、质管部、质保部、对外贸易部、财务部、办公室等8个部室。 公司主要产品有混凝土、透水混凝土、彩色混凝土、彩色透水混凝土等水泥制品。公司产品通过ISO9001质量体系认证.并取得国家质量监督检验总局的“全国工业产品生产许可证”等各类生产与销售证书。 我厂主要生产的透水混凝土系列产品规格型号多达二十多种,公司采用先进的芯模振动制管机设备与技术,拥有年生产100万平方的生产能力,旗下的钢筋混凝土拥有不受地底温度影响,混凝土强度高、抗渗性好、安全流动性高、安装方便、绿色环保、抗外压能力强、生产效率高等优点。我厂生产的混凝土有以下特点: 1、色彩缤纷、色泽鲜明、透水度及表面耐磨性好、组群多样。 2、品种繁多、各式各样。 3、质量可靠:强度高、挤压不易损坏、面部平整、易于安装、对环境无污染、不褪色。 4、产量高:平均日产量达到3千平方以上。 “以质量求生存,以信誉谋发展”为理念、以市场需求为导向、以用户满意为宗旨、以科技进步为先导、以质量体系有效运行为保证,不断完美和巩固质量体系,提高企业竞争能力,发展企业规模经济。以专业的技术人员,先进的生产设备,成熟的生产工艺技术,严格的质量管理体系和完善的售后服务更好的服务于社会。由于公司产品质量可靠、信守合同、供货及时,受到广大用户一致好评。欢迎各界商家和客户前来指导、洽谈业务。 回顾多年的风雨历程,让客户满意一直是凯利永恒的主题,诚信不仅是凯利立身之本,更是企业可持续发展的保证。在未来的岁月中,凯利人将一如既往地在技术、服务和品质上全面发展,全心全意为客户提供更好的产品和更优的服务!