EMNLP 最佳论文放榜!北京大学联合微信AI团队获国内首篇 EMNLP 最佳长论文 2023 (emnlp最佳长论文)
全球自然语言处理领域的顶级会议EMNLP2023于12月6日-12月10日在新加坡召开,会议共接收4909篇投稿,主会录用论文1047篇,录用率21.3%。EMNLP的全称是Conference on EMPirical Methods in Natural Language Processing,由国际计算语言学会ACL组织每年举办一次,为自然语言处理领域最具影响力的国际会议之一。本次会议,微信AI团队有8篇文章被选中。其中,由北京大学和微信AI团队合作的文章获得EMNLP录取文章中最佳长论文奖(Best Long Paper Award),这也是EMNLP会议上国内首篇获此殊荣的论文。
微信AI团队榜上有名,参与研究文章获主会最佳长文
此次获奖的论文题为“Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning”,研究了 In-context learning(ICL)的工作机制。首次发现了上下文学习中展示示例的标签词起着 “锚点” 作用:1)在浅层计算层的处理过程中,语义信息聚集到标签词表示中;2)在深层计算层的处理过程中,标签词中的聚合的信息为语言模型的最终预测提供参考。基于这些发现,文章进一步提出了 “锚点重新加权” 方法来提高 ICL 的性能,以及用于诊断 ICL 错误的分析框架。这项工作也为未来的相关研究指引了新的方向。
图3. 上下文中展示示例的标签词作为“锚点”的示意图
论文作者来自北京大学孙栩教授团队和微信AI团队,其中论文的第一作者王乐安是在微信AI团队实习的北大研究生(本科为北京大学智能科学与技术系2019级全系第一名),这也是他中稿的第一篇自然语言处理领域主会论文。在论文的研究过程中,北京大学孙栩教授团队和微信AI团队紧密合作,在研究方向、核心问题、实验改进、以及论文修改等方面进行了充分的讨论和深入的工作,其中王乐安扎实的数理基础和专业知识,孙栩教授清晰准确的指导和建议令人印象深刻。
深耕前沿技术,微信AI团队多项研究可圈可点
微信AI团队在EMNLP2023的表现充分展示了其在AI领域的专业实力。微信AI团队保持着小而精的团队规模,团队成员几乎全部来自国内外顶尖高校的硕士或博士,一直保持着人才引入的高标准。除了本次 EMNLP2023 Best Paper (Long) Award,近年来团队成员参与的研究工作已经获得了多个重要奖项,包括RecSys2023 Best Paper (Short) Award, ACL2019 Best Paper (Long) Award等。
微信AI团队在多个领域的研究都取得了显著的成果。在全球学术界最具权威的机器翻译比赛(Workshop on Machine Translation,简称WMT)2020 ~ 2022连续三年里获得多个赛道冠军,比赛参与者包括众多来自全球的企业、科研机构和高校所组成的顶尖团队。在2018和2019年的对话系统技术挑战赛(Dialog System Technology Challenge,简称DSTC)中也蝉联多个赛道冠军。
微信AI团队一直致力于业务与学术研究的结合,在业务中挖掘科研课题。他们认为,业务与研究是相互促进的关系:“通过研究来发现更好的方法,最终结果也可以直接应用在业务中。”本次会议中的多项工作已经进一步推动了对话系统、微信翻译、微信读书、微信输入法等多个业务场景的应用。
附:微信AI团队入选的8篇文章
版权文章,未经授权禁止转载。详情见 转载须知 。