究竟靠不靠谱 DeepL 号称打败谷歌翻译的
鉴于数据、计算力、算法等诸多门槛,自神经机器翻译(NMT)产品化以来,在很大程度上便是互联网巨头们的竞技场。
如今,又一个新的挑战者高调加入进来,直接把矛头指向堪称行业技术标杆的谷歌、微软以及 Facebook。
上周,来自德国的 DeepL 翻译 上线,号称实现了 NMT 技术的新突破,打造出了“世界上最精确、语言组织最自然的机器翻译系统”;并宣布在自家组织的盲测中,打败了谷歌翻译以及微软与 Facebook 的 NMT 系统,衅意十足。
目前,DeepL 翻译已支持英德法西等 42 门欧洲语言,正在对汉、日、俄等语言进行训练,并计划在将来发布一款 API,让开发者能够将 DeepL 翻译整合入其应用中。
公司前身
首先要说,这家公司的来历并不简单。
公司的前身是运营已近十年的在线外语词典 Linguee,DeepL 翻译也完全由Linguee 团队打造。 Linguee 在国内没什么存在感,至于在海外……有谷歌翻译专美于前,存在感也不是很高,但还是有一批认可它的用户。
不过,Linguee 的成败现在已经不重要,毕竟都换马甲了——Linguee 在今年正式更名 DeepL,以“Deep”提醒 VC 自己是一家正儿八经的深度学习公司。
真正重要的是 Linguee 的技术积累。Linguee 由前谷歌翻译研究员 Gereon Frahling 在 2007 年离职开发,2009 年正式上线。就雷锋网所知,Linguee 的核心优势是它的爬虫和机器学习系统,前者抓取互联网上的双语对照翻译,后者对这些翻译的质量进行评估。两者结合,使 Linguee 成为了当时“世界上首个翻译搜索引擎”。十年积累,Linguee 无论在数据和对算法的研究上都不可小觑。
一年前,其研究团队着手欲实现一个新目标:利用在机器翻译领域的多年专业积累,打造一套业内最先进的 NMT 系统。这便是 8 月 29 日上线的DeepL 翻译。
三大优势
既然底子厚实,我们来看看这些积累给 DeepL 带来了哪些资源优势。
雷锋网要提醒,以下信息均是 DeepL 一家之言,尚无第三方背书,大家需自行判断其含金量。
Linguee 的数据集有逾十亿组对照翻译语句,号称是世界上最大的人工翻译数据集。Linguee 能随时搜索近似翻译结果。
DeepL 在冰岛搭建了一台超算,号称在全球 HPC 中性能排名第 23 位,浮点运算能力达到 5.1 petaFLOPS。因而能实现令 DeepL 十分自豪的计算速度: 每秒处理百万量级的词语翻译。
采用 CNN 而不是 NMT 产品通用的 RNN。DeepL 宣称其技术积累使得它能够克服 CNN 的主要短板,因而能实现比基于 RNN 的竞品算法更精确、自然的翻译结果。
效果展示
DeepL 宣称其翻译系统的表现打败了谷歌翻译以及微软、Facebook 的 NMT 系统, 是基于两个指标:盲测反馈和 BLEU 分数。
DeepL 邀请了职业翻译者,对DeepL 翻译、谷歌翻译、微软翻译以及 Facebook 的 NMT 系统进行了盲测,要求测试者选出所认为的最好的翻译结果。测试语言为三组,分别是英德、英法、英西互译,样本为 100 个句子。DeepL 并未公布每组参与测试的职业译者数量。测试结果如下:
如图所示,在每一门测试中,选择 DeepL 的测试者都最多。DeepL 在英译德、英译法、英译西的优势尤其明显。其官方统计是: 选择DeepL 为最佳翻译结果的次数,与选择另外三家 NMT 服务的平均比例为 3:1 。
BLEU 是业内评估机器翻译质量最常用的打分算法,其得分被认为与人类的评判结果具有较大相关性。
DeepL 宣布,其英译德、英译法的 BLEU 得分超过了所有已发表的 NMT 研究,包括谷歌 TransFormer。结果如下:
如图,在英译法项目上,DeepL 的 BLEU 分数超过次优方案约 3.5%。
业内观点
踏入江湖的第一日,DeepL就自封“天下第一”。业内同行对此怎么看?
对此,雷锋网咨询了搜狗语音交互中心总监陈伟、商鹊网 CEO 邹剑宇,以及 Facebook 机器学习工程师王杨。需要说明的是,三位老师均表示:由于缺乏关于 DeepL 算法、数据库的第一手资料,也没有来自第三方的信息,无法对其翻译水平做出客观判断。商鹊网的 CEO 邹剑宇评论道:“从相关报道中,对算法的描述并不详细,没有论文披露细节,所以并不好理解。“
因此,以下仅为这四位看到 DeepL 宣传信息后的一些个人看法。
一、
在 Facebook从事应用机器学习的工程师王杨,听到这件事的第一反应是怀疑——单是同时胜过谷歌翻译和Facebook NMT这一点,不拿出有足够说服力的证据就难以取信于人。谷歌的NMT 积累深厚,Facebook的NMT也在快速发展。一个新的产品想要如其所宣传的那样实现大幅超越,很难。
若 DeepL 确实在技术上实现了突破, 那么不排除他们有全新的多语种(multilingual)模型。
至于 DeepL 的算法模型基于 CNN 而不是 RNN,王杨表示“这从侧面支持了 Facebook 的研究”。FAIR(Facebook AI Research)一直认为 CNN 在机器翻译上的潜力远远大过 RNN,尤其是计算速度,这也是 Facebook 在 NMT 领域的主要研究方向之一。
二、
搜狗语音交互中心总监陈伟,他们机器翻译团队刚刚在 WMT 2017评测中获得中英、英中两个翻译方向的第一名,他认为数据对 DeepL 的贡献可能远大过其它因素。而 Linguee 的数据爬取和积累,是一项不小的优势。
陈伟评论道:
据一位德语专业的译员说,DeepL 德英互译的体验确实不错,这丝毫不意外——作为一家德国公司,顺理成章的,DeepL 重点关注的是德英、法英这些语种的翻译。这为 DeepL 在这几门语种的数据积累也提供了一定的聚焦和便利。
DeepL 公布的盲测、BLEU 评分,衡量的均是德、法、西这三门欧洲语言与英语之间的互译。
在算法方面,陈伟向雷锋网表示:
他并不认可“CNN 是神经机器翻译未来”的说法:
最后,陈伟总结,根据 DeepL 公布的报告,目前的评测存在三个地方导致难以评估其技术:
三、
商鹊网 CEO 邹剑宇十分认同数据和计算资源对 NMT 产品的重要性:
对于 BLEU 值究竟能在多大程度上客观反映翻译质量,邹剑宇强调,需要合理看待其参考价值,不可把它等同于普通人面对翻译结果的直观体验:
他最后忍不住拿自家产品做对比,表示商鹊网的新引擎甚至达到了比谷歌翻译高出 6 个百分点的BLEU 值。
原创文章,未经授权禁止转载。详情见 转载须知 。