ChatGPT的翻译能力怎么样 实测 (chatgpt)

文章编号:36760 资讯动态 2024-11-30 腾讯AIChatGPT机器翻译Lab

在今天,狂热追捧ChatGPT,仿佛已经成为了一种“政治正确”。

ChatGPT一出,学界、工业界无不惊为天人。一位研究机构的资深研究员就对AI科技评论说过:“ChatGPT出来,直接给我们整不会了——生成做的比我们好就不说了,NLP(自然语言处理)能力还比我们强不少。”

微软注资百亿美元,谷歌则如临大敌,ChatGPT在科技圈里掀起的巨浪,仍是现在进行时。

但是,ChatGPT并非“万能钥匙”——大模型在某些专业领域的准确度,仍然无法超越其他垂类产品。近日,腾讯ai Lab 就通过实验证明,在机器翻译领域,ChatGPT在某些情况下,能力弱于其他商业翻译产品。

实测:的翻译能力怎么样?

1ChatGPT是个好翻译吗?

腾讯AI Lab的调查文指出:

首先,在高资源环境——如欧洲语言上——ChatGPT的表现与商业翻译产品(如谷歌翻译、DeepL Translate)相比具有竞争力,但是,在低资源环境——如古代语言——明显落后;

其次,在翻译的鲁棒性上,ChatGPT在生物医学摘要、或Reddit评论方面表现不如商业翻译产品,但是在口语方面也许会是一个很好的翻译工具。

为了更好地理解ChatGPT的翻译能力,腾讯AI Lab从以下三个方面开展实验:

提示词(Prompt)翻译:ChatGPT是一个大型语言模型,在翻译时需有提示词(Prompt)作为引导才能引导系统进行翻译。所以,提示词的风格会影响翻译输出的质量。例如,在多语言机器翻译模型中,如何将两种语言信息联系起来非常重要,这通常是通过附加语言标记来解决。

多语言翻译:ChatGPT是一个处理各种NLP任务并涵盖不同语言的单一模型,可以被视为一个统一的多语言机器翻译模型。因此,ChatGPT在资源差异(如高与低)和语系差异(如欧洲与亚洲)上的表现是该实验所探讨的重点之一。

翻译鲁棒性:ChatGPT是基于GPT-3开发的模型,GPT-3在涵盖各种领域的大规模数据集进行上训练,因此,在特定领域的表现,是这次研究者们的重点之一。

提示词翻译

为了设计触发ChatGPT机器翻译能力的提示词,腾讯AI Lab团队向ChatGPT提出以下prompt:

提供十个可以让你翻译的简明提示或模版

并获得图1中的结果:

实测:的翻译能力怎么样? 图1: ChatGPT推荐的10个可引发其进行机器翻译的prompt

生成的提示语看起来很合理,但是都有相似的格式,研究人员将它们总结成三个候选prompt(如图2),其中[SRC] 和 [TGT] 分别代表翻译的源语言和目标语言。另外,研究人员在Tp2中增加了一个额外命令,要求ChatGPT不要在翻译的句子上加双引号(在原始格式中经常发生)。尽管如此,ChatGPT依旧不稳定,如会将同一批次的多行句子翻译成单行。 实测:的翻译能力怎么样?

研究人员将三种不同的候选prompt与Flores-101的测试集在汉译英任务中的表现进行比较,图3显示了ChatGPT和其他三个翻译软件的结果。虽然ChatGPT提供了相当好的翻译,但它仍然落后于基线至少5.0个BLEU点。关于三个候选prompt,Tp3在所有指标方面表现的最好,因此在这篇论文中,研究者默认使用Tp3。

实测:的翻译能力怎么样?

图3:在中译英翻译任务中ChatGPT使用不同提示语的翻译表现对比

多语言翻译

腾讯AI Lab选择了四种语言来评估ChatGPT在多语言翻译中的能力,包括德语(De)、英语(En)、罗马尼亚语(Ro)和中文(Zh),这些语言在研究和竞赛中都被普遍采用。前三种语言同来自拉丁语系,而后一种则来自中文语系。研究人员测试了任意两种语言间的翻译表现,共涉及12次翻译。

资源差异

通过实验发现,在同语系中不同语言也存在资源差异。在机器翻译中,德英互译通常被认为是一个高资源任务,有超过1000万条语料。而罗马尼亚语与英语间互译语料要少得多。

如图4所示,ChatGPT在德译英和英译德上,与谷歌翻译和DeepL可以分庭抗礼;而在罗马尼亚语译英,和英译罗马尼亚语方面,则要明显落后。具体来说,ChatGPT在英译罗马尼亚语上获得的BLEU分数比谷歌翻译低了46.4%。

实测:的翻译能力怎么样?

图4:ChatGPT在多语言翻译中的表现

研究者认为,英语和罗马尼亚语之间的单一语言数据的巨大资源差异,限制了罗马尼亚语的语言建模能力,这部分解释了将英语翻译成罗马尼亚语表现差的原因。

相反,罗马尼亚语译成英语可以受益于强大的英语建模能力,使平行数据的资源缺口可以得到一定程度的补偿。

语系

同时,研究人员也考虑了语系的影响。

通常认为,对于机器翻译,不同语系之间的翻译通常比同一语系间翻译更难。研究人员发现,德英互译、汉英互译,或者德汉互译在文化和书写方式上存在差异。

另外可以发现,在这几种翻译中,ChatGPT和几款商业翻译软件间差距较大,研究者认为,这是因为在同一语系中知识转移比在不同语系间要好,对于既是低资源又来自不同语系的语言来说(如罗马尼亚语和汉语的互译),这种差距会进一步扩大。

由于ChatGPT在一个模型中处理不同的任务,低资源的翻译任务不仅与高资源的翻译任务竞争,而且还与其他NLP任务竞争模型容量,这说明其性能表现欠佳。

翻译鲁棒性

腾讯AI Lab进一步评估了ChatGPT在WMT19 Bio和WMT20Rob2和Rob3测试集上的翻译鲁棒性,这些测试集引入了领域偏见和潜在的噪声数据。

例如WMT19 Bio测试集是由Medline摘要组成的,这需要特定领域的知识处理,WMT20Rob2是来自Reddit的评论,可能包含各种错误,如拼写错误、单词遗漏、插入重复、语法错误、破坏性语言,和网络俚语等。图5列出了BLEU分数,显然ChatGPT在WMT19 Bio和WMT20Rob2测试集上的表现不如谷歌翻译和DeepL Translate。

实测:的翻译能力怎么样?

图5:ChatGPT在翻译鲁棒性方面的表现

原因可能在于,像谷歌翻译这样的商业翻译产品往往需要不断提高其翻译特定领域(如生物医学)或噪音句子的能力,因为它们是现实世界的应用,需要对分布之外的数据有更好地概括性,ChatGPT不太能够完成这一点。

不过,一个有趣的发现是,ChatGPT在包含众包语音识别语料的WMT20Rob3测试集上大大超过了谷歌翻译和DeepL Translate。这表明,ChatGPT本质上是一个人工智能对话工具,能够比商业翻译软件生成更自然的口语(见图6)。

实测:的翻译能力怎么样?

图6:来自WMT20鲁棒集set3的例子

2ChatGPT应如何扬长避短?

从该研究可知,高举高打的ChatGPT每训练一次就耗费大量算力资源,但也不能在全领域尽善尽美。所以,一些人开始思考,是否应该“摒弃”大模型思路,转而去做“精耕细作”的小模型。

腾讯AI Lab在Chat GPT“测评”中提到,罗马尼亚语与英语互译,相较德英互译存在较大差距,原因在于:巨大资源差异,限制了罗马尼亚语的语言建模能力,也恰恰证明,AI学习能力常常受到低资源的掣肘。

但也有资深学者认为,尽管现时ChatGPT仍存在不少不足之处,但仍然对研究者和创业者有着不少启示。以ChatGPT为代表的AI 3.0走的是跟过去 AI 浪潮不一样的路,即更落地、更接近真实世界,在工业应用上,更直接,更落地,从学术研究到工业落地的路径也变得更短、更快。

未来,“helpful, truthful, harmless”的 AI 系统会成为现实。

原创文章,未经授权禁止转载。详情见 转载须知 。

实测:的翻译能力怎么样?

全局中部横幅
里人移民网

提供最新的移民政策解读、签证申请指南以及留学资讯,是您可信赖的专业全球移民资讯平台。

SSL证书

数安时代(GDCA)是全球可信CA认证机构,可申请免费域名ssl加密数字证书,提供国密算法ssl证书,https协议证书,evssl证书,dvssl证书,ovssl证书,代码签名证书和PDF签名证书购买,体验一站式的ssl证书认证服务。

美拍网

美拍网页版精选了热门、明星、搞笑逗比、女神男神、音乐舞蹈、时尚美妆、美食创意、宝宝萌宠等好玩有趣的短视频

五楼圈

五楼圈-分享生活,热爱生活

首页

海口市公共资源交易平台

耐腐蚀化工泵,管道排污泵,多级管道泵,不锈钢离心泵,自吸磁力泵

浙江扬子江泵业有限公司是专业从事各类离心泵,磁力泵,排污泵,真空泵,自吸泵,隔膜泵,化工泵,齿轮泵,螺杆泵,浓浆泵,泥浆泵,多级泵,旋涡泵,液下泵,污水泵,潜水泵潜水排污泵,气动隔膜泵,耐腐蚀泵,自吸排污泵,耐腐蚀泵,油泵,变频无负压恒压供水设备产品生产和销售的企业,公司以良好的售后服务和优质的解决方案,欢迎来电洽谈等。

塘沽网站建设

塘沽网站建设_天津网站建设_塘沽SEO_求谛互动_热线:022-66351726

三杰软件

甘肃三杰软件科技有限公司自2009年成立以来,前期主要服务于自然资源系统业务领域,业务涉及系统集成、政务系统、GIS应用、运维服务等。在云计算、虚拟现实技术、大数据、AI等前沿技术基础上,基于MapGIS、ArcGIS、Java、Python等主流平台和开发语言,进行软件产品研发。公司现已建设完成多个适用于自然资源业务的项目,项目涵盖:电子政务、数据中心、数据库整合、国土资源“一张图”、国土资源综合监管平台、国土空间基础信息平台、国土空间规划“一张图”实施监督信息系统、档案系统、项目管理系统、人事管理、图书管理、即时通讯、AI辅助业务办公等。并且具有数十项项软件著作权,是具有自主知识产权并完成多项专业认证的高新企业。同时,我们为了更好的服务于用户,在各重点市(州)设立现场服务团队,为用户提供高效的及时现场技术服务支持。

逸游网络

专业制作企业网站、仿站、商城、门户定制和各行业网站的开发!我们致力于SEO优化、网站建设营销、推广等领域从事8年工作.

郑州数据恢复中心,郑州服务器恢复,河南数据恢复公司

郑州数据恢复公司专注于郑州硬盘数据恢复,郑州服务器数据恢复,郑州数据库恢复等数据恢复技术服务,先进的设备,强大的技术实力,恢复成功率常年保持行业前列!

血栓检测仪

贝斯曼目前产品主要有超声多普勒血流检测仪,胎儿心率仪,血栓检测仪,输血输液加温器,智能恒温箱等。是一家自主研发、生产及销售为一体的高科技医疗器械公司。

全局底部横幅