GPT-4终结人工标注！AI标注比人类标注效率高100倍，成本仅1/7|ai|示例|置信度|gpt-4|软件安装包
用微信扫码二维码
分享至好友和朋友圈
【新智元导读】
这个开源工具，居然能用GPT-4代替人类去标注数据，效率比人类高了100倍，但成本只有1/7。
大模型满天飞的时代，AI行业最缺的是什么？毫无疑问一定是算（xian）力（ka）。
老黄作为AI掘金者唯一的「铲子供应商」，早已赚得盆满钵满。
除了GPU，还有什么是训练一个高效的大模型必不可少且同样难以获取的资源？
高质量的数据。OpenAI正是借助基于人类标注的数据，才一举从众多大模型企业中脱颖而出，让chatGPT成为了大模型竞争中阶段性的胜利者。
但同时，OpenAI也因为使用非洲廉价的人工进行数据标注，被各种媒体口诛笔伐。
时代周刊报道OpenAI雇佣肯尼亚廉价劳动力标注
而那些参与数据标注的工人们，也因为长期暴露在有毒内容中，受到了不可逆的心理创伤。
卫报报道肯尼亚劳工指责数据标注工作给自己带来了不可逆的心理创伤
总之，对于数据标注，一定需要找到一个新的方法，才能避免大量使用人工标注带来的包括道德风险在内的其他潜在麻烦。
所以，包括谷歌，Anthropic在内的AI巨头和大型独角兽，都在进行数据标注自动化的探索。
谷歌最近的研究，开发了一个和人类标注能力相近的AI标注工具
Anthropic采用了ConstitutionalAI来处理数据，也获得了很好的对齐效果
除了巨头们的尝试之外，最近，一家初创公司refuel，也上线了一个AI标注数据的开源处理工具：Autolabel。
Autolabel：用AI标注数据，效率最高提升100倍
这个工具可以让有数据处理需求的用户，使用市面上主流的LLM（ChatGPT，Claude等）来对自己的数据集进行标注。
refuel称，用自动化的方式标注数据，相比于人工标注，效率最高可以提高100倍，而成本只有人工成本的1/7！
就算按照使用成本最高的GPT-4来算，采用Autolabel标注的成本只有使用人工标注的1/7，而如果使用其他更便宜的模型，成本还能进一步降低
采用AutolabelLLM的标注方式之后，标注效率更是大幅提升
对于LLM标注质量的评估，Autolabel的开发者创立了一个基准测试，通过将不同的LLM的标注结果和基准测试中不同数据集中收纳的标准答案向比对，就能评估各个模型标注数据的质量。
当Autolabel采用GPT-4进行标注时，获得了最高的准确率——88.4%，超过了人类标注结果的准确率86.2%。
而且其他比GPT-4便宜得多的模型的标注准确率，相比GPT-4来说也不算低。
开发者称，在比较简单的标注任务中采用便宜的模型，在困难的任务中采用GPT-4，将可以大大节省标注成本，同时几乎不影响标注的准确率。
Autolabel支持对自然语言处理项目进行分类，命名实体识别，实体匹配和问答。
支持主流的所有LLM提供商：OpenAI、Anthropic和GooglePalm等，并通过HuggingFace为开源和私有模型提供支持。
Autolabel免除了编写复杂的指南，无尽地等待外部团队来提供数据支持的麻烦，用户能够在几分钟内开始标注数据。
可以支持使用本地部署的私有模型在本地处理数据，所以对于数据隐私敏感度很高的用户来说，Autolabel提供了成本和门槛都很低的数据标注途径。
所以，不论是律所想要通过GPT-4来对法律文档进行分类，还是保险公司想要用私有模型对敏感的客户医疗数据进行分类或者筛查，都可以使用Autolabel进行高效地处理。
如果没有Autolabel，用户需要首先收集几千个示例，并由一组人工注释者对它们进行标注，可能需要几周的时间——熟悉标注方针，从小数据集到大数据集进行几次迭代，等等。
而如果使用Autolabe可以在分钟内就对这个数据集进行标注。
首先安装所有必要的库：
现在，将OpenAI密钥设置为环境变量。
下载和查看数据集
将使用一个名为CivilComments的数据集，该数据集可通过Autolabel获得。你可以在本地下载它，只需运行:
接下来，通过运行agent.plan，使用config中指定的LLM对的数据集进行一次标注
定义下面的配置文件:
如果要创建自定义配置，可以使用CLI或编写自己的配置。
最后，进行数据标注:
输出结果为54%的准确率不是很好，进一步改进的具体方法可以访问以下链接查看：
技术细节：标注质量Benchmark介绍
在对Autolabel的基准测试中，包含了以下数据集：
表1：Autolabel标注的数据集列表
表2：用于评估的LLM提供者与模型列表
本研究在三个标准上对LLM和人工标注进行评估：
对于每个数据集，研究人员都将其拆分为种子集和测试集两部分。
种子集包含200个示例，是从训练分区中随机采样构建的，用于置信度校准和一些少量的提示任务中。
测试集包含2000个示例，采用了与种子集相同的构建方法，用于运行评估和报告所有基准测试的结果。
在人工标注方面，研究团队从常用的数据标注第三方平台聘请了数据标注员，每个数据集都配有多个数据标注员。
此过程分为三个阶段：
研究人员为数据标注员提供了标注指南，要求他们对种子集进行标注。
然后对标注过的种子集进行评估，为数据标注员提供该数据集的基准真相作为参考，并要求他们检查自己的错误。
可以看到，与熟练的人工数据标注员相比，最先进的LLM已经可以在相同甚至更好的水平上标注文本数据集，并且做到开箱即用，大大简化了繁琐的数据标注流程。
但由于LLM是在大量数据集上训练出来的，所以在评估LLM的过程中存在着数据泄露的可能。
研究人员对此进行了例如集合的额外改进，可以将表现最好的的LLM（GPT-4、PaLM-2）与基准真相的一致性从89%提高到95%以上。
对于提供对数概率的LLM（text-davinci-003），研究人员使用这些概率来估计置信度。
对于其他LLM，则使用FLANT5XXL模型进行置信度估计。
例如，上图显示，在95%的质量阈值下，我们可以使用GPT-4标注约77%的数据集。
添加这一步的原因是token级日志概率在校准方面的效果不佳，如GPT-4技术报告中所强调的那样：
GPT-4模型的校准图：比较预训练和后RLHF版本的置信度和准确性
95%与基准真相一致的完成率
相比之下，人类标注者与基准真相的一致性为86.6%。
从上图可以看到在所有数据集中，GPT-4的平均完成率最高，在8个数据集中，有3个数据集的标注质量超过了这一质量阈值。
而其他多个模型（如text-bison@001、gpt-3.5-turbo、claude-v1和flan-t5-xxl）也实现了很好的性能：
平均至少成功自动标注了50%的数据，但价格却只有GPT-4API成本的1/10以下。
在接下来的几个月中，开发者承诺将向Autolabel添加大量新功能：
支持更多LLM进行数据标注。
支持更多标注任务，例如总结等。
支持更多的输入数据类型和更高的LLM输出稳健性。
让用户能够试验多个LLM和不同提示的工作流程。
我是一万米高的搞笑女2023-09-1719:21:36
山东聊城正鑫通风设备有限公司专业生产制造:通风气楼,薄型通风天窗,通风天窗厂家,屋脊通风天窗,屋顶风机,屋顶自然通风器,三角型排烟天窗,一字型排烟天窗厂家等通风设备;全面满足不同行业客户需求18063561168
4399我的世界官网为您提供我的世界PC版合成表、我的世界中国版、我的世界资源、我的世界下载、我的世界视频，pc中文版。
支票打印软件|快递单打印软件|票据打印软件|小灰狼软件|官方网站
西部数码是创于2002年的老牌云计算服务商。专业提供云服务器、虚拟主机、域名注册、企业邮箱等,50余万个虚拟主机网站及1000余万个域名用户的共同选择！免费备案，7x24小时售后支持，助企业无忧上云。
全国潮汐预测数据和天气风浪预报，通过数据分析对钓鱼和赶海爱好者提供赶海和鱼口时间分析预测-潮汐表精灵Eisk.Cn
空气净化系统供应商
深圳市强禾科技有限公司是一家无线智能照明解决方案提供商，一直深耕智能照明行业，专注蓝牙照明方案和wifi照明方案.可提供蓝牙LED控制器、wifi灯带控制器、蓝牙LED球泡灯、投光灯、智能幻彩灯等智能灯控照明整体解决方案。
无锡市帕沃尔科技有限公司专注于台式车床,工装治具,冷冻机的制造、销售和服务.力图用精湛的技术为广大国内外客户提供全面的现场解决方案以及完善的产品与服务.
佛山市众兴龙建材有限公司【18929959978】是一家专业生产铝吊顶,铝天花,铝方通,铝扣板的厂家,专注生产铝质金属天花板数十年，承接各类金属铝天花工程，专业铝质天花板生产
蚊字经验，是一个文学类知识分享网站。分享文言文,唐诗宋词,历史知识,文学知识成语大全等的综合网站。
山东蓝海环保科技有限公司主营PP管,PP风管,聚丙烯风管,塑料通风管道,我厂承接各种PP通风工程,设计,制造,安装,售后为一体,各种PP管件及深加工产品.
格润智能装备（深圳）有限公司.点胶机自动点胶机厂家，提供全自动焊锡机,AOI检测设备与品牌.格润智能成立于2006年，是专注于自动化装联和半导体设备的国家高新技术企业。秉承着“助力智能制造、振兴民族品牌”的使命和“让中国制造享誉世界”的愿景，格润智能布局了3C电子、新能源、半导体三大领域。
央视网信息，海关总署11月12日再次出台推进西部陆海新通道树立15条重点动作，关键聚焦继续优化跨境班列全体运转效率；扩展铁海联运境内段运费扣减政策范畴等，允许打造内陆开明综合枢纽，进一步推进西部陆海新通道高品质开展，前10月通道进进口1.15万亿元同比增8.8%2024年是，西部陆海新通道总体布局，印发五周年，2024年1至10月，全...。
央视网信息，海关总署11月12日再次出台推进西部陆海新通道树立15条重点动作，关键聚焦继续优化跨境班列全体运转效率；扩展铁海联运境内段运费扣减政策范畴等，允许打造内陆开明综合枢纽，进一步推进西部陆海新通道高品质开展，前10月通道进进口1.15万亿元同比增8.8%2024年是，西部陆海新通道总体布局，印发五周年，2024年1至10月，全...。
[全球网报道记者孟媛]据联结资讯网等台媒11月13日报道，台北地检署侦办京华城案，13日上午第七度提讯民众党主席柯文哲，柯文哲首度以光头外型走下囚车，让在场等待的记者一度认不进去，岛内猜想称，不知道柯文哲能否因不满台北地检署放开对其延伸羁押，而以光头笼统启动抗议，台湾东森资讯云称，柯文哲被动需要理发，台北看管所向柯文哲提供电动推剪，理...。
11月12日，据新华社报道，中央层面整治方式主义为基层减负专项上班机制办公室会同中央纪委办公厅对3起整治方式主义为基层减负典型疑问启动通报，其中，山西太原市清徐县违规经常使用资金，培修政府办公楼楼顶、树立广场景观小品，引关注，通报显示，清徐县投资5.9亿元树立县城水系生态控制及市区停车场惠民工程，名目实施环节中，清徐县违规将县政府综合...。
[全球网报道]据法新社报道，外地期间13日，乌克兰全境发布空袭警报，乌克兰总统办公室方面同时正告称，基辅行将受到导弹袭击，报道称，乌克兰总统办公室主任安德里·叶尔马克13日在社交平台Telegram上发布正告称，俄方正对基辅发起导弹袭击，报道提到，乌克兰空军今日早些时刻也正告说，一枚导弹已进入乌克兰领空，正朝首都基辅方向飞去，法新社还...。
11月13日，国务院台办举办例行资讯发布会，有记者问，赖清德日前称，台湾强化，守护海疆，有，三大意义，，包含所谓，国舰国造，政策持重行进及片面强化，守护海疆，战力等，对此有何评论，对此，发言人朱凤莲示意，台湾是中国的一局部，没有所谓的，海疆，赖清德当局固执保持，台独，决裂立场，蓄意，备战谋独，，升高两岸统一反抗，严关键挟台海和颠簸固...。
11月13日，中国人民束缚军南部战区组织海空兵力位中国黄岩岛领海领空及周边区域战备警巡，这是战区部队依法展开的巡查警戒活动，关系资讯，中国政府宣布申明，外交部、海警局同时发声，新华日报，中国政府就黄岩岛领海基线宣布申明中华人民共和国政府于11月10日就中华人民共和国黄岩岛的领海基线宣布申明，申明全文如下，中华人民共和国政府对于黄岩岛领...。
全球时报，全球网报道记者邢晓婧，13日，外交部发言人林剑掌管例行记者会，法新社记者提问称，帕劳总统宣称，中国船只再次进入帕劳，专属经济区，是违犯其主权的行为，还称帕劳方面曾经举旗正告，但中方依然始终派船进入，中方对此有何回应，我不了解你提到的无关状况，林剑称，，我要指出的是，中国是担任任的国度，一向依法依规展开近海渔业和陆地迷信...。
据央视资讯11月13日信息，外地期间11月12日，乌克兰总统泽连斯基签订了乌国度安保和国防委员会提交的，对俄罗斯和白俄罗斯实施制裁的法则，该制裁法则触及102个机构和15人，其中包含黑海港口市区塞瓦斯托波尔市市长拉兹沃扎耶夫，另据央视资讯，乌克兰国防部外地期间11月12日在社交媒体上示意，乌克兰国防部长乌梅罗夫与美国国防部长奥斯汀启动...。
►文观察者网熊超然，客厅桌子上摆放的外交杂志上刊登着中俄指导人的头版资讯，墙上挂着梦露、肯尼迪和‘猫王，等美国名人的照片，旁边还有古巴反派英雄格瓦拉的大幅画像，这是西方媒体近日在东帝汶总统若泽·拉莫斯，奥尔塔，JoseRamos，Horta，家中采访时所看到的现象，法新社在10月15日发布的这篇采访报道中，描画这一极具对比性的场景，...。
据@大湾区之声信息，香港特区政府警务处国度安保处，国安处，昨日，12日，在红磡区采取执法执行，拘捕一名57岁女子，他涉嫌违犯，保养国度安保条例，第二十四条，明知而发布具怂恿用意的刊物，罪，警方调查显示，该名被捕女子涉嫌屡次经过社交平台继续发布具备怂恿用意的讯息，内容包含怂恿他人惹起对中央及香港特区政府憎恨及宣扬暴力，国安处今天，13日...。
随着以色列在加沙、约旦河西岸和黎巴嫩的执行中面临的国内社会压力越来越大，英国首相斯塔默抵赖，正在思考对两名以色列部长启动制裁，综合金融时报、耶路撒冷邮报等16日报道，斯塔默要制裁的两名以色列部长区分是以色列财政部长贝扎勒尔·斯莫特里奇，BezalelSmotrich，和国度安所有长伊塔马尔·本，格维尔，ItamarBen，Gvir，...。
据新华社报道，第十五届中国国际航空航天博览会将于11月12日在广东珠海揭幕，参与航展的中外战机以及航展物资正陆续达到珠海，其中一架俄罗斯第五代隐形战役机苏，57备受注目，让中国军迷兴奋的不光是苏，57战役机初次在珠海为中国观众展现飞机功能，更由于驾驶这架编号054的苏，57战役机航行员是俄罗斯传奇试飞员谢尔盖·博格丹，现年62岁的博格...。
近日，陈都灵上班室颁布了一组陈都灵的写真照片，照片中陈都灵衣着白色格裙，手中把玩毛线圈显得俏皮可恶，暖和动人，...。
我以为修图片用Photoshop最好用，1、Photoshop简称PS，是照片解决的专业软件，假设启动过便捷的PS学习，解决起图片来还是十分好用的，并且它很专业，能解决其余软件不能解决的疑问，2、美图秀秀美图秀秀是一款很好用的国产收费图片解决软件，操作便捷，可以实现对照片的赞美、美容及其余的装璜，这款软件的操作和程序相关于专业图片解决...。
据外交部网站信息，外交部发言人林剑7月11日掌管例行记者会，会上有记者提问称，台湾地域，国防部，示意，他们在24小时内侦查到66架次中国大陆军机在该岛周围出现，数量创下往年以来最高纪录，这能否与本次北约峰会相关，对于你提到的无关疑问，倡导向主管部门征询，我要在这里指出的是，台湾是中国领土无法宰割的一局部，不存在什么‘国防部，中国人...。
1949年出世的人属牛，1949年出世，此年出世者乃是己丑年出世，天干己土，地支丑土，性情较为执著，此年生属牛之人勇猛善战，属牛之人生于1949年春，凡事富有主意，胆识过人，作事极具气魄，然早年时运不济，处处做事受阻，一事无成，宜审时度势，思索缜密，方能创出一番事业，生于夏，天生痴呆，气质不俗，祖业丰富，六亲有助，永世衣食富有，无大灾...。
