GPT-4终结人工标注！AI标注比人类标注效率高100倍，成本仅1/7|ai|示例|置信度|gpt-4|软件安装包
用微信扫码二维码
分享至好友和朋友圈
【新智元导读】
这个开源工具，居然能用GPT-4代替人类去标注数据，效率比人类高了100倍，但成本只有1/7。
大模型满天飞的时代，AI行业最缺的是什么？毫无疑问一定是算（xian）力（ka）。
老黄作为AI掘金者唯一的「铲子供应商」，早已赚得盆满钵满。
除了GPU，还有什么是训练一个高效的大模型必不可少且同样难以获取的资源？
高质量的数据。OpenAI正是借助基于人类标注的数据，才一举从众多大模型企业中脱颖而出，让ChatGPT成为了大模型竞争中阶段性的胜利者。
但同时，OpenAI也因为使用非洲廉价的人工进行数据标注，被各种媒体口诛笔伐。
时代周刊报道OpenAI雇佣肯尼亚廉价劳动力标注
而那些参与数据标注的工人们，也因为长期暴露在有毒内容中，受到了不可逆的心理创伤。
卫报报道肯尼亚劳工指责数据标注工作给自己带来了不可逆的心理创伤
总之，对于数据标注，一定需要找到一个新的方法，才能避免大量使用人工标注带来的包括道德风险在内的其他潜在麻烦。
所以，包括谷歌，Anthropic在内的AI巨头和大型独角兽，都在进行数据标注自动化的探索。
谷歌最近的研究，开发了一个和人类标注能力相近的AI标注工具
Anthropic采用了ConstitutionalAI来处理数据，也获得了很好的对齐效果
除了巨头们的尝试之外，最近，一家初创公司refuel，也上线了一个AI标注数据的开源处理工具：Autolabel。
Autolabel：用AI标注数据，效率最高提升100倍
这个工具可以让有数据处理需求的用户，使用市面上主流的LLM（ChatGPT，Claude等）来对自己的数据集进行标注。
refuel称，用自动化的方式标注数据，相比于人工标注，效率最高可以提高100倍，而成本只有人工成本的1/7！
就算按照使用成本最高的GPT-4来算，采用Autolabel标注的成本只有使用人工标注的1/7，而如果使用其他更便宜的模型，成本还能进一步降低
采用AutolabelLLM的标注方式之后，标注效率更是大幅提升
对于LLM标注质量的评估，Autolabel的开发者创立了一个基准测试，通过将不同的LLM的标注结果和基准测试中不同数据集中收纳的标准答案向比对，就能评估各个模型标注数据的质量。
当Autolabel采用GPT-4进行标注时，获得了最高的准确率——88.4%，超过了人类标注结果的准确率86.2%。
而且其他比GPT-4便宜得多的模型的标注准确率，相比GPT-4来说也不算低。
开发者称，在比较简单的标注任务中采用便宜的模型，在困难的任务中采用GPT-4，将可以大大节省标注成本，同时几乎不影响标注的准确率。
Autolabel支持对自然语言处理项目进行分类，命名实体识别，实体匹配和问答。
支持主流的所有LLM提供商：OpenAI、Anthropic和GooglePalm等，并通过HuggingFace为开源和私有模型提供支持。
Autolabel免除了编写复杂的指南，无尽地等待外部团队来提供数据支持的麻烦，用户能够在几分钟内开始标注数据。
可以支持使用本地部署的私有模型在本地处理数据，所以对于数据隐私敏感度很高的用户来说，Autolabel提供了成本和门槛都很低的数据标注途径。
所以，不论是律所想要通过GPT-4来对法律文档进行分类，还是保险公司想要用私有模型对敏感的客户医疗数据进行分类或者筛查，都可以使用Autolabel进行高效地处理。
如果没有Autolabel，用户需要首先收集几千个示例，并由一组人工注释者对它们进行标注，可能需要几周的时间——熟悉标注方针，从小数据集到大数据集进行几次迭代，等等。
而如果使用Autolabe可以在分钟内就对这个数据集进行标注。
首先安装所有必要的库：
现在，将OpenAI密钥设置为环境变量。
下载和查看数据集
将使用一个名为CivilComments的数据集，该数据集可通过Autolabel获得。你可以在本地下载它，只需运行:
接下来，通过运行agent.plan，使用config中指定的LLM对的数据集进行一次标注
定义下面的配置文件:
如果要创建自定义配置，可以使用CLI或编写自己的配置。
最后，进行数据标注:
输出结果为54%的准确率不是很好，进一步改进的具体方法可以访问以下链接查看：
技术细节：标注质量Benchmark介绍
在对Autolabel的基准测试中，包含了以下数据集：
表1：Autolabel标注的数据集列表
表2：用于评估的LLM提供者与模型列表
本研究在三个标准上对LLM和人工标注进行评估：
对于每个数据集，研究人员都将其拆分为种子集和测试集两部分。
种子集包含200个示例，是从训练分区中随机采样构建的，用于置信度校准和一些少量的提示任务中。
测试集包含2000个示例，采用了与种子集相同的构建方法，用于运行评估和报告所有基准测试的结果。
在人工标注方面，研究团队从常用的数据标注第三方平台聘请了数据标注员，每个数据集都配有多个数据标注员。
此过程分为三个阶段：
研究人员为数据标注员提供了标注指南，要求他们对种子集进行标注。
然后对标注过的种子集进行评估，为数据标注员提供该数据集的基准真相作为参考，并要求他们检查自己的错误。
可以看到，与熟练的人工数据标注员相比，最先进的LLM已经可以在相同甚至更好的水平上标注文本数据集，并且做到开箱即用，大大简化了繁琐的数据标注流程。
但由于LLM是在大量数据集上训练出来的，所以在评估LLM的过程中存在着数据泄露的可能。
研究人员对此进行了例如集合的额外改进，可以将表现最好的的LLM（GPT-4、PaLM-2）与基准真相的一致性从89%提高到95%以上。
对于提供对数概率的LLM（text-davinci-003），研究人员使用这些概率来估计置信度。
对于其他LLM，则使用FLANT5XXL模型进行置信度估计。
例如，上图显示，在95%的质量阈值下，我们可以使用GPT-4标注约77%的数据集。
添加这一步的原因是token级日志概率在校准方面的效果不佳，如GPT-4技术报告中所强调的那样：
GPT-4模型的校准图：比较预训练和后RLHF版本的置信度和准确性
95%与基准真相一致的完成率
相比之下，人类标注者与基准真相的一致性为86.6%。
从上图可以看到在所有数据集中，GPT-4的平均完成率最高，在8个数据集中，有3个数据集的标注质量超过了这一质量阈值。
而其他多个模型（如text-bison@001、gpt-3.5-turbo、claude-v1和flan-t5-xxl）也实现了很好的性能：
平均至少成功自动标注了50%的数据，但价格却只有GPT-4API成本的1/10以下。
在接下来的几个月中，开发者承诺将向Autolabel添加大量新功能：
支持更多LLM进行数据标注。
支持更多标注任务，例如总结等。
支持更多的输入数据类型和更高的LLM输出稳健性。
让用户能够试验多个LLM和不同提示的工作流程。
我是一万米高的搞笑女2023-09-1719:21:36
百度是一家持续创新的,以“用科技让复杂世界更简单”为使命的高科技公司。
闪艺《模拟人生》是一款超好玩的互动阅读作品，快带上好友一起来玩吧~
智慧识别系统是一款免费的人脸识别软件,可以针对访客人脸识别确定,打卡签到,人脸考勤管理,支持动态人脸识别,一键微信登陆。
厦门微思网络提供思科CCNA,CCNP,CCIE培训,华为HCIA,HCIP,HCIE培训,也提供红帽RHCE培训,OracleOCP培训,VMware培训,是福建省广受认可的IT认证培训中心
彩印之星数码印刷秉承质量为本,诚信为旨,客户为尊的经营理念,提供从印前的设计→印刷→配送的一站式服务！印刷服务热线：13375572560,台历定制印刷，白卡彩盒，瓦楞包装印刷，手提袋印刷，教辅印刷厂,教材印刷厂,教科书印刷厂,提供精品画册印刷、彩印之星数码,彩印之星自主报价,彩印之星报价,彩印之星印刷报价系统
中科（辽宁）实业有限公司成立于2014年1月，原名辽宁中科环境监测有限公司，注册资金4000万元，公司总部座落于辽宁省鞍山市高新区越岭路257号，建筑面积2400平方米,其中实验室面积1800平方米。公司旨在致力于环境检测，包括地表水、地下水、生活饮用水、生活污水、工业废水、环境空气、污染源废气、环境噪声、社会生活噪声、工业企业噪声、铁路噪声、建筑施工噪声、公共场所卫生、土壤等权威的第三方专业环境检测机构。公司具有专业的技术服务团队，公司现有员工11人，中级工程师共7名，技术人员大多毕业于环境工程、应用化学
千米游戏攻略网_是一个致力于为游戏爱好者提供最新最全面的游戏资讯的网站。无论你是喜欢电脑游戏、手机游戏还是主机游戏，我们都会为你提供最新的游戏新闻、评测、攻略等内容。无论你是想了解最新的游戏发布动态，还是需要一些游戏技巧指导，我们都能满足你的需求
杭州心光流美网络科技有限公司官方网站
轴承加热器,感应加热器,电磁感应加热器,齿轮加热器,轴承加热设备,轧机轴承加热器,工频感应加热器,中频感应加热器
信阳市明珠珍珠岩有限公司是一家集矿石开采、粉碎加工膨胀珍珠岩（珠光砂）制品生产制造经营企业。手机:13837612185
山东德葡石材装饰工程有限公司自2019年创立以来，立足于“中国石材之乡”--山东平邑，是一家集矿山开采、石材生产加工、批发销售、工程设计、工程施工、工艺雕塑、装饰施工等为一体的大型石材企业。拥有占地3万多平方米的石材加工生产车间，占地8千多平方米的原材料堆场，经营领域横跨整个石材产业链。德葡石材以规模和实力奠定行业地位，在市场大潮中浩荡前行，在激烈竞争中乘风破浪，力求高质量、高效率地满足各地客户的合作需求。
人们在出行的时候对交通工具都会有需求，短途出行可以借助简单的交通工具，稍微远一些的话便需要乘坐汽车，为了更加方面人们出行，市场中出现了很多的出行软件，网约车便是其中备受人们欢迎的服务平台，顾客们只需要在线上平台中下单，便会有车辆直接上门接送，非常的便利，不错的市场需求量，吸引了很多创业者的关注，那么网约车加盟费多少钱，网约车怎么加盟，...。
作为一名大学生，我们的生活中都有不可或缺的文具用品，上课会用到钢笔啊，圆珠笔啊，笔记本啊之类的文具用品，下课会用到订书器啊，等文具用品，总之，文具用品在我们的生活中是必不可少的东西，既然经常用到文具用品，那自然知晓它的一些品牌，那么文具有哪些品牌呢，下面我会大家简单的介绍一下！众所周知，我们的文具指文化学习工具，我们的产品非常的受欢迎...。
出门在外，有很多时候需要住酒店，近些年，我国的酒店行业快速发展，市场规模大，发展前景好，在选择创业项目的时候，有些创业者想要加盟开酒店，酒店的类型有很多，比如说经济型酒店，那么，我国经济型酒店的发展特点是什么，接下来，小编来介绍一下，提到经济型酒店，很多小伙伴都不陌生，在国内外，有各种各样的经济型酒店品牌，比如说七天酒店、锦江酒店、锦...。
创业，一个热门的话题；餐饮，一个高人气的行业，小吃，一个更有成功性的途径，而备受市场认可的线上花甲米线，更是行业中的一把好手，就线上花甲米线加盟费用的介绍，感兴趣的朋友不妨跟着小编一起去了解一下，花甲米线是近年才兴起的一个行业，因其做法新颖，口味独特，老少皆宜，备受追捧，美食城、小吃街、写字楼附件、街头巷尾等、随处可见花甲摊点，经济快...。
鞋子是每个人在日常生活中都不可或缺的必需品，同时不同的场合对鞋子种类的需求也时候不同的，鞋子也如同衣服一般需要换季，市场需求一直是有增无减的，引得众多创业者想要加入其中，那么，加盟十大品牌男鞋有哪些，且看下文介绍，1、百思图鞋百思图成立于2001年，致力于生产年轻、时尚、具有意大利风格的都市鞋子，凭借着较好的品质和服务，百思图逐渐在鞋...。
创业这件事简单吗，不简单！资金、经验、资源等缺一不可，可随着品牌化市场的形成，只要您有一定的经济基础，小白也能轻松创业，就豆花妈妈加盟而言，备受市场看好的同时，也是吸粉无数，就豆花妈妈加盟费用，走，一起去了解一下，豆花妈妈甜品不仅延续传统的制作工艺，同时还利用先进的技术来制作风格不同的豆花产品，加入了特色主打，台湾豆花系列产品，独树一...。
近年来，餐饮行业中的美食越来越多，尤其卤菜的发展很是不错，所以很受创业者的关注，天府烤卤作为行业中较具知名度的品牌，其自进入市场以来，就获得了社会的关注，所以想要加盟其中的人也日益增多，那么，天府烤卤加盟费多少，下面，就让我们来了解下吧，天府烤卤自2011年成立至今已有十年，在这段时间内，其不断为客户提供贴心的服务，并不断研发新产品，...。
市场上的娱乐项目越来越多，台球就是个很好的放松方式，备受广大消费者的认可，因此市场上的台球厅也成功的吸引了不少创业者的目光，所以近年来，想要加盟其中的人也不在少数，那么，加盟台球厅多少钱，有加盟兴趣的话，那不妨一起来看看乔氏台球厅这个品牌吧，乔氏台球厅的品牌介绍乔氏台球厅隶属于北京秋民策体育文明有限公司，其自2007年成立以来，便以主...。
过桥米线作为家喻户晓的美食，在餐饮市场上具有较高的知名度，其智慧之选成本少，创业小在市场上具有稳定且广泛的消费群体，因此想要智慧之选其中的创业者更是不在少数，那么面对市场上眼花缭乱的加盟品牌，小编就为大家列举过桥米线加盟店排行榜可供大家进行参考比较，下面请看小编的以下的分析解答，品牌发源于山东济南，以直营、特许经营、自由连锁的经营模式...。
火锅餐品有着庞大的受众群体，其多年来一直保持着较高的市场热度，各地每年新开的火锅店更是数不胜数，在一众火锅店品牌中，季季红火锅凭借矫矫不群的优势出现在大众视野中，这不禁引起业内外人士的广泛关注，慕名前往品牌店用餐的顾客人数源源不断，公司销售额以较快的速度增长着，为向各位读者推荐该项目，本文将就季季红火锅加盟费多少的话题进行解答，给有需...。
创业难不难，难！但不可否认的是，加盟的赋能，能够让不少创业小白少走弯路，对此，你认可吗，化妆品店连锁加盟排行的介绍，感兴趣的朋友不妨跟着小编一起去了解一下，集团于1841年在香港创立，现已发展成全球较大的国际保容零售商，在25个市场经营超过14，900家商店，2、SEPHORA丝芙兰SEPHORA，，全球知名化妆品零售商，，1969年...。
麻辣鸭脖，特色风味小吃，可作为休闲食品，也可作为佐酒佳肴，深受消费者的喜爱与追捧，当下，不少打算进军餐饮行业的朋友都瞄准了商机，想要加盟麻辣鸭脖，不过各位首先要弄清楚麻辣鸭脖加盟费多少钱，不妨看看下文，大家的疑惑就解开了，据悉，麻辣鸭脖项目属于小本加盟项目，无需加盟商具备多么雄厚的经济实力，算上加盟金，保证金，门店租金，装修费用，证照...。
网友在其微博发布的数条消息下留言询问，天涯社区打不开了，怎么回事?，你家都没了，还发微博呢，赶紧回复啊，你家主站崩了?，真服了，一个月了快，也没有句痛快话，都不解释一下哈?，截至发稿，天涯社区官方微博尚未就此事发布任何声明，现在也不知道天涯什么情况，之前天涯的各种帖子都是精华，这些帖子成为了香饽饽，...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
[全球时报特约记者王渠]因在2024美国总统大选首场电视答辩中，车祸般的体现，，现总统拜登连日来被美国各界要求退选，连独裁党大佬、美国前众议院议长佩洛西都在10日地下喊话，称，留给拜登的期间不多了，不过，拜登依然拒绝退选，第一夫人，吉尔·拜登的前资讯秘书迈克尔·拉罗萨在接受美国广播公司采访时示意，只要拜登的，小圈子，——关键由他的...。
[全球网报道]据台湾，中央社，7月10日报道，美国参议院军事委员会外地期间8日正式将2025财政年度，国防授权法案，提交全院审议，条文包含允许台湾安保、抗衡中国大陆，以及需要美国防部为台湾设区域紧急库存，关于这一信息，有岛内网友评论称，，美国是多宿愿咱们抗争！，台湾，中央社，引述美媒报道，2025财政年度，国防授权法案，将提供9199...。
是目前经常使用人数最多的一款阅读工具了，大家都会纷繁在电脑中暗转经常使用，不过并不是一切用户都会自己下载装置，有用户想要在笔记本高低载装置谷歌阅读器的话，该怎样启动操作呢，针对这个疑问，本文就给大家讲述一下在笔记本电脑高低载装置谷歌阅读器的详细步骤吧，谷歌官方阅读器v84.0.4147.135是谷歌开发的一款世界盛行的开源阅读器，该阅...。
