GPT-4终结人工标注！AI标注比人类标注效率高100倍，成本仅1/7|ai|示例|置信度|gpt-4|软件安装包
用微信扫码二维码
分享至好友和朋友圈
【新智元导读】
这个开源工具，居然能用GPT-4代替人类去标注数据，效率比人类高了100倍，但成本只有1/7。
大模型满天飞的时代，AI行业最缺的是什么？毫无疑问一定是算（xian）力（ka）。
老黄作为AI掘金者唯一的「铲子供应商」，早已赚得盆满钵满。
除了GPU，还有什么是训练一个高效的大模型必不可少且同样难以获取的资源？
高质量的数据。OpenAI正是借助基于人类标注的数据，才一举从众多大模型企业中脱颖而出，让ChatGPT成为了大模型竞争中阶段性的胜利者。
但同时，OpenAI也因为使用非洲廉价的人工进行数据标注，被各种媒体口诛笔伐。
时代周刊报道OpenAI雇佣肯尼亚廉价劳动力标注
而那些参与数据标注的工人们，也因为长期暴露在有毒内容中，受到了不可逆的心理创伤。
卫报报道肯尼亚劳工指责数据标注工作给自己带来了不可逆的心理创伤
总之，对于数据标注，一定需要找到一个新的方法，才能避免大量使用人工标注带来的包括道德风险在内的其他潜在麻烦。
所以，包括谷歌，Anthropic在内的AI巨头和大型独角兽，都在进行数据标注自动化的探索。
谷歌最近的研究，开发了一个和人类标注能力相近的AI标注工具
Anthropic采用了ConstitutionalAI来处理数据，也获得了很好的对齐效果
除了巨头们的尝试之外，最近，一家初创公司refuel，也上线了一个AI标注数据的开源处理工具：AutOLAbel。
Autolabel：用AI标注数据，效率最高提升100倍
这个工具可以让有数据处理需求的用户，使用市面上主流的LLM（ChatGPT，Claude等）来对自己的数据集进行标注。
refuel称，用自动化的方式标注数据，相比于人工标注，效率最高可以提高100倍，而成本只有人工成本的1/7！
就算按照使用成本最高的GPT-4来算，采用Autolabel标注的成本只有使用人工标注的1/7，而如果使用其他更便宜的模型，成本还能进一步降低
采用AutolabelLLM的标注方式之后，标注效率更是大幅提升
对于LLM标注质量的评估，Autolabel的开发者创立了一个基准测试，通过将不同的LLM的标注结果和基准测试中不同数据集中收纳的标准答案向比对，就能评估各个模型标注数据的质量。
当Autolabel采用GPT-4进行标注时，获得了最高的准确率——88.4%，超过了人类标注结果的准确率86.2%。
而且其他比GPT-4便宜得多的模型的标注准确率，相比GPT-4来说也不算低。
开发者称，在比较简单的标注任务中采用便宜的模型，在困难的任务中采用GPT-4，将可以大大节省标注成本，同时几乎不影响标注的准确率。
Autolabel支持对自然语言处理项目进行分类，命名实体识别，实体匹配和问答。
支持主流的所有LLM提供商：OpenAI、Anthropic和GooglePalm等，并通过HuggingFace为开源和私有模型提供支持。
Autolabel免除了编写复杂的指南，无尽地等待外部团队来提供数据支持的麻烦，用户能够在几分钟内开始标注数据。
可以支持使用本地部署的私有模型在本地处理数据，所以对于数据隐私敏感度很高的用户来说，Autolabel提供了成本和门槛都很低的数据标注途径。
所以，不论是律所想要通过GPT-4来对法律文档进行分类，还是保险公司想要用私有模型对敏感的客户医疗数据进行分类或者筛查，都可以使用Autolabel进行高效地处理。
如果没有Autolabel，用户需要首先收集几千个示例，并由一组人工注释者对它们进行标注，可能需要几周的时间——熟悉标注方针，从小数据集到大数据集进行几次迭代，等等。
而如果使用Autolabe可以在分钟内就对这个数据集进行标注。
首先安装所有必要的库：
现在，将OpenAI密钥设置为环境变量。
下载和查看数据集
将使用一个名为CivilComments的数据集，该数据集可通过Autolabel获得。你可以在本地下载它，只需运行:
接下来，通过运行agent.plan，使用config中指定的LLM对的数据集进行一次标注
定义下面的配置文件:
如果要创建自定义配置，可以使用CLI或编写自己的配置。
最后，进行数据标注:
输出结果为54%的准确率不是很好，进一步改进的具体方法可以访问以下链接查看：
技术细节：标注质量Benchmark介绍
在对Autolabel的基准测试中，包含了以下数据集：
表1：Autolabel标注的数据集列表
表2：用于评估的LLM提供者与模型列表
本研究在三个标准上对LLM和人工标注进行评估：
对于每个数据集，研究人员都将其拆分为种子集和测试集两部分。
种子集包含200个示例，是从训练分区中随机采样构建的，用于置信度校准和一些少量的提示任务中。
测试集包含2000个示例，采用了与种子集相同的构建方法，用于运行评估和报告所有基准测试的结果。
在人工标注方面，研究团队从常用的数据标注第三方平台聘请了数据标注员，每个数据集都配有多个数据标注员。
此过程分为三个阶段：
研究人员为数据标注员提供了标注指南，要求他们对种子集进行标注。
然后对标注过的种子集进行评估，为数据标注员提供该数据集的基准真相作为参考，并要求他们检查自己的错误。
可以看到，与熟练的人工数据标注员相比，最先进的LLM已经可以在相同甚至更好的水平上标注文本数据集，并且做到开箱即用，大大简化了繁琐的数据标注流程。
但由于LLM是在大量数据集上训练出来的，所以在评估LLM的过程中存在着数据泄露的可能。
研究人员对此进行了例如集合的额外改进，可以将表现最好的的LLM（GPT-4、PaLM-2）与基准真相的一致性从89%提高到95%以上。
对于提供对数概率的LLM（text-davinci-003），研究人员使用这些概率来估计置信度。
对于其他LLM，则使用FLANT5XXL模型进行置信度估计。
例如，上图显示，在95%的质量阈值下，我们可以使用GPT-4标注约77%的数据集。
添加这一步的原因是token级日志概率在校准方面的效果不佳，如GPT-4技术报告中所强调的那样：
GPT-4模型的校准图：比较预训练和后RLHF版本的置信度和准确性
95%与基准真相一致的完成率
相比之下，人类标注者与基准真相的一致性为86.6%。
从上图可以看到在所有数据集中，GPT-4的平均完成率最高，在8个数据集中，有3个数据集的标注质量超过了这一质量阈值。
而其他多个模型（如text-biSON@001、gpt-3.5-turbo、claude-v1和flan-t5-xxl）也实现了很好的性能：
平均至少成功自动标注了50%的数据，但价格却只有GPT-4API成本的1/10以下。
在接下来的几个月中，开发者承诺将向Autolabel添加大量新功能：
支持更多LLM进行数据标注。
支持更多标注任务，例如总结等。
支持更多的输入数据类型和更高的LLM输出稳健性。
让用户能够试验多个LLM和不同提示的工作流程。
我是一万米高的搞笑女2023-09-1719:21:36
logo设计网(www.logosheji.com)，1分钟为您提供原创logo在线制作服务，7*24小时在线设计服务，免费为您提供国内外logo设计,标志设计,商标设计欣赏
考研网（轻舟考研帮）成立于2000年，一直是中国领先的考研交流平台和研究生招生信息网络发布平台。
河南赢玖智能科技有限公司（宏鑫矿山机械制造有限公司原龙恒矿山机器)以高、新、智能科技为主，研发、经营：工业机器人、救生应急装备、重型机械、冶金、造纸机械、零部件及技术服务;
甘肃最大最具影响力的综合性门户网站，由甘肃日报社主办，是经国务院新闻办批准的甘肃第一家重点新闻网站，提供最权威、最快捷、最全面的新闻资讯服务。依托甘肃省委机关报-甘肃日报及下属子报兰州晨报省内各市州党报等丰富的新闻资源，立足甘肃、面向全国，以最全最快的文字新闻、图片资讯、视频、播客、直播等新媒体技术实时报道甘肃、宣传甘肃，另开设论坛、社区、博客等自由互动交流空间。
“冰丝带”里人气旺 ---10月1日，参观者在“冰丝带”的观众看台拍照留影。
好展会网-中国展览会门户，为您提供2021年国内国际展会信息，包括展会新闻，展馆介绍、展品介绍、展会知识以及展览会服务商，致力于在广大的会展服务企业、参展商、观众之间，构筑一座畅通的信息桥梁。
常州翼添浓科技有限公司是一家啤酒设备厂家，主要经营精酿啤酒设备、自酿啤酒设备、鲜酿啤酒设备、实验室啤酒设备、大小型啤酒设备等产品，种类齐全，欢迎选购！
宜科产品及解决方案涵盖云平台、MES制造执行系统、物联网网关芯片、智能物流仓储系统、IoT集成开发解决方案及服务、IoTHub工业互联网赋能平台服务等，全方位帮助企业实现智能制造。作为工业自动化产品及智能制造解决方案供应商，宜科在汽车、汽车零部件、工程机械、纺织机械、物流设备、电子制造等多领域占据领先地位
深圳市衡之杰电子有限公司成立于2006年,主要产品有地磅,电子汽车衡,电子地磅,电子称,包装秤,灌装秤,电子吊磅,电子天平,称重仪表,滚筒检重秤,叉车称批发,工程洗车机,卸料口洗车机,传感器配件及各类工业化称重控制系统,厂家批发,价格合理。
国健融资租赁有限公司成立于2013年，由中国医药集团有限公司和中国人寿保险（集团）公司两家央企的下属公司联合投资设立，是国药集团和中国人寿合资合作的主要平台之一，注册资本10亿元，总资产规模近百亿元。
上海岑诺机械生产液压油缸,液压拔轮器,BETEX轴承加热器,EQUALIZER校正器,液压拉马,法兰分离器,法兰撑开器,适用于各行各业咨询热线:862169028082!
小游戏大全包含连连看,连连看游戏,双人小游戏,赛尔号,洛克王国,三国杀,在线小游戏,斗地主,象棋,扫雷,麻将,h5,h5游戏,迷你世界,奥拉星,奥比岛,弹弹堂,单人游戏,逃跑吧少年,斗罗大陆,冒险王,召唤神龙,女生,休闲,动作,冒险,换装,敏捷,射击,益智,解密等最新小游戏。
道口烧鸡在市场上的知名度是比较高的，不少创业者都想要从事此行业的发展，但是仍有人对该品牌有所不了解，想要知道道口烧鸡加盟费是多少，针对这一问题，小编就为大家简单的介绍一下，道口烧鸡加盟费是多少，道口烧鸡始创于1661年，其经营的产品种类是比较多样化的，在这里大家可以根据自己的需求自由选择，而且品牌还拥有一支专业的研发团队，不断的迎合市...。
起初，馒头是北方人爱吃的面食，后来随着人口的流动，南北方的饮食文化开始融合，南方人也开始喜爱上馒头，至此，馒头成为大家都爱吃的面食，紧接着开设馒头店的人也越来越多，而对于那些初次接触馒头店创业的人来说，馒头的收银成为他们关心的问题，今天，小编就以100个馒头为例，简单介绍一下卖100个馒头的收银，卖100个馒头的收银根据目前的市场行情...。
泰式按摩发源於古印度的西部，创始人是古印度王的御医，他至今仍为泰国人民奉为医之父，他的传统医药知识及按摩知识技法由传教的僧人带入泰国，并由泰王召集，广泛吸收他们的传统医药及按摩的宝贵经验，把这些经验铭刻在大理石上，镶嵌於瓦特波的卧佛寺的游廊壁上，此地成为训练传统泰式按摩的基地，...。
从二胎政策正式开放起，新生儿的数量就有了很大的增长，随之而来的教育问题成为了每个家庭关注的核心项目，孩子学不好，就会输在起跑线上，不想形成这样的现象，就要把孩子送往教育培训公司学习，所以，教育机构的开办受到了很多智慧之选者的关注，那么怎么注册教育培训公司呢，让小编来告诉大家吧！首先要确定公司的形式，境内的公司分为有限责任公司和股份有限...。
米线存在市场很多年，一直以来，都是很有人气的美食，这也是大家公认的经济实惠的美食，米线与一般的面条是不一样的，这是一个很受欢迎的美食，一直以来在小吃市场上都是很好的，一直有很高的名气，顾客也是很喜欢这样的小吃，一般品牌店给大家带来的米线口味也是不同的，当下有很多米线的品牌，Hello粉姑娘米线就是很不错的米线品牌，Hello粉姑娘米线...。
一个好的加盟项目一定是要有足够的消费市场，有市场需求才能有发展，且选择项目时，还要考虑所加盟的项目之后的发展状况，当下不少家庭对房间进行重新装修后，需要一些空气清洁产品，尤其是除醛产品，对除醛产品的需求较大，有一些加盟者就抓住了加盟机遇，想要加盟除甲醛产品，并对富思特品牌比较感兴趣，那么在对富思特除甲醛品牌加盟管理经营要点有哪些呢，小...。
其实很多创业者都想要开店做代理，然而由于一直在徘徊观望，让很多创业者捷足先登一步，但在众多行业中创业者想要进军的项目，莫过于中智益健品牌店，毕竟这是一家市场需求量比较大的店面，经营的眼镜也比较先进化，消费的价格也是大众购买起的价位，面向的消费群体也是中老年人群，因此，这么乐观的一个开店项目谁都想要加盟，那么下面就来具体了解一下，中智益...。
现在鱼肉的制作方法是比较多的，我们今天介绍一个比较创立的鱼肉烹饪方法叫做，，的命名是与现在年轻一代的消费者非常吻合的，同时口味也具有一定的特色，接下来我们就创业者比较关心的问题进行解答，加盟，爱辣屋是个好项目，爱辣屋是由对餐饮行业抱有赤子之心的几个合伙人进行合作的，希望能够为年轻一代的消费者带来比较特色的，现在爱辣屋欢迎全国创业者进行...。
人活健在，不可或缺吃穿住行，无论是在一线大城市，是偏僻小乡村，全是这般，鞋，虽坐落于末，就是牢固本质，一双好鞋，即可行好多路，近些年，品牌鞋店人才济济，造成加盟者关心，欲意加盟者诸多，那，怎样加盟鞋店品牌店?加盟鞋店的收效怎么样，下边，人们对于这2个难题，开展详尽讨论，假如有针对加盟鞋店很感兴趣的盆友，何不一起掌握看一下，怎样加盟鞋店...。
吃喝毕竟是人生大事，所以餐饮行业的发展基本没有衰落过，对于现在的消费者来说，他们注重的不仅是吃饱，还有吃好，吃得有特色，因此现在的餐饮行业变得越发繁荣起来了，投身于餐饮市场的创业者越多，该行业的竞争也越激烈，所以每一家餐饮店在开业时都会举办活动，吸引客源，那么餐饮店开业营销方案有哪些呢，1、发传单说到发传单，大家脑子里肯定会浮现这么个...。
由大汉金桥国际市场集群全程冠名的，湘商金桥，先锋时代，栏目将于本周日晚18，30分在湖南卫视国际频道播出追梦人卢新世，该栏目为每周日同一时间周播出，栏目以宣传湘商事业、记录湖南异地商会发展、展现经济界杰出人士、宣传企业好产品好项目为核心，世界是打出来的，有人用拳头，有人用头脑，我们属于后者，这是卢新世二十一岁的创业宣言，他出生在...。
无人售货机，是一种商业零售新形式，它的出现，顺应了时代的潮流，为人们的生活带来了便利，而且，它具有无需员工、24小时营业、选址灵活等优点，所以，颇讨创业者欢心，近日，有很多尚未入行的朋友都在向小编咨询这个问题，即无人售货机加盟好吗，下面，小编就来告诉各位答案，无人售货机的发展历史及其功能无人售货机，起源于英国，诞生于17世纪，起初用来...。
非常受欢迎的奶茶，在市场上有着众多加盟连锁品牌可提供，为了迎合多变的饮食口味需求，在整个技术创立方面，有着不同层次的展现，给每一个创业者都带来了制作方式简单，智慧之选小，低，实现目标收银大的创业优势，因此吸引了众多智慧之选商的关注，那么，开奶茶店怎么加盟奶茶店，加盟什么品牌好呢，下面就来了解一下，开奶茶店，怎么加盟呢，对于自己所中意的...。
2月23日，壳牌中国与阿里云签署战略合作意向书，成为长期战略合作伙伴，双方将基于壳牌在能源转型领域的深厚积累和阿里云在云计算、大数据、人工智能等方面的技术优势，带动壳牌集团的优势资源和阿里巴巴集团在绿色低碳、出行等领域的丰富生态资源，在能源转型及数字化转型领域展开创新合作，携手共赴，净零，未来，作为世界领先的能源解决方案提供商，壳牌是...。
小米怎么调节屏幕色彩最好小米怎么调节屏幕色彩最好1、调整屏幕亮度，在小米12的设置中，可以找到，显示与亮度，选项，通过调整屏幕亮度来改善画面的清晰度和色彩鲜艳度，2、接下来，进入到显示的操作界面后，设置，色温，和，饱和度，，即可调整小米屏幕的色彩，3、小米手机屏幕的饱和度，如果想要进行调试的话，可以打开小米手机上的设置点击搜索小米手机...。
发表在行业动态2022，9，2715，459月26日，当贝投影官宣成为CCTV体育赛事频道投影仪独家合作伙伴，在黄金频道高频次、多时段全方位露出，为2022世界杯加油助威！据悉，CCTV5，作为中央电视台的第二个体育频道，其影响力不言而喻，当贝作为智慧大屏生态领域的领先者，此次与央视体育黄金频道合作，一方面基于当贝自身与体育赛道的高契...。
一、盗窃和破坏事件一旦发现或接到此类事件报警，应立即查明具体位置，通知保安前往确认，并监控相关画面，保持冷静，如情况允许，可现场处理，否则应密切监控犯罪嫌疑人的活动，记住其外貌特征，确保自身安全，接报后，经理或领班应根据情况派遣适当数量的保安前往现场，阻止犯罪，通知警方，并提供事件详情，被捕获犯罪嫌疑人时，应记录相关信息后移交给警方，...。
