高分低能 一秒侦破大模型 贾佳亚团队联手剑桥清华等共推评测新范式 (高分低能儿)
贾佳亚团队全新评测基准MR-Ben发布，拒绝大模型“高分低能”
随着人工智能领域经历GPT时刻，学术界和产业界共同发力，每月甚至每周都有新的模型问世，大模型产品之多可以说是让人眼花缭乱。为了筛选出真正业界领先的大模型产品，业内衍生出了错综复杂的各类大模型评测方式，大家都希望为大模型做出客观公正的评测，看看究竟哪家产品能力更强。
但为了在行业中“脱颖而出”，业内也不断出现类似“刷榜”的做法，通过专项针对评测题库进行“预训练”从而获取高评分，导致部分大模型出现“高分低能”的现象，在实际场景当中表现不佳。
为此，贾佳亚团队联合MIT、清华、剑桥等多家知名高校，与国内头部标注公司合作，标注了一个针对复杂问题推理过程的评测数据集MR-Ben，基于GSM8K、MMLU、LogiQA、MHPP等大模型预训练必测数据集的题目，进行“阅卷式”的范式改造，生成更难、更有区分度的新数据集，从而真实地反映模型推理能力。
从“刷题考生”变“阅卷老师”，阅卷式考察反映大模型真实水平
目前主流大模型评测是使用人类的标准化考试——选择题和填空题的方式去进行大模型评测。使用这套测试方式的好处有很多, 标准明确、指标直观，且量化结果天然具有话题性。
但作者认为这种逐步作答的思维链方式生成最终答案，并不“靠谱”。
结合大模型的训练方式来看，预训练模型在预训练时早已见过数以万亿级别的词元，很难说被评测的模型是否早已见过相应的数据，从而通过“背题”的方式回答正确。而在分步作答的时候，模型是否是基于正确的理解推理选出正确的选项，我们不得而知，因为评测的方式主要靠检查最终的答案。
尽管学术界不断地对诸如GSM8K、MMLU等数据集进行升级改造，如在GSM8K上引入多语言版本的MGSM数据集，在MMLU的基础上引入更难的题目等，依然无法摆脱选择或填空的窠臼。并且，这些数据集都已面临着严重的饱和问题，大语言模型在这些指标上的数值已经见顶，并逐渐丧失了区分度。
而贾佳亚团队的选择是从评测模式的底层进行改革，从而真实反映模型推理能力。
害怕数据泄露导致的大模型背题导致分数虚高吗？贾佳亚团队打造的MR-Ben不用重新找题出卷，也不用把题目变形来测试模型的稳健性，MR-Ben直接让模型从答题者的学生身份，转变为对答题过程的“阅卷”模式，让大模型当老师来测试它对知识点的掌握情况！
不是担心模型对解题过程毫无知觉，有可能出现“幻觉”或错误的理解，蒙对答案吗？MR-Ben直接招聘一批高水平的硕博标注者，对大量题目的解题过程进行精心标注。把解题过程是否正确，出错的位置，出错的原因都细致指出，比对大模型的阅卷结果和人类专家的阅卷结果来测试模型的知识点掌握情况。
具体来说，贾佳亚团队针对市面上主流的评测数据集GSM8K、MMLU、LogiQA、MHPP等数据集进行整理，并分成了数理化生、代码、逻辑、医药等多个类别，同时区分了不同的难度等级。针对每个类别、收集到的每个问题，团队精心收集了对应的分步解题过程，并经由专业的硕博标注者进行培训和标注。
从评测方式来看，MR-Ben所提出的方法需要模型对于解题过程的每一个步骤的前提、假设、逻辑都进行细致分析，并对推理过程进行预演来判断当前步骤是否能导向正确答案。
这种“阅卷”式的评测方式从难度上远超于仅答题的评测方式，但可有效避免模型背题所导致的分数虚高问题。而只会背题的学生很难成为一名合格的阅卷老师。
其次，MR-Ben通过使用了人力精细的标注流程控制，取得了大量的高质量标注，而巧妙的流程设计又使得评测方式能够直观地量化。
知名大模型公开评测，GPT4-Turbo表现最佳
贾佳亚团队针对性测试了时下最具代表性的十大大语言模型和不同版本。可以看到，闭源大语言模型里，GPT4-Turbo的表现最佳（虽然在“阅卷”时未能发现计算错误），在绝大部分的科目里，有demo（k=1）和无demo（k=0）的设置下都领先于其他模型。
部分开源大语言模型在MR-Ben数据集上的测评结果
可以看到，最强的部分开源大语言模型效果已经赶上了部分商用模型，并且哪怕最强的闭源模型在MR-Ben数据集上表现也仍未饱和，不同模型间的区分度较大。
除此之外，MR-Ben的原论文里还有更多有意思的解析和发现，例如：
•Qwen和Deepseek发布的开源模型哪怕在全球梯队里，PK闭源模型效果也不逊色。
•不同的闭源模型定价策略和实际表现耐人寻味。在使用场景里关注推理能力的小伙伴，可以对照价格和能力找到自己心仪的模型去使用。
•低资源场景下，小模型也有不少亮点，MR-Ben评测中Phi-3-mini在一众小模型里脱颖而出，甚至高于或持平几百亿参数的大模型，展现出了微调数据的重要性。
•MR-Ben场景包含复杂的逻辑解析和逐步推断，Few-shot模式下过长的上下文反而会使得模型困惑，造成水平下降的后果。
•MR-Ben评测了不少生成-反思-重生成的消融实验，查看不同提示策略的差异，发现对低水平的模型没有效果，对高水平的模型如GPT4-Turbo效果也不明显。反而对中间水平的模型因为总把错的改对，对的改错，效果反而略有提升。
•将MR-Ben评测的科目粗略划分成知识型、逻辑型、计算型、算法型后，不同的模型在不同的推理类型上各有优劣。
目前贾佳亚团队已在GitHub上传一键评测的方式，欢迎所有关注复杂推理的小伙伴在自家的模型上评测并提交，团队会及时更新相应的leaderboard。使用官方的脚本一键评测，只需花费12M tokens左右，过程非常丝滑，值得一试。
Project Page:
Arxiv Page:
Github Repo:
参考
1.Training Verifiers to Solve Math Word Problems（）
2.Measuring Massive Multitask Language Understanding（）
3.LogiQA: A Challenge>
版权文章，未经授权禁止转载。详情见 转载须知 。
辽宁网站排名,根据网站的综合值按照不同的辽宁网站进行筛选排名结果,通过筛选辽宁网站可以看到每个辽宁网站里面的网站排名优质的网站是哪些
-文学-文章阅读网址
贵州辉腾办公家具有限公司
hao123网址导航生活频道,提供生活信息,女性综合,美容瘦身话题网站,男人,专业的生活内容导航。
柏庆网络网站建设公司专注网站建设、网站制作、网站设计、网站开发、网页设计、做网站,为深圳、东莞、广州等全国各地企业高端网站建设与制作、网站改版与定制等服务。
河北九正通明除尘设备有限公司在工业除尘器领域深耕17年，专注于布袋除尘器、滤筒除尘器及湿式除尘器设备的研发与制造。我们致力于为企业提供高效、可靠的除尘解决方案，有效降低工业生产中的粉尘排放，帮助企业实现环保达标，为绿色生产贡献力量。
重庆电话录音系统销售中心.重庆申欧通讯历经10多年专业从事电话录音设备，电话录音系统，电话录音卡等批发安装销售企业！占重庆地区录音市场份额之首！典型用于重庆移动公司外呼录音，重庆公安武警系统录音，重庆汽车行业4S店录音,重庆电信客户录音等，贵州四川云南重庆煤矿行业调度电话录音，重庆烟草行业外呼录音、重庆广电、重庆证券（如招商、光大证券、西南证券等）、金融投资（重庆农行及商业银行）、重庆保险行业、人才招聘、中小企业办公及热线电话等
做网站一站式设计全包，网络推广运营服务，为企业打造有灵魂，有颜值，适用且易用的网站，更懂您需求的营销教练，项目咨询交流：请拨打188-1146-7445，或添加微信号：qhsjui
简酷指标网是专业的股票指标公式网站,提供通达信,大智慧,飞狐,同花顺等股票软件指标公式源码并配以说明图片,是国内领先的股票指标公式网.
六奇下载站是一家安卓应用和游戏下载网站，在这里可以免费下载各类手机软件和游戏，还有相关的游戏攻略以及手机应用教程。
合肥同缮皮肤病专科门诊部是由卫生部门批准的安徽省较早从事皮肤病专科的诊疗机构，主要以中医中药为特色开展白癜风、银屑病(牛皮癣)、鱼鳞病、皮炎、湿疹、荨麻疹、痤疮、黄褐斑、疣、甲癣（灰指甲）、手足癣、体股癣、手足皲裂、脱发等各类皮肤病
多维科技自主研发生产的磁传感器芯片系列产品|TMR磁开关传感器芯片|TMR角度传感器芯片|TMR线性磁场传感器芯片|TMR齿轮/磁栅传感器芯片|AMR磁开关传感器芯片|AMR角度传感器芯片|AMR线性磁场传感器芯片|AMR磁栅传感器芯片；磁传感器模组系列产品|TMR磁特征/磁图像传感器|TMR电流传感器|TMR齿轮编码器|AGV磁导航传感器|TMR线性位移传感器|TMR流量传感器|USB磁强计
面包，是一种既能作为主食，又能作为休闲食品的美食，以小麦作为原料，烘烤而成，英伦御品，一家专门做面包蛋糕的连锁品牌，将英国传统工艺与现代技术结合起来，符合国内消费者的饮食习惯，产品精益求精，吸引了无数消费者的喜爱，更是烘焙行业的一把好手，时尚潮流是英伦御品的另一大特点，在英伦御品面包店里，你能发现时尚的烘焙元素，潮流的产品搭配和前卫的...。
安全是最大的豪华，隐私是至上的尊贵，余承东的名言，并非仅，遥遥领先，一句，随着智能汽车时代的到来，车辆的定义已然发生了变化，汽车不再仅仅是出行工具，而是成为了如手机一般的数字产品，数据安全，也成为用户购车时考虑的重要因素之一，广州日报，发起的一项针对智能车的调研显示，除了品牌、外观、价格、续航因素，43%的用户已将系统安全性，数...。
2022年3月28日，华为发布2021年年度报告，华为轮值董事长郭平表示，华为将沿着数字化、智能化、低碳化方向前进，依靠人才、科研和创新精神三要素，持续加大投入，力求实现基础理论、架构和软件的技术底座重构，构筑长期竞争力，其中，华为云作为华为的新兴业务板块，发展势头迅猛，研发持续压强投入华为云实力持续提升财报数据显示，华为2021年研...。
CV在前，NLP在后，迁移学习技术的应用为这两个领域所带来的进展和突破，不可谓不瞩目，其中，预训练模型作为当下迁移学习的一种主流方法，让，从零开始训练一个新模型，的时代一去不复返，这类在大型数据集上训练好的模型进行微调后，便能够较好地适配类似的新目标任务，可以极大地节约时间和成本，不过，天下没有免费的午餐，这种方法看似，一劳永逸，，也...。
公众号平台运行了6年，业界一直在唱衰，说公众号的红利已经过去了，现在从零开始做一个公众号已经不太现实了，很多企业也已经放弃了公众号的常规运营，但是，我们在朋友圈还是会时不时地看到很多10万，的爆款文章出现，各大科技类媒体也经常报道一些小号短期内圈粉上万的励志故事，我想说的是，所谓的公众号红利其实一直没有过去，公众号已经过了野蛮增长的时...。
提起来观光缆车，其实我们每个人在生活当中，包括在外出旅游的过程当中，都会选择乘坐，当然的确会有一些人恐高，或者是认为观光缆车是非常危险的，毕竟距离地面非常高，一旦发生了一些意外或者是事故，那么对于高空当中的游客来说，是没有办法通过自身的能力进行自救的，意大利观光缆车事故位于意大利的观光缆车，就出现了这样意外的事故，也正是因为这起事故，...。
11月6日，外交部发言人就美国总统选举结果答记者问，问，美国总统选举结果曾经揭晓，共和党候选人特朗普入选，中方对此有何评论，答，咱们尊重美国人民的选用，对特朗普先生入选总统示意祝贺，点击进入专题，2024美国大选...。
1、梦见打死两只狗，预示着双喜临门，最近会有额外的幸运，有疑问也会迎刃而解，2、梦到自己打死了一个大狗，预示你的人际相关运将会有所优化，提示你可以和一切人大胆而踊跃的来往，身边的人对你也会坦诚相待，且不会出现抵触，3、女人梦见打死狗则近期运程，万事亨通，出路充溢了黑暗与宿愿，自得洋洋则破坏大喜气气，社交要圆滑虚心，4、离异丧偶者梦见打...。
1、柴油版万，汽油版万，混动的万，柴油的很靠谱哦，经济实惠；目前公众途观没有v6发起机在售只要出口公众的途锐才有六缸发起机你是不是要找公众途锐v6的汽车这个大略在五六十万啊，最贵的是65万左右；36l的途锐v6有两款，目前均曾经停产在售区分是36L越野增强高配型指点价9165万36L越野增强奢侈型指点价9685万，2、途锐V6顶级版7...。
神州志西游中文版是一款融合了RPG元素的Roguelike卡牌策略游戏。在游戏中，你需要组建一支强大的团队，并构筑契合角色特点的牌组。
linux一个命令列表,在一个屏幕上显示不完 1、有些命令显示的内容太多，一页屏幕显示不完，就需要翻页命令。2、按Enier键：只显示文本的下一行内容。按斜线符|：接着输入一个模式，可以在文本中寻找下一个相匹配的模式。按H键：显示帮助屏
有些新入手买ipad的可能还不太了解其截屏方法，不知道该如何操作。这里2265小编为大家带来ipad截图方法，不会的小伙伴赶紧来看看吧！ipad截图方法：方法一：快捷键截图同时按顶部【开机电源】键+【Home】键，就会听到“咔嚓”的拍照声出现，这样就截屏成功了，
在日常生活中，人们有时候为了方便，经常选择吃快餐，而在我们流行的就是便当，我也经常和我们的朋友同学，室友去吃这些东西，我们都觉得便当不贵，还挺实惠，我觉得对于我来说，不用那么多钱就可以满足啦，不是说吃的贵东西就实惠，我也吃过贵的，但是我感觉还没有吃饱就没啦的感觉，便当加盟是个不错的选择，接下来告诉你们开个便当加盟店怎么样吧，我将给大家...。
药膳发源于我国传统的饮食和中医食疗文化，药膳是在中医学、烹饪学和营养学理论指导下，严格按药膳配方，将中药与某些具有，药用价值，的食物相配，采用我国独特的饮食烹调技术和现代科学方法制作而成的具有一定色、香、味、形的美味食品，简言之，药膳即药材与食材相配而做成的美食，它是中华传统的医学知...。
抖音回到小时候怎么拍?对于这个特效相信很多小伙伴都比较感兴趣，但是很多小伙伴都不知道怎么拍摄，那么接下来小编就为大家带来回到小时候拍摄方法，感兴趣的小伙伴可不要错过哦，...。
要闻提示1.马云罕见内部发声，五年来首次，肯定阿里变革一年成效，鼓励以创新迎接变化2.外媒称字节跳动2023年利润400亿美元，增长约60%，超越腾讯，字节否认3.雷军点赞王腾首次主讲发布会，扛起Redmi旗帜，卢伟冰后继有人4.灵犀互娱游戏被指数据造假，多名玩家要求退钱5.波音新安全隐患被内部工程师曝光，组装787客机时，走捷径，6...。
临床失败的药物比比皆是，原因主要为缺乏临床疗效、毒性难以控制，以及类药性差，因此，在制药圈子里，一个流传甚广的数据是，90%的药物进到临床都失败了，这并非对最终受益于此的患者没有压力，制药企业对单个药物的投入越高，最终少数跑到上市的药物则需要患者和政府为更大的成本买单，研药是一个需要极度理性的科技行业，曾经一度无奈执行，快杀，策略，失...。
