AI任务疑难 谷歌等揭露 整个世界 存在局限的ImageNet等基准 的博物馆 就像无法代表 (ai 问题)
在日常生活中，我们需要一些「标准」来衡量个人的行为。
而在科研工作中，研究人员也需要一些「基准」来评估模型的性能。
因此，不管是普遍的「标准」还是特定的「基准」，它们都有一定的参考意义。
然而，如果有一天我们发现这些「参照物」与实际生活渐行渐远时，它们该往何处去？
近日，由加州大学伯克利分校、华盛顿大学和谷歌研究院合著的论文 《AI and the Everything in the Whole Wide World Benchmark》 指出ImageNet等基准定义的模糊任务在促进智能理解上的局限性，就像用有限的博物馆来代表整个世界一样。
在这篇论文中，研究人员阐述了机器学习（ML）对通用任务框架（CTF）的过度依赖，因为这个框架不恰当地演变成我们今天所理解的这些声称评估「通用能力」的基准。值得注意的是，研究团队 并不否认这些基准的实用性，而是希望指出将其作为框架存在的固有缺陷。
这篇论文最能引起共鸣的一点就是用故事书作为引子，且将情节贯穿全文，使得论文的研究内容更为直白易懂。
这本书就是1974年出版的 《Grover and the Everything In the Whole Wide World Museum》 ，书中的主人公Grover参观了一家声称展示「整个世界」的博物馆。
该博物馆的每个展厅都陈列着不同类别的东西，有些类别是随意和主观的，比如「你在墙上看到的东西（ Things You Find On a Wall ）」和「房间里能让你挠痒痒的东西（ The Things that Can Tickle You Room ）」；有些类别则非常具体的，例如「胡萝卜屋（ The Carrot Room ）」，而另一些则含糊不清，如「高大的厅堂（ The Tall Hall ）」。
当Grover认为自己已经参观完博物馆的一切时，他来到写着「其他东西（Everything Else）」的大门前。打开门后，却发现自己置身于外面的世界。
作为儿童故事，Grover的经历是荒诞的。然而，在实际的研究中，例如人工智能尤其是ML领域，也存在类似的固有错误逻辑，其中许多流行的基准依赖于固有的错误假设。
这篇论文的研究人员认为， 在诸如「视觉理解」或「语言理解」之类的模糊任务中，作为衡量一般能力进展的基准，与有限的博物馆在代表「整个世界的一切」方面一样无效， 且这两个谬论的原因是相似的，即本质上是基于特定的、有限的且局限于上下文的环境。
GLUE或ImageNet之类的基准测试常常被提议为验证任何给定模型性能的基本通用任务的定义。其结果是，通过这些基准数据集证明合理的结论往往远远超越了它们最初设计的任务，甚至超出了最初的开发目标。
尽管作为迈向「通用目标」的标志，这些基准存在明显的局限性。事实上，这些基准的开发、使用和采用表明了一个结构有效性的问题，其中涉及的基准——由于它们在特定数据、度量和实践中的实例化——不可能捕获任何具有代表性的关于它们的普遍适用性的结论。
论文的作者们认为测量通用能力的目标（即通用对象识别、通用语言理解或领域独立推理等目标）不能充分体现在数据定义的基准中。研究人员注意到，当前的趋势不恰当地扩展了CTF范式，以将其应用于与现实世界目标或背景不同的抽象表现任务。
从历史上看，CTF的开发正是为了引入实用导向和严格范围的人工智能任务，即自动语音识别（ASR）或机器翻译（MT），其中所需的验证是 基准是否准确地反映了计算机在现实环境中所要求的实际任务。 这一波定义不明确的「通用」目标则完全颠覆了其引入的意图。
与其把Grover的经历当成儿童故事来看，倒不如说这是一则深刻的寓言故事。当Grover打开「其他东西」的大门时，却发现自己置身于博物馆外的大千世界。故事的结尾或许已经预示了这个研究的结论，ImageNet之类的基准定义必然不能代表适应所有现实世界模糊任务的「通用目标」。
因此，这篇论文确实有许多值得讨论和深思的地方。ImageNet存在不足，那其他基准定义就是完美无缺的吗？除了ImageNet，目前在通用对象识别上还有更好的参照基准吗？该如何看待以及解决基准定义越来越「不基准」这个问题？
外行看热闹，内行看门道，这么头疼的问题就应该交给专业人士。
迎面向我们走来的是第一位评委，该评委发出了“ 反对CV和NLP的“通用”基准中令人信服的观点！ （A compelling argument against "general" monolithic benchmarks in vision and NLP）”的赞叹，因为他觉得这篇论文 史料详实，观点明确，分析到位，着实令人信服。
论文的研究人员先在文中铺垫了大量的背景知识，向读者展现了通用人工智能和基准测试的相关研究，并分析了ML的基准测试何时开始作为评估范围狭窄的任务性能的标准化方法。最后，结论就水到渠成了：通用语言理解和通用对象识别的基准本质上是有缺陷的，因为它们应用于狭窄的范围。
这位评委真诚地希望计算机视觉和NLP社区能认真对待这篇论文， 因为他认为该论文对在这两个领域取得更有意义的进展做出了宝贵的贡献，而不仅仅是追求最先进的技术。
但美中不足的是，既然发现了ImageNet基准存在局限性，那有什么办法可以减少对这些通用标准的过度依赖？看来论文的研究人员也还没找到这个问题的答案。
而第二位评委对这篇论文的评价是： 通用人工智能基准的谬论 （The Fallacy of Benchmarks for General Artificial Intelligence ）。因为这篇论文的受众主要是AI领域的研究人员，所以作者在前文回顾了通用AI的相关基准，一下拉近了与读者的距离。此外，引用Grover的故事也使得该论文有趣易懂。
即使这篇论文的开头存在表述问题，未能无缝衔接主题，但瑕不掩瑜，评委二号高度赞扬了 这篇论文为ML领域的研究指明了方向。
接着，评委三号也带着他的观点款款走来： 好论文！但改一下结构就更好了 （Well argued paper, with some reorganization suggested）。这位评委指出，这篇论文最大的亮点是观点独特且论据充足。但也发出了和第一位评委相同的疑惑：所以，有什么解决方案可以减少对通用标准的过度依赖？
不同于前三位评委的「慷慨」，第四位评委只给出了5分的评价，认为这篇论文只是： 当前基准测试的简史 （History of the benchmarks we use today）。从这个评语不难看出，这位评委觉得这篇论文列举了很多基准测试且强调了它们的局限性，但作者团队并没有采取任何立场。
最后，评委五号不见其人，先闻其声： 很棒！但还有上升空间 （Great, but improvements needed）。第五位评委认为这篇论文在梳理和总结相关工作的方面做得非常好，同时有大量的研究支撑文中的论点， 希望这篇论文能引起相关领域研究人员的重视。
正因为对这篇论文寄予了极高的期望，因此评委只给出了6分的评价，同时罗列了非常详细的修改建议，希望论文的作者能加以改进。
看完五大评审的官方评论，总结起来基本就是： 论文不错，观点新颖，论据充分，要是能提出解决方案就更好了。 此外，有三位评委都不约而同地希望这篇论文能引起相关领域的重视。
Reddit上关于这篇文章的讨论热度也不小，我们来看看神通广大的网友怎么说。
某位网友一针见血地指出，虽然ImageNet等基准测试像「有限的博物馆」一样存在不足，但却是目前我们训练模型最有力的工具。
确实，就像上述评委提到的，ImageNet是有局限性，但是否有更好的解决方案？因此，有热心网友为论文的作者修改了摘要： 没有任何数据集能够捕捉所有细节的全部复杂性，就像没有博物馆可以包含整个世界中所有的事物一样。
一些网友则认为论文不错，尤其是「芝麻街」故事情节的插入加深了他们对该论文的理解。
这些网友觉得，用「无法展示一切的博物馆」类比「ImageNet在一些模糊任务上的局限性」非常恰当。
大概论文的作者们也没想到，写个文章还能为一本书代言，有网友调侃：宇宙万物的答案就隐藏在这本「芝麻街」故事书中。
更多网友表示赞同论文作者的观点，毕竟相比解决问题，发现问题太容易了。（狗头）
所以，解决方案究竟在哪？
就算博物馆「无法展示一切」，也没有人能否定其价值。同理，ImageNet这类基准定义的存在意义也不容置喙。不断发现问题并解决问题，历史的车轮才会滚滚向前（狗头）。
原创文章，未经授权禁止转载。详情见 转载须知 。
淘手游（http://www.taoshouyou.com/）专业的手游交易平台：提供有性价比的游戏账号、首充号、金币、装备、道具、手游代充等服务，自由买卖，担保寄售交易，安全便捷！淘手游交易平台。
东北菜的做法_家常东北菜的做法非常简单易学。豆果美食提供的图文东北菜的家常做法大全和东北菜的视频,用最短的时间让你学会东北菜的做法
商标特卖网
河南天浩药机设备有限公司制药设备行业的知名企业之一致力于制造生产中草药提取罐、提取浓缩机组、公司从事植物提取物的生产工艺和制造,中草药提取物,植物精油提取生产线……欢迎来电咨询
【幫幫淘集運】擁有20年以上中港物流經驗，隨著電商發展市場需求，本公司於2022年成立幫幫淘集運，開拓發展優質現代化物流服務。
甘肃网络广播电视台，甘肃最大的视音频综合性新闻网站。
力推宝74732.com专注企业地域精准广告标题投放营销，力争每一次用户点击都是有效的，用较少的营销费用投入获取更大的转化。
苏州拓巨信息科技有限公司
趣字体是2023年创立的国内专业免费可商用字体收录平台，已成为字体行业风向标。我们专注于免费可商用字体的收录、学习与交流，通过趣字体、字库字体检测和趣字体设计导航等服务，提供全面的字体事业支持。广泛汇聚全网免费可商用字体资源，并提供免费下载。所有字体授权均经严格审核，确保个人及商业用途均可安心使用，有效规避版权风险。
湖北贝安心游乐设备有限公司专打造新型淘气堡儿童乐园，可以根据需求定制各类大小型室内儿童乐园。设备适用于早教中心、4S店、售楼中心、幼儿、商场、超市、母婴店、婴儿游泳馆、咖啡厅、健身房、大型酒店等等，可以帮助老板门提高收益和积累人气，让生意更好更火爆！本厂设备安全性能高,娱乐趣味性强,适合各年龄段小朋友,价格咨询热线：139-8611-1663
湖南湘菜加盟连锁品牌【湘西部落官网:0731-88802788】致力于打造正宗特色湘菜加盟连锁品牌,弘扬民族特色饮食文化,创建集湘西民俗表演、湘西美食经营、湘西文化传播与原生态食品生产于一体的大型湘菜连锁加盟有限公司。
模拟农场游戏的乐趣所在，就是见证了一个农场从无到有的过程，其中付出的心血都能得到回报，本文为大家带来模拟农场游戏下载大全2021最新版，最火爆的模拟农场手游都在这里了，1、，摩尔庄园，摩尔庄园是老牌的网页游戏了，在2021年摩尔庄园手游正式与大家面世，摩尔庄园的情怀吸引了很多粉丝纷纷慕名而来，原汁原味的农场玩法，四处冒险结交朋友，在这...。
今天的文章标题，在有的读者朋友看来可能有一些奇怪，无货源开店违法吗?对于一些刚听说无货源开店这种模式的人来说，从字面上理解，无货源好像有种，黄牛党，的感觉，所以，有这个疑问也是正常的，因为这个标题，在网络上搜索量还是比较大的，我们今天就来具体谈谈，无论有货源还是无货源开店，无论是传统无货源还是我们的精品群店无货源，本质上其实都是开店卖...。
2017年我们的方向就定了，数据中心会是FPGA最主要的发展方向，之后赛灵思也验证了我们的想法，未来十几年，它最强力的增长方向就在数据中心，深维科技创始人&，CEO樊平说道，作为FPGA软硬件产品开发商，深维专注于图像视频处理、大数据处理和高性能计算领域的计算服务，提供从，端，到，云，解决方案，从图片转码，到视频处理、AI加...。
代码说明，本页面的认证代码为top联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在top联盟网站首页底部或友情链接位置处，普通认证，普通联盟认证标志适用所有类型的广告联盟，能有效提升top联盟...。
消息，1月7日，根据苹果公司向美国证券交易委员会提交的股东委托书显示，去年苹果CEO蒂姆·库克总薪酬为9873万美元，约合6.3亿元，据了解，这是库克自2011年8月晋升为CEO以来首次获得股权奖励，库克2021年基本工资为300万美元，8235万美元股票奖励属于限制性股票，会逐步兑现，包括4485万美元的绩效股票奖励和375...。
发表在投影仪评测2022，5，1213，27投影仪打造家庭影院已经收到越来越多的年轻人追捧，便宜到五六百例如锐塔克投影仪，贵到几千上万元的投影仪产品市面上都存在，锐塔克投影仪价格不贵外观设计简约大方在某多多平台也是销量达到上万，那这款投影仪值不值得我们入手作为家用投影仪呢，今天我们就锐塔克投影仪参数来分析一下，锐塔克投影仪怎么样，锐塔...。
[全球网报道记者姜蔼玲]韩国，中央日报，11日报道称，正在华盛顿加入北约峰会的韩国总统尹锡悦外地期间10日与乌克兰总统泽连斯基会面，韩国国度安保室当日举行资讯颁布会，称将为乌克兰及其国民提供所需声援，此信息经韩媒报道后，引发不少韩国网友不满，有网友称，，此举，令人寒心，，非要四处抚慰抗争迸发吗，报道称，今日晚宴前，尹锡悦夫妇和泽连...。
一等功中国人民束缚军奖章分为英雄榜样奖章和罪恶奖章两类，由总政治部一致制造，英雄榜样奖章分一级、二级两种；罪恶奖章分一、二、三等功奖章...国家荣誉勋章获得者，国家荣誉称号获得者名单，按姓氏笔划排序，于漪，人民教育家，于漪，女，汉族，中共党员，1929年2月生，江苏镇江人，上海市杨浦高级中学名誉校长，曾任全国语言学会理事、全国中学语文...。
CTS汽车是指凯迪拉克CTS车型，是美国凯迪拉克公司消费的一款高性能奢侈轿车，CTS是，CateraTouringSedan，的缩写，Catera是凯迪拉克公司早期推出的一款车型，CTS车型于2002年面世，以其出色的设计、出色的能源和操控性能，赢得了消费者和汽车评论家的认可，CTS汽车以其共同的美国格调和大气的外观设计吸引了泛滥消费...。
深圳一司机驾救护车直播超车被行拘交警，车上无病人司机存在多项交通违法行为为了防范相似事情再次出现，各个责任方都应举一反三，织密防范措施之网，近日，网传深圳一名救护车司机在驾驶环节中一边直播、一边飙车，关系视频在网上迅速引发关注，6月30日，深圳市公安局交警支队侦察大队颁布状况通报，证明司机王某某驾驶救护车在深圳某高速公路行驶时期，由副...。
中学生网络报名正式开启随着互联网技术的不断发展，网络已经成为我们生活中必不可少的一部分。对于中学生而言，网络的使用也越来越普及，网上报名也成为了一种趋势。现在，中学生网络报名正式开启，速来领取名额。2.网络报名的好处相对于传统的报名方式，网络报名具有许多优势。使用网络报名，可以充分利用互联网的便利性，随时查询报名情况、在线提交材料等，方便快捷。同时，网络报名也减轻了中学生和家长的压力，不必再排队、等待，避免了时间浪费和资源浪费。3.如何进行网络报名对于中学生而言，网络报名并不是一个难题。首先，需要选择
重庆分类目录网站收录其他相关的优秀网站大全分类检索，为上网用户提供其他网站排行榜与您分享、收藏！
日前诸多事件的叠加，使得王思聪频繁出现于公众视野，我们看到，王思聪投资的视频直播应用App17因可能涉黄问题几天前被苹果AppStore直接撤下，引发公众热议，不久前，腾讯英雄联盟四周年活动上，由周杰伦和王思聪各自担任队长的表演赛被大众津津乐道，在电竞行业，王思聪频繁大手笔使得其成为创业者关注与膜拜的对象，比如王思聪旗下的普思资本已入...。
雷锋网·新智驾按，1月16日，由雷锋网·新智驾主办的GAIR硅谷智能驾驶峰会在美国加州PaloAlto如期落地，18位中美顶尖自动驾驶行业嘉宾到场，7场主题演讲，2大圆桌论坛，几乎覆盖了自动驾驶相关的各个话题，从今天起，我们将陆续放出嘉宾演讲与论坛的精华部分，并将在后续的特辑中送上整场峰会的全部内容，该系列的第一篇，来自DARPA挑战...。
常言道，工欲善其事，必先利其器，在本文中，就结合实际互联网运营工作，给大家推荐一些能有效提高运营效率的工具利器，这些工具基本涵盖了互联网运营工作的方方面面，一、梳理运营思路领导布置了一项运营任务，让大家集思广益，为了更好地梳理和展示自己的想法，这时不妨使用思维导图工具来梳理自己的运营思路，思维导图工具，MindManagerMindM...。
驻德国使馆发言人就德国发表移除5G网络华为、中兴等中国通讯企业组件标明严正立场7月11日，德联邦外交部颁布信息以莫须有的所谓潜在安保危险为由发表将逐渐移除5G网络华为、中兴等中国通讯企业组件，中方对此示意剧烈不满和波动推戴，就此标明严正立场如下，华为、中兴等中国通讯企业常年在德依法合规运营，为德国数字化进程作出踊跃奉献，华为、中兴5G...。
适宜牡羊座的鞋子牡羊座是球鞋牡羊座不分男女都共性耐心，想到的方案没方法多等一秒，似乎球鞋没方法安分呆在鞋柜普通，非要找到战场挥霍用不完的精神一样，踊跃进取的牡羊座，将人生当做倒数的球赛，无论什么举措都谋求迅速果决，抢破头也要完成，适宜金牛座的鞋子适宜金牛座的鞋子金牛座是绣花鞋、圆头皮鞋金牛座细心审慎，似乎粗劣的绣花鞋，每一针一线都是通...。
