不可或缺 外部有效性 单考虑分布偏移远不够！真实数据很复杂 (不可或缺的因素)
数据分布偏移（data distribution shift）是可信人工智能系统热衷于考虑的一个话题，每年关于它的相关研究数不胜数。然而，仅关注分布偏移就足够了吗？
近期，纽约大学AI Now研究所的技术研究员Deborah Raji在UC伯克利助理教授Benjamin Recht的个人博客argmin上发表了对这一话题的看法。
她对于学界过度关注分布偏移感到担忧，认为更应该考虑统计上一个相关概念，即外部有效性（external vadality）。
数据偏移一直在可信人工智能上的一项“杀手锏”。例如，由美国史诗系统公司研发、被密歇根大学医院广泛应用的败血症识别模型在2020年4月由于频繁出现虚假报警，而被紧急叫停。据分析，这是因为新冠大流行导致的人口地理学特征发生了变化才使得模型出现偏差。
这是数据分布偏移的一个例子：当测试集的数据与训练集的数据分布发生变化时候，模型无法有效迁移到新的应用场景下导致出错。
这和不断变化的本质相关：真实世界的数据往往是动态的、变化的、不确定的，例如软件部署变化，人口迁移，行为变化，语言演变等，如果模型不将这些予以考虑，就会出现系统性偏差。
Benjamin Recht发表过这样一个另一惊讶的 ，他们重新按照ImaGenet的数据收集方式收集了一批新的测试集，用原有的模型对新测试集进行准确性测试，发现了如下的结果：
其中，横轴代表在原始数据测试集的测试性能，纵轴代表新数据集上的测试性能，蓝色的每个点代表一个模型的结果，红色的线则是对它们的线性拟合，黑色的虚线y=x代表理论上测试结果应该具有的表现。
可以看出，尽管二者之间仍然存在线性相关，即在原数据集上表现好的，在新的数据集也表现得很好，反之亦然；然而，它们之间仍相差将近15%的差距，这就是由于数据分布偏差所导致的。这里的偏差可能来自不同的标注者偏好，不同的数据收集过程等等。
Deborah Raji承认研究这种现象的重要性，但她认为ML的研究者们太过于执着于关注分布偏移这一话题了，以至于很多情况下将模型的任何失误都归因于了分布偏移，而她认为这是不合适的。
首先，她认为“分布偏移”这一问题有时候太过具体，有时候又不够具体。任何数据上的变化都可以认为是一种“分布偏移”，例如数据特征本身的变化、数据标签的变化以及二者都发生的变化。
另一方面，这一术语又太宽泛模糊了。“数据分布”这个概念自身就需要假设数据来自一个假象的“真实”分布中，而现实可以观察到的数据则是从这一整体分布中独立同分布的采样数据。然而这个分布是什么呢？没人知道——真实数据混乱、无序、不可预知。
数据分布偏移了，可是哪些部分发生了变化，为什么它们发生，这些都无从得知。
Deborah Raji进而警告道，对于这一术语的痴迷会如何限制ML社区的发展。一个表现是，现在的社区热衷于开发检测数据分布偏移的基准测试，以此来声称测试偏移的程度。然而这些数据是静态的、理想的，无法适应真实世界更加复杂的数据。
有些研究已经开始得出结论：过度强调数据分布偏移已经使得ML实践者和政策制定者更专注于回顾性研究（retrospective studies），而非前瞻性研究（prospective studies）。前者针对于静态收集的历史性数据而言，后者则更加着重于系统的上下文背景。
回顾性研究与前瞻性研究
为此，Deborah Raji希望研究可以更加转向“有效性”（validity）这一概念。有效性是统计中测度论（measurement theory）中的重要概念，用以衡量系统的可信赖性。有效性又包含内部有效性（internal validity）和构建有效性（construct validity）。当讨论泛化性的时候，我们更关注于外部有效性（external validity）。
外部有效性衡量模型如何泛化到其它场景、设定。这些测试的设定往往不是实验原有的环境，并且考虑到不仅仅是数据方面的变化。
Deborah Raji以一篇文章为例，这篇发表在JAMA的，名为“在住院患者中广泛使用的败血症预测模型的外部有效性分析”对于开头中的那个例子中的模型做了更加详尽的“外部有效性”分析。
首先这篇文章描述了一项关于 2018 年 12 月至 2019 年 10 月期间（尤其是在大流行开始之前）使用败血症模型的回顾性研究。他们检查了接受38,455 次住院治疗的27,697名患者，发现Epic模型预测败血症发病的曲线下面积为 0.63，而“这比其开发人员报告的性能要差得多”。
此外，该工具“未识别出 1,709 名败血症患者（67%），因此造成了很大的虚假报警。”
这些研究人员正确地将这些问题描述为“外部有效性”问题，并详细研究了它们，这远远超出了“临床医生和数据集偏移”——一个静态的偏移数据集中描述的数据分布偏移。
对于Epic 系统的评估是基于 2013 年至 2015 年 3 个美国卫生系统的数据，这与密歇根大学 2018-2019 年的患者记录数据不同。但该评估不仅仅考虑数据问题，还评估了医生与模型交互的变化以及这些变化如何影响结果，以及其他与数据几乎没有关系的外部有效性因素——这远超过了数据分布偏移。
即使在讨论实质性的数据更改时，研究者们也会试图具体描述它是什么，并具体分析在他们医院部署时发生的差异。
作者Deborah Raji是尼日利亚裔加拿大计算机科学家和活动家，她致力于研究算法偏见、人工智能问责制和算法审计。她曾与 Google 的Ethical AI 团队合作，并曾在纽约大学AI和AI Now研究所的合作伙伴关系中担任研究员，致力于研究如何在机器学习工程实践中考虑道德因素，曾于AI公正性研究的 做过同事，也曾获得过该领域多个奖项。
Deborah Raji与Ben Recht已经在这个外部有效性这一话题上已经展开了很多深入的讨论，后续关于这一问题的探讨也会陆续放在arg min的博客上，感兴趣的读者可以关注查看~
版权文章，未经授权禁止转载。详情见 转载须知 。
福建桑涂环境科技有限公司是一家专注于RCO催化燃烧设备，环保催化燃烧设备，废气催化燃烧设备的高新技术环保企业，我司拥有严格的管理制度，一流的服务质量，详询18350183331。
-教育-论文/文库网址
山东贝特重工股份有限公司生产,开发,设计,制造山东潍坊稳定土拌合站,水稳拌合站,水稳搅拌站,山东潍坊混凝土搅拌站,移动式稳定土拌合站,山东潍坊混凝土搅拌楼,山东潍坊水稳拌合站,山东潍坊二灰拌合站等建设机械。
法律咨询就到找律网－这是一个专业的律师法律咨询网，为需要法律咨询及聘请律师的朋友提供快捷、高效的寻找律师、在线咨询律师、学习法律知识、合同协议范本下载、查询律师、查询律师事务所等服务，是网上找律师的优选网站！
浙江法莱力新能源有限公司提供叉车电池,动力电池,叉车蓄电池组,叉车铅酸电池改锂电,防爆蓄电池等产品.源头厂家,质量可靠,型号齐全.我们致力于为客户提供高质量的电池产品和质优的售后服务,让您的叉车运行更加高效稳定.联系方式:18698558236
美术高考网www.mkao.cn创建于2006年,美考网定位于美术高考信息查询网站,为广大艺考生和家长提供最新的艺术院校招生简章、成绩查询、美术培训班画室、查询美术高考信息就上美考网。
天坛号提供全球经济、股票、科技、创业、互联网等领域数据更新和实时解读。我们追求及时、全面、专业、准确的资讯与数据，为您保驾护航。
乐游游戏网是一个集海量游戏攻略、资深玩家社区、安全下载服务、个性化推荐和优质服务于一体的游戏平台。我们专注于为游戏爱好者提供全面、详细的游戏指南，以及安全、便捷的游戏下载服务，让您的游戏体验更加丰富多彩。快来与我们一起探索游戏的无限可能吧！
泉州老蔡原味膳饮食有限公司,老蔡鸭肉面线,鸭肉面线,老蔡原味膳
书法,教育,一帆教育,快乐习字
搜源头主要提供品牌方联系方式，源头厂家微信，服装批发市场档口大全，全品类供应链目录，服装源头工厂，一手源头对接,达人主播，电商对接，直播商务对接。提供杭州，广州等高端带货类主播网红等资源联系方式，赋能服装行业。
超级链接APP下载-私域社交永久关系链，超级社区-带您探索蜂群联盟项目，超级链接、方块兽、人猿世界、养乌龟等等，每日超级链接摩斯集卡解密玩法，带您探索更多网络项目！
国内餐饮市场上创建有诸多系列美食，以推动产业发展，海鲜时间餐厅提供结构丰富、多样化菜品选择，借助于全球稳定冷链直供系统，确保食材新鲜直达，特别推荐门店产品海鲜与牛排，以品质实力展现鲜美滋味，让消费者尽享舌尖上的诱惑，在这里，每一口都是对美食文化的深度探索，每一次用餐都是一场视觉与味觉的双重盛宴，在消费者的欢迎下，创业者也纷纷增长了加盟...。
雷锋网8月20日消息，昨日，，程序员社交网，GitHub公布了其平台上最热门的10大编程语言，其中JavaScript蝉联第一，Java位列次席，从图表中可看出，自2008年GitHub成立以来，Java的排名一路飙升，顺路超越PHP、Ruby等主流编程语言，其中，Java流行的主要原因就是Android系统的普及，据悉，此次排名是通...。
谈论一所大学撑起一个城市的代表，中科大和合肥的CP组合，一定榜上有名，在合肥的，大湖名城创新高地，立城口号中，创新二字便由中科大所撑起，事实上，在医疗科技的学术和产业发展中，中科大也占有同样举足轻重的位置，中科大在这方面的积淀，最早可以追溯至创校之初13个系之一的生物物理系，中科大也是我国最早实行学科交叉的开拓者之一，此后，中科大陆续...。
神经绷得比较紧，一位互联网业内人士向雷锋网如此描述他感受到的氛围，互联互通以来，面对阿里系App接连不断接入微信支付，向其开放支付场景，微信和腾讯似乎都在承受着不小的压力，据了解，自9月底以来，阿里巴巴旗下包括饿了么、优酷、大麦、考拉海购、书旗在内的多款App都已接入微信支付，淘特、闲鱼、盒马等App也已提出接入申请，正在等待微信...。
发表在综合交流大区2023，6，519，50现在，千元级投影仪的配置已今非昔比，这次我以1099元种草的这款哈趣H2，不仅外观时尚，还拥有真1080P的高清物理分辨率，亮度更是达到了900ANSI，在家直接投墙就能获得非常不错的观影效果，下面，就与大家分享一下我的真实感受，哈趣H2的外观设计非常新颖，小巧、呆萌的身形也彰显了哈趣投影，...。
沃尔沃xc90厂商指点价，63.09，84.99万元；1、沃尔沃XC90是一款奢侈七座SUV，和奥迪，飞驰，宝马等属于一个级别，而且它是一台市区多性能的奢侈SUV；2、沃尔沃XC90车型的外观设计都是家族式设计，外型共同的，雷神之锤，LED大灯，打造家族标识性前脸，印记显明且极为共性，搭配的音响系统也都是奢侈的品牌，例如，英伦殿堂级音...。
凯美瑞2021款是一款丰田旗下的中型车，其官网指点价为元元我们以凯美瑞2021款双擎25HS锋尚版为例，据了解，目前在伊犁哈萨克自治州没有什么活动首先来看看以存款方式购置这款车须要多少钱，依照首付比例；来看看落地价，我们以凯美瑞2021款25G奢侈版为例，其官网指点价为元，据了解目前广州市局部经销商有最高2000元左右的活动，所以这款...。
国五，奔流B70搭载了人造吸气CA4GD1发起机，婚配了6档手动变速箱和6档手自一体变速箱，最高车速，km，h，200，最大功率转速，rpm，6500，最大扭矩转速，rpm，4000，国五规范排放控制水平相当于欧洲正在实施的第5阶段排放规范，欧盟曾经从2009年起开局口头，其对氮氧化物、碳氢化合物、一氧化碳和悬浮粒子等机动车排放物的限...。
WPA3，Wi，FiProtectedAccess3，第三代Wi，Fi访问包全，是Wi，Fi联盟组织于2018年颁布的新一代Wi，Fi，WiFi，加密协定，它对WPA2启动了改良，参与了许多新的配置，为用户和Wi，Fi网络之间的数据传输提供愈增弱小的加密包全，依据Wi，Fi网络的用途和安保需求不同，WPA3分为WPA3团体版、WPA3...。
好，1、外观，古思特踏板摩托车的外观素淡典雅，国潮风十足，将许多现代的科技产品融入到古典优雅的念旧外型当中，深得念旧踏板的神韵，2、静音，古思特踏板摩托车的发起机怠速时噪音不大，属于静音类型，3、温馨，古思特踏板摩托车的驾驶姿态温馨，手把高度刚刚好，不容易碰腿，古思特多少钱多少?古思特的多少钱区间为450.00，530.00万，古思特...。
惠普ENVY13-AQ1013TX笔记本重装系统WIN10步骤(一键重装方法)
彩纸屋是全国首家提供scratch开源定制和少儿编程培训管理系统源代码的服务商，彩纸屋提供的scratch培训管理系统可开源定制，方便用户二次开发，公司服务客户遍布全国各地，旗下方格侠系统可进行在线演示操作。少儿编程源码特点：...
雷锋网消息，本周三，Intel推出了由Movidius芯片和ArriaFPGA组合打造的新系列计算机视觉加速器，这些被称为，视觉加速器设计系列，的新设备面向Intel的部分客户，旨在简化具有计算机视觉功能的设备的开发和制造，虽然Intel没有公布的SKU，但加速器产品将配备MovidiusVPU或Arria10FPGA，并将采用PCI...。
雷锋网按，随着肺炎疫情在全球范围内流行尚未有缓解之势，失业问题也随之而来，近日领英新上线了一款AI面试工具，旨在帮助求职者为面试提前做好准备，其设计原理是，通过记录面试时的标准答案，如，你最大的优缺点是什么，，，你接下来的计划是什么，等，求职者会收到AI自动生成的评估，基于，使用频率、讲话语速和节奏，为求职者自动生成说话填充词，同时避...。
生成式AI在经历了火热的百模大战之后，开始进入落地阶段，以工业机器视觉、可穿戴设备和消费者机器人为代表的边缘应用，无疑是生成式AI落地的重要场景，本周，Arm宣布推出了性能相比前代提升4倍的ArmEthos，U85神经网络处理器，NPU，，这是一款硬件支持Transformer架构和卷积神经网络，CNN，的AI加速器，能够以高能效实现...。
发表在综合交流大区2020，2，814，28很多有了智能投影仪的用户，发现其实投影仪是一款巨型的安卓手机也不为过，因为智能投影仪和手机一样能够安装软件，可以安装各类软件比如视频软件，游戏，直播软件等等，包括我们上网查资料用的浏览器也是可以安装的，或许有些用户不知道什么浏览器适合投影仪使用，下面我来给大家推荐几款投影能用的浏览器，第一款...。
发表在综合交流大区2024，7，817，13投影仪的价格区间非常的大，上到几十上百万的影院投影仪，下到百元投影仪，那么百元投影仪可以入手吗，答案是可以的，下面就分享2024百元投影仪选购注意事项，看看2024百元投影仪推荐哪些，一、2024百元投影仪选购注意事项1.注意亮度百元投影仪最需要注意的就是亮度，因为百元投影仪存在太多亮度虚标...。
