面向复杂场景的鲁棒机器学习大赛 安全挑战赛 2022AI CVPR (面向复杂场景的自重构自演化AI芯片研制及应用)

文章编号:43697 资讯动态 2024-12-09 商汤CVPR2022AI安全

近日,为了更好地推动安全可靠AI模型相关领域的技术研究与人才培养,鼓励研究者打造更安全、更可靠的AI,商汤科技联合北京航空航天大学共同发布,面向技术开发者和在校学生的科技类竞赛活动“面向复杂场景的鲁棒机器学习大赛Robust Models towards Open-world Classification”(大赛官网:aisafety.sensetime.com)。

大赛以CVPR2022 Workshop:The Art of Robustness: Devil and Angel in AdveRSArial Machine Learning为依托,该Workshop将汇聚来自全球计算机视觉、机器学习与智能安全领域的专家学者,围绕对抗机器学习的最新进展和发展展开研讨与分享,以推动安全可信人工智能技术进步。比赛2022年3月正式开赛,希望参与者发挥创新思维与创新能力,开发以数据为中心的新算法,例如数据增强、标签细化、制作对抗性数据,甚至设计来自其他领域的知识融合算法、数据集,加速图像分类中的对抗性鲁棒性技术研究,以达到更好地训练高效稳定的机器学习模型的目标。

CVPR 2022AI 安全挑战赛:面向复杂场景的鲁棒机器学习大赛

随着人工智能技术发展,如今AI模型已广泛应用于智慧城市、智能工厂、自动驾驶等公共、生活和生产领域,人工智能已经成为信息基础设施的重要组成。但在这个过程中,人工智能也暴露出一些风险隐患,例如用户和业界对于对抗安全、模型鲁棒性等问题的关注度持续提升。商汤科技很早就启动了相关研究和布局,针对对抗安全、模型鲁棒性以及隐私保护等问题,建立和完善了AI安全平台技术体系,打造覆盖全行业云边端平台更安全的“盾”,推动人工智能更安全、更公平、更可持续性地发展,以提升人的福祉,推动人类社会进步。

此次大赛由商汤科技和北京航空航天大学刘祥龙教授团队合作举办,希望通过比赛吸引更多研究者共同参与到,推动安全、可靠的人工智能技术发展中来。刘祥龙教授团队多年来深耕人工智能安全领域,不断探索可信赖人工智能前沿技术,在对抗攻防、模型评测和可解释理论方面成果丰硕,在国内外均具有一定影响力。比赛还得到了OpenI启智新一代人工智能开源开放平台的资源协助和大力支持。

双赛道对抗竞赛,聚焦开放世界场景

当前的机器学习竞赛大多在封闭数据集下寻找鲁棒的机器学习模型,然而在开放世界场景中,噪声数据的多样性(如对抗扰动、自然噪声、对抗补丁、对抗光线)以及分类类别的不确定性将会给鲁棒模型带来极大的挑战。

因此,本次比赛的目的是加速开放世界场景下的鲁棒模型研究。希望通过比赛,鼓励研究者开发面向开放世界的对抗防御算法。面对多种多样的对抗攻击算法和真实世界中的各种各样的场景,在测试类别不确定等因素下,探究鲁棒模型的生产方式,促进鲁棒防御模型的发展。

本次比赛共有两条赛道。

赛道1:分类任务防御模型竞赛

第一赛道的目标是获得鲁棒性好的模型,可以适应各种各样的攻击样本。

第一赛道分为初赛和复赛两个阶段。初赛阶段,比赛会分别释放训练集和测试集,参赛者仅能使用该阶段释放的训练集训练鲁棒模型。训练集为正常的分类数据,测试集包含正常分类数据和攻击样本。第一赛道的攻击样本包括但不限于通过对抗攻击产生的对抗样本。选手需要得到足够鲁棒的防御模型,能够对干净样本和对抗样本进行正确分类。初赛阶段选手需要将给定测试集的预测结果提交。复赛阶段,参赛者同样仅能使用该阶段释放的训练集训练鲁棒模型。但与初赛不同的是,参赛者需要提交训练好的原始模型,平台将对提交的模型进行评测。数据集的构成上,初赛为20类,复赛为100类。

赛道 2:OpenSet对抗噪声检测模型

第二赛道的目标是对对抗攻击产生的对抗样本做区分。在第二个赛道中测试集为开放类别,即和训练集合的类别没有交集。

第二赛道同样分为初赛和复赛两个阶段。初赛阶段,比赛会分别释放训练集和测试集,参赛者仅能使用该阶段释放训练接做训练,得到可以区分正常样本和对抗样本的模型。 在复赛阶段,选手同样需要提交模型到平台进行验证。

比赛规则

本次比赛的提交评测,在主办方提供的评测平台上进行。比赛采用初赛、初赛和复赛阶段的评估指标均采用识别准确率。初赛成绩排名前20名晋级复赛,最终成绩按照干净样本下的准确率得分占比40%,噪声样本下的准确率得分占比60%进行加权得到总分进行排名。

l在比赛中只允许使用各个阶段提供的训练数据集进行训练,其他数据集不允许用于模型的训练。

l复赛提交ONNX模型,模型需要为FP32模型,模型体积不大于120M,计算量不大于 5GFLOPs。输入图片的格式为3x224x224,每个像素归一化到[0,1]。

l不允许为训练集合提供任何外部数据。

l禁止模型融合。简单来说,单独训练多个模型然后对结果融合是禁止的,主办方会对最终提交的代码进行审核。

l禁止在模型提交环节使用超过提交规定规模(包括FLOPs和体积)的模型对提交模型进行蒸馏。

l禁止对测试集样本手工标记。

l参与者必须在每个赛道的第二阶段提交中附带一份技术报告,其中包括对其提交的详细消融研究(建议长度1-4页)。报告将会在竞赛官网进行公开。

本次比赛总奖池1.5万美元。其中赛道1总奖金池8000美元,取前6名,前六名奖金分别为3000、2000、1500、800、500、200美元;赛道2总奖金池7000美元,取前3名,前三名奖金分别为4000、2000、1000美元。比赛时间为3月11日-5月21日,并将在6月发布及公示获奖结果,获奖队伍还将受邀参加CVPR 2022的相关主题Workshop进行分享。

建立AI安全平台技术体系,持续推动技术发展

如今推动可信人工智能技术发展,实现人工智能的技术可控已成为全球共识。对于任何新兴技术的应用,都必须保证其安全性与可靠性,必须齐备可验证、可审查、可信任、负责任等关键属性。与历史上其他重要技术发展普遍会经历的一样,人工智能也正在经历从技术研发到大量应用的关键阶段。

商汤科技一直秉持平衡发展的 AI 伦理观,希望在技术可控、以人为本和可持续三条核心原则的基础上,寻求均衡发展,希望用人工智能技术推动社会的进步。近年来,商汤科技建立和完善了AI安全平台技术体系。在数据安全及保护方面,商汤科技成为第一家获得全部三项 ISO/IEC 隐私信息管理系统、信息安全管理和个人身份信息保护认证的人工智能公司。同时,商汤科技还通过基于真实场景下的数据集的算法验证与评测,围绕“AI 算法的数据隐私保护”、“AI 算法的鲁棒性”、“AI 算法的公平性”等多个方面进行,从产品源头确保人工智能算法的可信品质。

依托深厚的技术累积、人才储备、行业经验等,未来商汤科技在为用户提供在行业内广泛验证使用、具备行业影响力的可信任AI解决方案的同时,还将引领人工智能行业产品安全标准体系的建立,全方位为AI行业的健康持续发展保驾护航。

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
MBA智库文档

MBA智库文档,专业的管理资源分享平台。分享管理资源,传递管理智慧。

百度百科

百度百科是一部内容开放、自由的网络百科全书,旨在创造一个涵盖所有领域知识,服务所有互联网用户的中文知识性百科全书。在这里你可以参与词条编辑,分享贡献你的知识。

武汉输送机

武汉中普瑞特工业有限公司产品:武汉输送机、武汉滚筒输送机、武汉食品输送机、武汉皮带输送机、武汉提升机、武汉升降输送机、武汉带式输送机、链板输送机、移动式输送机、滚筒线、皮带滚筒线、滚筒运输线、动力滚筒线、滚筒线链条等,输送设备行业从业多年。

博弈知识网

常用生活知识哪家强就上博弈知识网,汇集了知识问答、各种百科小知识、生活常识知识、保险知识解答等帮助大家解决生活各种问题的平台。

山东众远建设有限公司

山东众远建设有限公司专业承包:建筑工程、幕墙工程、钢构工程、装饰装修工程、市政工程、防水防腐保温工程、消防设施工程、环保工程、电子智能化工程。

干粉砂浆设备

河南鑫恒岩重工科技有限公司是主要生产砂浆设备生产线的厂家,公司以生产干粉砂浆设备,干混砂浆设备,砂浆设备,干混砂浆搅拌站,干粉砂浆生产线,干混砂浆生等为主,集研发、生产、销售为一体的企业。

汇港国际物流(广州)有限公司

汇港国际物流是一家自主经营的货运代理公司,提供海运、空运、项目物流和合同物流范围的物流方案。本家族企业在德国不来梅成立于1852年。如今,雇员超过二千人,全球网络遍布三十多个国家。

保税区销毁

画明环境:海关销毁一站式服务平台。业务范围:海关商品销毁,退港产品销毁,报关货物销毁,销毁公司,不合格产品,过期食品,化妆品,护肤品销毁,电子产品销毁,服装销毁,文件销毁等;垃圾处理,厨余垃圾处理,污泥回收等业务。

水轮机密封网

水轮机密封网是一家专业从事主轴密封、桨叶密封、导叶密封、水轮机进水球阀密封、盘根、空气围带等密封件产品开发与应用的高科技企业。

湖北省文物考古研究院

湖北省文物考古研究院是中国南方规模最大、技术力量最为雄厚的专业研究机构之一,主要担负湖北省境内的考古调查、勘探与发掘任务,以及科研工作。

东方财富证券:网上营业厅,股票交易,股票行情,股票开户,基金理财,炒股软件下载,券商,证券交易,证券公司

东方财富证券股份有限公司主营业务范围为:经纪业务;证券投资基金代销;证券自营;财务顾问;证券投资咨询;证券资产管理;融资融券;基金理财;网上股票交易;在线股票开户;证券承销与保荐等。

常州金坛精达仪器制造有限公司

常州金坛精达仪器制造有限公司专业供应土壤干燥箱、数显光照培养箱、冷冻水浴/气浴振荡器、全温振荡培养箱等产品,并提供定制水浴恒温振荡器,公司是一家具有设计、生产、销售、服务于一体的科技型仪器制造商,欢迎来电咨询。

全局底部横幅