安全 AI时代下 问题 首届人工智能安全大赛收官 我们更应该谈谈 (时代安全月刊)

文章编号:37752 资讯动态 2024-11-30 瑞来智慧安全人工智能

数字经济时代下,以人工智能为代表的数字技术赋能产业变革,推动整个社会经济进入智能化的新阶段。与此同时,人工智能在应用过程中产生的网络系统攻击、隐私泄露、数据权属等安全问题,也引起整个产业界的重视。

9月16日,以“共筑AI安全 安享智能未来”为主题的AISC首届人工智能安全大赛圆满落幕。本次比赛共决出人脸识别安全、自动驾驶安全、深度伪造安全三大核心赛道冠军。据了解,本次大赛由国家工业信息安全发展研究中心、清华大学人工智能研究院和北京瑞莱智慧科技有限公司等单位联合主办,系首个全国性人工智能安全赛事。

AI安全风险已非未来挑战,而是眼前威胁

试想一下,有人将一张“神奇的贴纸”放置在面部,就可以使人脸识别门禁系统误认为是你,从而轻而易举打开大门;同样是这张“神奇的贴纸”,把它放置在眼镜上,就可以1秒解锁你的手机人脸识别,探取你的隐私如入无人之境。这并非科幻大片的想象,而是首届人工智能安全大赛颁奖典礼现场展示的真实攻防场景。

AI时代下,我们更应该谈谈“安全”问题|首届人工安全大赛收官 大赛工作人员展示对抗样本攻击人脸识别门禁系统

北京瑞莱智慧科技有限公司首席执行官田天认为,人工智能技术风险发生的范围正随着应用场景的日趋广泛而逐步扩大,风险发生的可能性也随着其应用频次的增长而持续提高。在他看来,人工智能当前的安全风险主要可以从“人”与“系统”这两个视角来剖析。

从人的视角来评估AI的安全问题,首当其冲就是技术的两面性问题,存在AI滥用甚至“武器化”的问题。具体到人工智能的应用中来看,最为典型的代表就是深度伪造技术,它的负向应用风险持续加剧且已产生实质危害。

而现场的人脸识别破解展示,所揭示的正是系统的风险,它来自于深度学习算法本身的脆弱性。以深度学习算法为核心的第二代人工智能是个“黑盒子”,具有不可解释性,意味着系统存在结构性的漏洞,可能受到不可预知的风险,典型的就比如现场展示的“神奇贴纸”,其实就是“对抗样本攻击”,通过在输入数据中添加扰动,使得系统作出错误判断。

这一漏洞在自动驾驶感知系统同样存在,瑞莱智慧展示了用对抗样本攻击自动驾驶汽车。正常情况下,在识别到路障、指示牌、行人等目标后,自动驾驶车辆就会立即停车,但在目标物体上添加干扰图案后,车辆的感知系统就会出错,径直撞上去。

结合具体赛题来看,自动驾驶安全赛题和人脸识别安全赛题从攻击视角出发,通过让选手攻击目标模型挖掘算法漏洞,旨在发现更加稳定的攻击算法,以更好的实现准确评估模型的安全性。深度伪造安全赛题则通过分析伪造音视频的相似性,来溯源不同伪造内容是否来自同一种或同一类生物特征生成软件,以促进对深度伪造检测技术的发展,具有重要的现实意义。

AI时代下,我们更应该谈谈“安全”问题|首届人工安全大赛收官

瑞莱智慧首席执行官田天

安全的本质在于对抗升级,构建安全需要一个持续攻防演进的过程。田天表示,大赛聚焦人工智能真实应用场景中的典型漏洞及风险,以赛促建、以赛促研,通过考核参赛队伍的漏洞发现、漏洞挖掘等能力,探索新型安全需求场景,推动AI攻防技术创新,为强化人工智能治理体系与安全评估能力建设提供支撑。

构建人工智能的安全生态,一方面需要技术的持续演进,一方面也需要专项技术人才的建设与培养。田天表示,由于人工智能安全研究目前仍属于新兴领域,专项人才较少,缺乏系统性的研究队伍,本次大赛通过实战演练的方式,全方位验证和提升选手实战能力,为培育一批高水平、高层次的人工智能安全新型人才团队提供了“快速通道”。

据了解,自七月开启报名以来,大赛共吸引来自全国范围内70多所高等高校、科研院所、企业机构的超过400支团队,共计600余名选手的踊跃参与。经过三个月的激烈角逐,最终,上海交通大学联合战队“AreYouFake”与北京交通大学战队“BJTU-ADaM”分别摘得深度伪造安全与自动驾驶安全赛道桂冠,北京理工大学战队“DeepDream”与建信金科战队“Tian Quan&LianYi”共同位列人脸识别赛道第一名。

AI时代下,我们更应该谈谈“安全”问题|首届人工安全大赛收官 深度伪造安全竞赛前三名

AI时代下,我们更应该谈谈“安全”问题|首届人工安全大赛收官 自动驾驶安全竞赛前三名

AI时代下,我们更应该谈谈“安全”问题|首届人工安全大赛收官 人脸识别安全竞赛前三名

此外,活动现场,由国家工业信息安全发展研究中心牵头,联合华为技术有限公司和北京瑞莱智慧科技有限公司共同撰写的《人工智能算力基础设施安全发展白皮书》正式发布

白皮书围绕人工智能算力基础设施安全发展的意义、内涵与体系架构、安全管理现状、发展建议等方面展开深入研究。白皮书指出,人工智能算力基础设施不同于传统的算力基础设施,既是“基础设施”又是“人工智能算力”也是“公共设施”,具有基建属性、技术属性、公共属性三重属性。相应地,推动人工智能算力基础设施安全发展应从强化自身安全、保障运行安全、助力安全合规三个方面发力,通过强化自身的可靠性、可用性与稳定性,保障算法运行时的机密性与完整性,提升用户的安全管控力、认可度与合规性等八个领域筑牢人工智能安全防线,打造可信、可用、好用的人工智能算力底座,营造安全、健康、合规发展的人工智能产业生态。

现场,中国科学院信息安全国家重点实验室副主任陈恺、北京航空航天大学软件开发环境国家重点实验室副主任刘祥龙、工商银行金融研究院安全攻防实验室主管专家苏建明进行了主题分享。圆桌对话环节,北京交通大学教授、计算机与信息技术学院副院长景丽萍、清华大学人工智能研究院基础理论研究中心主任朱军、北京邮电大学网络空间安全学院副院长邓伟洪、北京科技大学计算机与通信工程学院教授陈健生、华为可信AI安全解决方案专家唐文围绕人工智能安全技术发展、人工智能安全治理等话题展开深入交流。

专家们认为,从长远看,人工智能的安全问题,还需从算法模型的原理上突破,唯有持续加强基础研究,才能破解核心科学问题,同时他们强调,人工智能的未来发展需确保对整个社会、国家发展的有效性和正向促进性,需要政产学研用多方协同共进。()

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
网页类网站导航大全

LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.

公交查询

图吧公交网提供周边公交查询信息,包括公交查询、公交线路查询、公交换乘、公交车站查询、公交地图等。

∽一鹿顺风∽

往事随风,一鹿顺风,一鹿顺风的博客“生活笔谈”,记录生活的点点滴滴,分享快乐的每个一个源泉,分享生活分享快乐,LBS技术交流平台,博客营销原创文学网络...

途见百科

途见百科是您的日常生活知识宝典,解答生活每一个“为什么”,实现每日同步动态更新简单又实用的生活百科大全,包括生活妙招、百科知识、难题大全、经验技巧等栏目内容。途见百科是您的生活知识小助手,致力于点亮您的每一天。

张家港星帮尼环保科技有限公司

清洁用品,从狭义上来说,是指具有清洁功能的工具。主要用于室内地面和室内卫生的清洁。从广义上来说,清洁用品是指一切运用于清洁作业的使用物品,主要包括:清洁设备、日常清洁工具和辅助工具、清洁剂三大类。

16mn无缝方管

山东鲁航金属制品有限公司【电话:189-6351-1368】主营16mn无缝方管,20#无缝方管,小口径无缝方管,冷拔无缝方管,q345c无缝方管等产品,厂家直销,以客户需求为导向,竭诚为广大客户提供高品质的服务,期待您的到来.

9422教程网

9422教程网为广大网友提供专业的wps教程,让电脑小白也能轻松学会wps。

FFU风机过滤单元

苏州柏本洁净技术有限公司专注ffu过滤器、洁净棚、高效过滤器、风淋室生产定制,专业从事净化工程项目、无尘车间、无尘厂房的设计、施工与安装。

汽车动向

汽车动向提供最专业,最全面的汽车报价、汽车图片信息,包括各类车型评测、报价、参数、配置、相关新闻和图片等,想了解更多汽车信息。

冷镦机维修厂家

苏州冷镦机厂家常熟市宇峰标准件机械制造有限公司专业生产冷镦机,多工位冷镦机,想要了解冷镦机大修,冷镦机改装,多工位冷镦机价格,冷镦机维修,产品质量好,价格实惠.

苏州云标软件科技有限公司

网站设计,小程序,seo,微信小程序,微信公众号,网站推广,抖音认证,抖音小店,网站定制,苏州网络公司,常熟网络公司

全局底部横幅