在Kaggle足球竞赛中一举夺冠 绝悟WeKick 碾压1138支AI!腾讯 (在kaggle上怎么保存代码)

文章编号:44391 资讯动态 2024-12-09 AI足球

你以为AI只会打王者?NO,踢足球也溜的很!

先来欣赏两个精彩片段:

快、准、直!一记完美的长传后,直射球门!

碾压1138支AI!腾讯『绝悟WeKick』在Kaggle足球竞赛中一举夺冠

连续突破重围,轻松传球4次。

碾压1138支AI!腾讯『绝悟WeKick』在Kaggle足球竞赛中一举夺冠

看到如此娴熟的球技,你是不是和小编一样误以为是人类,其实赛场上的球员全部是AI代理。刚刚完成传球、射门的黄色球衣球员正式腾讯的绝悟AI——足球版WeKick。

绝悟,是腾讯AI Lab与王者荣耀联合研发的策略协作型AI,上个月刚刚升级为完全体(让AI掌握了所有英雄的所有技能)。绝悟Wicke版是基于绝悟完全体迁移得到的,并针对足球任务进行了针对性调整。

WeKick刚刚参加完首届谷歌足球Kaggle竞赛,以上是赛场上传来的精彩片段。在这场全球顶级AI足球赛中,WeKick凭借1785.8分分绝对性优势,一举击败了1138支优秀团队夺得了本次竞赛的冠军。

碾压1138支AI!腾讯『绝悟WeKick』在Kaggle足球竞赛中一举夺冠

这是绝悟完全体首次应用于足球任务,并参加大型国际足球竞赛,取得如此成绩,可见其背后深度强化学习方法的通用能力。

与王者荣耀一样,足球竞赛也属于即时策略型游戏,需要AI具备长线思考、快速决策、处理复杂环境的能力。在本次竞赛中,一个球员需要一个智能体(11vs11赛制),AI代理不仅需要控制球员之间的相互配合,还要时刻观察对手的行为,并做出及时应对。

在瞬息万变的赛场上,这背后需要复杂的团队协作、实时决策和竞争策略。

那么,在如此高难度的挑战赛中,为何绝悟WeKick能够杀出重围,夺得冠军?

WeKick背后的三大优化策略

此次竞赛使用的是Google Research Football强化学习环境。

得益于深度强化学习在游戏领域突飞猛进,从Atari游戏,围棋,再到多种不同的视频游戏,AI智能体在不断迭代中变得越来越强,使足球运动团队策略的难关也得以被攻克。

碾压1138支AI!腾讯『绝悟WeKick』在Kaggle足球竞赛中一举夺冠

与MOBA游戏中不断有经济、血量、经验等实时学习信号不同,足球的游戏激励非常稀疏,基本只能依靠进球,而稀疏激励一直是目前强化学习一大难题。

也就是说,单纯的从零开始完全采用强化学习来训练足球AI也相当困难。对此,腾讯AI Lab提出了三项改进方案:

首先是定制化框架,研究人员采用自博弈(Self-Play)强化学习来从零开始训练模型,并部署到异步的分布式强化学习框架中。

碾压1138支AI!腾讯『绝悟WeKick』在Kaggle足球竞赛中一举夺冠

虽然该异步架构牺牲了训练阶段的部分实时性能,但灵活性却得到显著提升,而且还支持在训练过程中按需调整计算资源,使其能适应 11 智能体足球游戏训练环境。

此外,由于MOBA游戏和足球游戏任务目标存在差异,绝悟WeKick采用了生成对抗模拟学习(GAIL)与人工设计的奖励结合的方式,在特征与奖励设计上进行了扩展和创新

该方案利用了生成对抗训练机制来拟合专家行为的状态和动作分布,使绝悟WeKick可以从其它球队学习。然后,再将 GAIL 训练的模型作为固定对手进行进一步自博弈训练,进一步提升策略的稳健性。

碾压1138支AI!腾讯『绝悟WeKick』在Kaggle足球竞赛中一举夺冠

但这种通过自博弈强化学习得到的模型有一个天然的缺点:很容易收敛到单一风格。在实际比赛的时候单一风格的模型很容易发生由于没见过某种打法而表现失常,最终导致成绩不佳的情况。

因此,为了提升策略的多样性和稳健性,绝悟还采用了针对多智能体学习任务的League(若干策略池)多风格强化学习训练方案。

碾压1138支AI!腾讯『绝悟WeKick』在Kaggle足球竞赛中一举夺冠

这种League多风格强化学习训练方案的主要流程可简单总结为先专精后综合,如下:

内部能力评分系统显示,加入对手池训练以后的主模型,可以在基础模型的基础上提高200分,比最强的风格化打法高80分。

碾压1138支AI!腾讯『绝悟WeKick』在Kaggle足球竞赛中一举夺冠

最后基于定制化的框架改进,生成对抗模拟学习(GAIL)方案以及 League (若干策略池)多风格强化学习训练方案,使绝悟远超过其他AI球员,取得了1785.8的高分。

Kaggle首届比赛,难度升级!

本届比赛是Kaggle首次针对足球AI领域发布的赛题。Kaggle是全球最大的数据科学社区和数据科学竞赛平台,创立于2010年。

碾压1138支AI!腾讯『绝悟WeKick』在Kaggle足球竞赛中一举夺冠

由于足球运动团队策略因其复杂性、多样性和高难度,一直是困扰世界顶尖AI研究团队的难题,加上稀疏的游戏激励使其成为比MOBA游戏更难攻克的目标。Google Research联合英超曼城在Kaggle上举办了这场赛事,希望进一步推动多智能体技术研究。

碾压1138支AI!腾讯『绝悟WeKick』在Kaggle足球竞赛中一举夺冠

基于此,不同其他AI足球赛事,本届比赛在难度上进行了大幅度升级,如前所述比赛采取11vs11赛制,参赛团队需要控制其中1个智能体与10个内置智能体组成球队。

当完整的足球独立智能体个数达到11个,强化学习的难度将随着智能体个数的增长呈现指数级的爆炸增长,而且足球智能体之间差距不大,如何自动形成角色分工以及在不同角色间的激励分配将成为各个团队多智能体强化的一大挑战。

在参加本届比赛之前,腾讯绝悟团队已经从足球比赛中的单个智能体控制转向多智能体同时控制、协同作战深入的研究方向。之前,在参加5v5形式(多智能体)的谷歌天梯比赛Google Research Football League中,腾讯绝悟团队也摘得了冠军。

碾压1138支AI!腾讯『绝悟WeKick』在Kaggle足球竞赛中一举夺冠

此次,绝悟WeKick在足球竞赛中再次夺冠,可以看出完全体升级后的绝悟AI,其背后深度强化学习在处理复杂任务上的能力,以及其底层架构的通用能力。

腾讯AI Lab在智能体领域已开发多年,从围棋AI绝艺到MOBA游戏AI绝悟再到如今的AI足球队WeKick,其深度强化学习智能体步步进化,在逐渐向更复杂更多样化的问题迁移。腾讯AI Lab表示,他们的终极目标是迈向通用人工智能,长远来看,绝悟背后的研发经验和算法积累,未来还将在AI与农业、医疗及智慧城市等广阔领域的结合上展现巨大潜力,创造出更大的实用价值。

论文:

谷歌足球竞赛官网:

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
矿产品

常州力拓矿业有限公司是一家专业从事于金属矿和非金属矿采选,矿产品、冶金炉料、金属材料销售的公司。

青岛海伦达国际贸易有限公司

青岛海伦达国际贸易有限公司是一家享有进出口经营权的股份制外贸进出口公司,专业从事进出口贸易和技术服务。主营阻燃吸声系列产品、各种装饰用布、阻燃帘幕和其它建筑声学材料等,产品出口九十多个国家和地区,主要应用于影剧院、会堂、娱乐中心、体育场所等建筑声学场所。服务内容包括各类建筑声学产品和装饰纺织品的创新、设计和产品开发,以及深化设计方面的技术咨询和安装服务等。公司具有丰富的专业产品和国际贸易经验、先进的管理水平、专业的人才队伍,能够为国内外的采购商、建筑装饰企业提供优质的产品和良好的服务。

重庆飘逸数字科技有限公司

重庆飘逸科技有限公司是一家专注于线上公共服务缴费及卡券类电子交易的网络服务商,旗下的充值缴费平台可提供通讯费(话费、流量、宽带等)、生活缴费(水、电、气等)、加油卡、商超卡券、视频会员等多种移动互联网交易服务。凭借先进的技术系统、创新的营销渠道和优质的运营服务,公司同时服务于阿里系、腾讯系、头条系等互联网巨头,向支付宝、淘宝、天猫、微信、京东、拼多多、抖音、银行、石化等电商及生活服务类APP提供充值缴费API接口,为消费者提供最便捷、最优惠、最安全的充值缴费服务。目前,公司年交易80亿,并迅速向百亿级平台迈进。

中国科学院数学与系统科学研究院

“中科院数学与系统科学研究院与华为技术有限公司联合成立π-实验室。该实验室旨在联合学界和产业界,搭建数学与信息通讯领域的高水平合作研究与交流平台,面向信息通讯领域的重大任务需求,提炼关键的数学问题,联合国内外相关力量共同解决,引领通信技术数学理论的前沿研究,并力争开辟新的学科发展方向,促进数学与交叉应用发展;π-实验室还将组织数学与信息通讯重大交叉学术活动,加强交叉型研究生与博士后人才培养,为成为国际一流的实验室,全面提升我国信息通讯技术水平做出基础性贡献。

义乌小程序开发,义乌APP开发,义乌快手脚本,义乌抖音脚本,义乌抖音云控系统,义乌快手云控系统,义乌三级分销开发,义乌网络公司,义乌分销商城开发,义乌公众号开发,义乌软件开发,义乌多级分销开发,义乌区块链开发,义乌代理系统开发,义乌多级分销开发,义乌社区电商开发,义乌几度科技

义乌几度科技专注于,义乌小程序开发,义乌APP开发,义乌快手脚本,义乌抖音脚本,义乌抖音云控系统,义乌快手云控系统,义乌三级分销开发,义乌网络公司,义乌分销商城开发,义乌公众号开发,义乌软件开发,义乌多级分销开发,义乌区块链开发,义乌代理系统开发,义乌多级分销开发,义乌社区电商开发

股掌柜快讯网

股掌柜快讯网发展有限公司成立于2002年,是经中国证券监督管理委员会批准,取得经营证券期货业务许可证的证券经营机构,是中国证券业协会会员单位。公司提供专业的证券咨询服务,致力于成为投资者值得信赖的投资服务平台。

深圳市中科明彩科技有限公司

深圳市中科明彩科技有限公司是一家专门致力于LED显示系统行业,以LED显示屏、LED大屏幕、LED全彩屏、LED冰屏透明屏、LED电子易拉宝海报屏等为主导产品,集开发、生产、销售和售后服务为一体的高新技术企业。

厦门谦帆展具

谦帆(厦门)工贸有限公司是展示架厂家,专业生产人造石展示架,瓷砖展示架,木地板展示架,石材样品册,石材样品盒,石材展示板。

70后星座网

70后星座网帮你分析各星座性格、爱好、属性、性质、元素、星体等各方面因素知识,助你在合作、婚配、组合等如鱼得水。

网盛企业风险评级中心

风险评级,助力企业降低应收账款风险!

全局底部横幅