在Kaggle足球竞赛中一举夺冠 绝悟WeKick 碾压1138支AI！腾讯 (在kaggle上怎么保存代码)
你以为AI只会打王者？NO，踢足球也溜的很！
先来欣赏两个精彩片段：
快、准、直！一记完美的长传后，直射球门！
连续突破重围，轻松传球4次。
看到如此娴熟的球技，你是不是和小编一样误以为是人类，其实赛场上的球员全部是AI代理。刚刚完成传球、射门的黄色球衣球员正式腾讯的绝悟AI——足球版WeKick。
绝悟，是腾讯AI Lab与王者荣耀联合研发的策略协作型AI，上个月刚刚升级为完全体（让AI掌握了所有英雄的所有技能）。绝悟Wicke版是基于绝悟完全体迁移得到的，并针对足球任务进行了针对性调整。
WeKick刚刚参加完首届谷歌足球Kaggle竞赛，以上是赛场上传来的精彩片段。在这场全球顶级AI足球赛中，WeKick凭借1785.8分分绝对性优势，一举击败了1138支优秀团队夺得了本次竞赛的冠军。
这是绝悟完全体首次应用于足球任务，并参加大型国际足球竞赛，取得如此成绩，可见其背后深度强化学习方法的通用能力。
与王者荣耀一样，足球竞赛也属于即时策略型游戏，需要AI具备长线思考、快速决策、处理复杂环境的能力。在本次竞赛中，一个球员需要一个智能体（11vs11赛制），AI代理不仅需要控制球员之间的相互配合，还要时刻观察对手的行为，并做出及时应对。
在瞬息万变的赛场上，这背后需要复杂的团队协作、实时决策和竞争策略。
那么，在如此高难度的挑战赛中，为何绝悟WeKick能够杀出重围，夺得冠军？
WeKick背后的三大优化策略
此次竞赛使用的是Google ReSearch Football强化学习环境。
得益于深度强化学习在游戏领域突飞猛进，从Atari游戏，围棋，再到多种不同的视频游戏，AI智能体在不断迭代中变得越来越强，使足球运动团队策略的难关也得以被攻克。
与MOBA游戏中不断有经济、血量、经验等实时学习信号不同，足球的游戏激励非常稀疏，基本只能依靠进球，而稀疏激励一直是目前强化学习一大难题。
也就是说，单纯的从零开始完全采用强化学习来训练足球AI也相当困难。对此，腾讯AI Lab提出了三项改进方案：
首先是定制化框架，研究人员采用自博弈（Self-Play）强化学习来从零开始训练模型，并部署到异步的分布式强化学习框架中。
虽然该异步架构牺牲了训练阶段的部分实时性能，但灵活性却得到显著提升，而且还支持在训练过程中按需调整计算资源，使其能适应 11 智能体足球游戏训练环境。
此外，由于MOBA游戏和足球游戏任务目标存在差异，绝悟WeKick采用了生成对抗模拟学习（GAIL）与人工设计的奖励结合的方式，在特征与奖励设计上进行了扩展和创新。
该方案利用了生成对抗训练机制来拟合专家行为的状态和动作分布，使绝悟WeKick可以从其它球队学习。然后，再将 GAIL 训练的模型作为固定对手进行进一步自博弈训练，进一步提升策略的稳健性。
但这种通过自博弈强化学习得到的模型有一个天然的缺点：很容易收敛到单一风格。在实际比赛的时候单一风格的模型很容易发生由于没见过某种打法而表现失常，最终导致成绩不佳的情况。
因此，为了提升策略的多样性和稳健性，绝悟还采用了针对多智能体学习任务的League（若干策略池）多风格强化学习训练方案。
这种League多风格强化学习训练方案的主要流程可简单总结为先专精后综合，如下：
内部能力评分系统显示，加入对手池训练以后的主模型，可以在基础模型的基础上提高200分，比最强的风格化打法高80分。
最后基于定制化的框架改进，生成对抗模拟学习（GAIL）方案以及 League （若干策略池）多风格强化学习训练方案，使绝悟远超过其他AI球员，取得了1785.8的高分。
Kaggle首届比赛，难度升级！
本届比赛是Kaggle首次针对足球AI领域发布的赛题。Kaggle是全球最大的数据科学社区和数据科学竞赛平台，创立于2010年。
由于足球运动团队策略因其复杂性、多样性和高难度，一直是困扰世界顶尖AI研究团队的难题，加上稀疏的游戏激励使其成为比MOBA游戏更难攻克的目标。Google ReseARCh联合英超曼城在Kaggle上举办了这场赛事，希望进一步推动多智能体技术研究。
基于此，不同其他AI足球赛事，本届比赛在难度上进行了大幅度升级，如前所述比赛采取11vs11赛制，参赛团队需要控制其中1个智能体与10个内置智能体组成球队。
当完整的足球独立智能体个数达到11个，强化学习的难度将随着智能体个数的增长呈现指数级的爆炸增长，而且足球智能体之间差距不大，如何自动形成角色分工以及在不同角色间的激励分配将成为各个团队多智能体强化的一大挑战。
在参加本届比赛之前，腾讯绝悟团队已经从足球比赛中的单个智能体控制转向多智能体同时控制、协同作战深入的研究方向。之前，在参加5v5形式（多智能体）的谷歌天梯比赛Google Research Football League中，腾讯绝悟团队也摘得了冠军。
此次，绝悟WeKick在足球竞赛中再次夺冠，可以看出完全体升级后的绝悟AI，其背后深度强化学习在处理复杂任务上的能力，以及其底层架构的通用能力。
腾讯AI Lab在智能体领域已开发多年，从围棋AI绝艺到MOBA游戏AI绝悟再到如今的AI足球队WeKick，其深度强化学习智能体步步进化，在逐渐向更复杂更多样化的问题迁移。腾讯AI Lab表示，他们的终极目标是迈向通用人工智能，长远来看，绝悟背后的研发经验和算法积累，未来还将在AI与农业、医疗及智慧城市等广阔领域的结合上展现巨大潜力，创造出更大的实用价值。
论文：
谷歌足球竞赛官网：
原创文章，未经授权禁止转载。详情见 转载须知 。
135编辑器是一款提供微信公众号文章排版和内容编辑的在线工具，样式丰富，支持秒刷、收藏样式和颜色、图片素材编辑、图片水印、一键排版等功能，轻松编辑微信公众号图文。
在线,JSON,JSON校验,格式化,xml转json工具,在线工具,json视图,可视化,程序,服务器,域名注册,正则表达式,测试,在线json格式化工具,json格式化,json格式化工具,json字符串格式化,json在线查看器,json在线,json在线验证,jsontoolsonline,在线文字对比工具
星辰测算主测生辰八字网站，专业提供八字算命,生辰八字起名,八字排盘,八字合婚,周易算命,星座配对,塔罗牌在线占卜等在线算命等
91Act，是一家以手机游戏研发和运营为主业的移动互联网游戏开发商，致力于开发世界一流移动格斗游戏，为全世界玩家创造前所未有的游戏体验。
【石家庄祥云平台总代理】网站建设,网站制作,网络推广,网络营销,网站推广,做网站,网站制作,优化推广,营销策划方案提供商，祥云平台石家庄分公司,石家庄全网营销推广找公司就找有实力的互联网服务商！
杭州宝盈净化高效送风口生产厂家，可根据客户需求定制，多样材质选择，来图来样定制。订购电话：176-8230-0861~
视品影视为客户提供全面视频传播服务，使优秀的创意能够在众多媒介平台上展现的综合型广告传播机构；我们以精准的消费者洞察，策略思考，创意表现及整合传播的能力，在新媒体时代为我们的客户创造更为突出的商业价值和社会影响力；视品影视只做让市场满意的价值影像。
多年来配套国际国内高中端整车客户，获得了多个产品和质量奖项
天宇游戏为手游玩家提供好玩的手机游戏下载以及手机折扣游戏下载！天宇游戏天宇互动app有热门的手机游戏，还有丰富的手游礼包激活码，手游攻略、视频、活动资讯等内容！
广东顺水工程建设监理有限公司成立于1995年8月，为A股上市公司“中达安股份”控股子公司，国家高新技术企业，中国水利工程协会常务理事单位，全国水利建设市场主体信用评价AAA级单位、是广东省第一批取得水利工程建设施工监理甲级资质单位，同时拥有机电及金属结构设备制造监理甲级、水土保持工程施工监理乙级和水利工程建设环境保护监理资质，质量、环境和职业健康安全管理体系认证企业。
上海易旅实业有限公司2010年在全国提倡节能环保，保护地球的大背景下成立，坐落于上海西部以轿车工业和轿车生产配套工业为主的现代化综合性的中心城镇--嘉定区安亭镇。
四川秉亨建设有限公司是一家专业从事建筑工程的施工公司。我们致力于为客户提供高质量的建筑项目和全方位的工程管理服务。无论是住宅建筑还是商业项目，我们拥有经验丰富的团队和专业的装修设计师，为客户打造出色的建筑和舒适的居住环境。与我们合作，您将获得可靠的施工质量和高效的工程进度。联系我们，让我们一同开创美好的建筑未来。
你以为AI只会打王者，NO，踢足球也溜的很！先来欣赏两个精彩片段，快、准、直！一记完美的长传后，直射球门！连续突破重围，轻松传球4次，看到如此娴熟的球技，你是不是和小编一样误以为是人类，其实赛场上的球员全部是AI代理，刚刚完成传球、射门的黄色球衣球员正式腾讯的绝悟AI——足球版WeKick，绝悟，是腾讯AILab与王者荣耀联合研发的策...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为金牛广告传媒专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在金牛广告传媒网站首页底部或友情链接位...。
随着人们消费理念的转变，人们越来越关注孩子的教育，许多家长都会为孩子报一些班，当前的教育班儿加盟项目非常的多，这也让一些智慧之选商看中了教育市场，加盟教育培训前景如何，教育培训好吗，相信很多想要加入教育培训行业的智慧之选商一定希望能够尽快的了解教育培训的情况，下面小编就来向大家具体介绍加盟教育培训机构的情况，加盟教育培训前景如何现在人...。
太帅了！再听亿遍刘德华唱的中国人11月13日，国务院台办举行例行资讯发布会，有记者问，刘德华日前在台北演唱调演出唱，中国人，取得热烈反馈，却遭到岛内绿营攻打，对此有何评论，朱凤莲示意，刘德华赴台举行演唱会，遭到台湾歌迷的热烈欢迎，他演唱的歌曲，中国人，由台湾音乐人创作，经典歌词，手牵着手不分你我俯首向前走，让环球知道咱们都是中国人，，...。
外地期间11月10日晚，以色列国防军在一份申明中发表，以军在以色列国度安保总局，辛贝特，的配合下，于11月9日在加沙地带北部的空袭执行中，打死一名巴勒斯坦伊斯兰圣战组织，杰哈德，初级指挥官，该人名叫穆罕默德·阿布·萨希勒，MuhammadAbuSaheel，，事发时，他正在加沙北部一所被当作指挥室的学校内，申明称，阿布·萨希勒是杰哈德...。
有以下软件可以，1、360安保阅读器，360SecurityBrowser，是360安保核心推出的一款基于IE和Chrome双内核的阅读器，是环球之窗开发者凤凰上班室和360安保核心协作的产品，2、MozillaFirefox中文俗称，火狐，正式缩写为Fx或fx，非正式缩写为MF，，是一个自在及开明源代码的网页阅读器，经常使用Gec...。
