卡牌游戏八合一 华人团队开源强化学习研究平台RLCard (卡牌游戏八合怎么玩)

卡牌游戏八合一华人团队开源强化研究平台RL

语音播放文章内容

由深声科技提供技术支持

雷锋网 AI 科技评论按:在过去的两三年中,我们经常听说人工智能在棋牌类游戏(博弈)中取得新的成果,比如基于深度强化学习的 AlphaGo 击败了人类世界冠军 ,由 AlphaGo 进化而来的 AlphaZero 还一并搞定了国际象棋和日本象棋 ;基于博弈论的 冷扑大师(Libratus)也在无限注德州扑克比赛中击败了人类职业选手 ;今年在澳门举行的 IJCAI 2019 上我们也发现了一篇 斗地主 AI 论文 。

不过,虽然这些团队各自做出了令人瞩目的成果,但不管对于工业界还是学术界来说,都缺少一个迅速开发和测试棋牌类 AI 的环境。最近德州农工大学胡侠带领的华人团队就给出了他们的解决方案,开源了基于牌类游戏设计的 强化学习 Python 平台 RLCard ,在打包实现了多种牌类游戏算法的同时,也提供了中西方最流行的几种牌类游戏环境(包括斗地主、麻将、21点、德州扑克、UNO等),致力于为强化学习提供一个统一、易用的开发和测试环境。雷锋网 AI 科技评论介绍如下。

卡牌游戏八合一,华人团队开源强化研究平台RLCard

具体来说,RLCard 实现了四种有代表性的强化学习算法:作为强化学习的代表算法的 DQN、作为带有自我学习的强化学习的代表算法的 NSFP、反事实后悔最小化 CFR 以及深度反事实后悔最小化 DeepCFR。RLCard 中也带有一个随机智能体。

RLCard 中实现了八种牌类游戏环境:二十一点(Blackjack),三种德州扑克(简化版德扑 Leduc Hold'em,有限制德扑 Limit Texas Hold'em 以及无限制德扑 No-limit Texas Hold'em),斗地主,麻将,UNO 以及升级(目前升级游戏环境还在开发中)。

卡牌游戏八合一,华人团队开源强化研究平台RLCard

RLCard 安装快速、使用简单,提供大量的实例、文档及 demo;提供人类与 AI,以及 AI 与 AI 间对战的接口,支持并行加速。平台设计遵循以下设计原则:

对于游戏环境实现,RLCard 平台抽象并定义了这些游戏概念:玩家,比赛(Game),对局(Round),发牌者(Dealer),裁判(Judger)。游戏环境实现都通过这些概念对应的类,这样的相同的设计规范让游戏逻辑更容易理解、更容易操作。别的牌类游戏也基本都可以符合这个结构,未来如果想要增加很容易。

作为对比,现有的强化学习库多数都是单智能体环境的(比如 openai Gym);近期虽然也有一些支持多智能体的环境(比如星际2),但它们并不支持牌类游戏。RLCard 专为牌类游戏设计,不仅是一些牌类游戏在强化学习库中的首次实现,也提供了简单直观的接口,便于强化学习研究。

在目前的学术文献中,解决扑克游戏的最热门的方法是反事实后悔最小化(Counterfactual Regret Minimization,CFR),以及它的各种变体,胜过了人类职业选手的冷扑大师(Libratus)使用的就是基于 CFR 的方法。不过,CFR 很消耗计算资源,因为它需要完全遍历整个游戏树,所以它也不适用于斗地主之类的状态空间很大的游戏。

近期也有研究表明,强化学习策略可以在打赌类的博弈中取得很好的表现,比如玩斗地主就玩得不错。这些美妙的成果,以及强化学习本身的灵活性都让我们有可能探索状态空间、行动空间更大的更困难的牌类游戏。

RLCard 使用简单,输入 pip install rlcard 可快速安装。安装完成后,用以下 5 行代码就能用随机的智能体产生对局数据,返回的数据可直接用于强化学习算法训练。

卡牌游戏八合一,华人团队开源强化研究平台RLCard

另外,RLCard还提供了丰富的的运行实例,包括产生随机数据,训练CFR、DQN、NFSP等算法,以及多进程运行实例。

卡牌游戏八合一,华人团队开源强化研究平台RLCard

RLCard 提供人机对战 demo。RLCard 提供 Leduc Hold'em 游戏环境的一个预训练模型,可以直接测试人机对战。Leduc Hold'em 是一个简化版的德州扑克,游戏使用 6 张牌(红桃 J、Q、K,黑桃 J、Q、K),牌型大小比较中 对牌>单牌,K>Q>J,目标是赢得更多的筹码。与预训练模型对局展示如下:

卡牌游戏八合一,华人团队开源强化研究平台RLCard

除此之外,开发团队还对 RLCard 做了系统的评估。他们测试了最流行的强化学习算法在环境上的表现。测试方法包括与随机策略的比较以及 AI 间互相对战的比较。发现主流算法在小型游戏上普遍有较好的效果,但是在较复杂游戏(例如斗地主、UNO)效果一般。如何在复杂的游戏中更好地训练强化学习算法需要更多的研究。

卡牌游戏八合一,华人团队开源强化研究平台RLCard

卡牌游戏八合一,华人团队开源强化研究平台RLCard

团队也对游戏运行的效率进行了评估。在 24 核 2.10GHz CPU 服务器上对各个游戏的运行时间进行了测试,使用多进程可以更高效地产生游戏数据。

卡牌游戏八合一,华人团队开源强化研究平台RLCard

目前 RLCard 的官网已经上线,其中提供了详细的文档。学术论文也已经发表在 arXiv,第一作者为查道琛。详细信息可以访问下面的链接:

未来,作者们还会继续优化和增强这个平台,他们的计划包括增加基于规则的智能体、增加更多预训练模型(帮助评价模型),增加更多游戏环境和算法,以及增加可视化和分析功能等。相信这个环境能对领域内的研究人员们起到很大帮助。

感谢查道琛、胡侠对文本提供的帮助。雷锋网 AI 科技评论报道。

原创文章,未经授权禁止转载。详情见 转载须知 。

卡牌游戏八合一,华人团队开源强化研究平台RLCard

全局中部横幅
王思聪嚼着口香糖上台

王思聪嚼着口香糖上台,桀骜气质,礼仪小姐都忍不住多看两眼!,本视频由开心看热综提供,271852次播放,好看视频是由百度团队打造的集内涵和颜值于一身的专业短视频聚合平台

好趣网

好趣网-高清网络电视在线直播观看&回看CCTV,卫视,香港,台湾,韩国~cctv1在线直播,cctv5在线直播,cctv新闻频道直播,快乐大本营直播,湖南卫视在线直播,中央电视台1套在线直播

ISweek工采网

ISweek工采网是工业品采购、工业品批发供应商平台,以人工服务提供工业品询报价,招募供应商、大买家采购、工业品招标采购等。帮助用户更快、更有效地完成产品采购。我们很乐意为您解答产品相关问题,为您提供完整的产品解决方案。

55Y音乐社区App

55Y音乐社区APP是一个聚合数千万音乐爱好者的专业的音乐内容分享社区,在这里你可以建立你的音乐自媒体,分享你的音乐生活!

帝国网站管理系统

  帝国软件是一家专注于网络软件开发的科技公司,其主营产品“帝国网站管理系统(EmpireCMS)”是目前国内应用超高广泛的CMS程序。通过十多年的不断创新与完善,使系统集安全、稳定、强大、灵活于一身。目前EmpireCMS程序已经广泛应用在国内上百万家网站,覆盖国内数千万上网人群,并经过上千家知名网站的严格检测,被称为国内超高安全、超高稳定的开源CMS系统。

深圳市快印客电子商务有限公司2

快印客是国内专业二维码应用解决方案服务商,图文快印店加盟行业知名品牌,依托全国广告,印刷,快印,包装企业,在快印店加盟,图文快印连锁加盟,数码快印,人工智能名片,连锁领域具有广泛知名度和影响力的企业。

长沙弯管

长沙威弯专注长沙弯管加工,长沙弯管加工厂有直径100米以内大多数圆管模具,以及100*50以内大多方管和矩形管模具,可为长沙弯管客户提供直接、快速和低成本弯管加工服务!

企业博客

企博网是基于职业社交关系和高质量内容的社会化电子商务营销平台.人脉,编织你的个人商务人脉网络;职业博客,建立和推广你的网上个人职业品牌;企业博客,宣传和推广你的生意和企业.企博网B2BSNS:职业人和生意人的商务社交网络。

有机肥设备

郑州辉航是一家专业生产销售有机肥设备厂家,拥有鸡粪、羊粪、猪粪、牛粪等小型有机肥生产线,及有机肥造粒机、翻抛机、粉碎机、烘干机、搅拌机、等一整套有机肥生产设备,价格实惠,欢迎咨询.

产品中心

唐山市陆和源贸易有限公司主营焊管、镀锌管、钢塑管、燃气专用管、大棚管等各类管材,是“天津友发”“唐山正金元”两大品牌的一级代理商

老师板报网

老师板报网(www.banbaow.com)有PPT课件、文档资料下载,黑板报版面设计图大全,黑板报,手抄报,简笔画,板报设计,以及各种手抄报花边,手抄报版面设计图大全,手抄报边框,手抄报花边简单又漂亮,为学生培养创新意识和创造能力。

全局底部横幅