卡牌游戏八合一 华人团队开源强化学习研究平台RLCard (卡牌游戏八合怎么玩)

卡牌游戏八合一华人团队开源强化学习研究平台RL

语音播放文章内容

由深声科技提供技术支持

雷锋网 AI 科技评论按:在过去的两三年中,我们经常听说人工智能在棋牌类游戏(博弈)中取得新的成果,比如基于深度强化学习的 AlphaGo 击败了人类世界冠军 ,由 AlphaGo 进化而来的 AlphaZero 还一并搞定了国际象棋和日本象棋 ;基于博弈论的 冷扑大师(Libratus)也在无限注德州扑克比赛中击败了人类职业选手 ;今年在澳门举行的 IJCAI 2019 上我们也发现了一篇 斗地主 AI 论文 。

不过,虽然这些团队各自做出了令人瞩目的成果,但不管对于工业界还是学术界来说,都缺少一个迅速开发和测试棋牌类 AI 的环境。最近德州农工大学胡侠带领的华人团队就给出了他们的解决方案,开源了基于牌类游戏设计的 强化学习 Python 平台 RLCard ,在打包实现了多种牌类游戏算法的同时,也提供了中西方最流行的几种牌类游戏环境(包括斗地主、麻将、21点、德州扑克、UNO等),致力于为强化学习提供一个统一、易用的开发和测试环境。雷锋网 AI 科技评论介绍如下。

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

具体来说,RLCard 实现了四种有代表性的强化学习算法:作为强化学习的代表算法的 DQN、作为带有自我学习的强化学习的代表算法的 NSFP、反事实后悔最小化 CFR 以及深度反事实后悔最小化 DeepCFR。RLCard 中也带有一个随机智能体。

RLCard 中实现了八种牌类游戏环境:二十一点(Blackjack),三种德州扑克(简化版德扑 Leduc Hold'em,有限制德扑 Limit Texas Hold'em 以及无限制德扑 No-limit Texas Hold'em),斗地主,麻将,UNO 以及升级(目前升级游戏环境还在开发中)。

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

RLCard 安装快速、使用简单,提供大量的实例、文档及 demo;提供人类与 AI,以及 AI 与 AI 间对战的接口,支持并行加速。平台设计遵循以下设计原则:

对于游戏环境实现,RLCard 平台抽象并定义了这些游戏概念:玩家,比赛(Game),对局(Round),发牌者(Dealer),裁判(Judger)。游戏环境实现都通过这些概念对应的类,这样的相同的设计规范让游戏逻辑更容易理解、更容易操作。别的牌类游戏也基本都可以符合这个结构,未来如果想要增加很容易。

作为对比,现有的强化学习库多数都是单智能体环境的(比如 OpenAI Gym);近期虽然也有一些支持多智能体的环境(比如星际2),但它们并不支持牌类游戏。RLCard 专为牌类游戏设计,不仅是一些牌类游戏在强化学习库中的首次实现,也提供了简单直观的接口,便于强化学习研究。

在目前的学术文献中,解决扑克游戏的最热门的方法是反事实后悔最小化(Counterfactual Regret Minimization,CFR),以及它的各种变体,胜过了人类职业选手的冷扑大师(Libratus)使用的就是基于 CFR 的方法。不过,CFR 很消耗计算资源,因为它需要完全遍历整个游戏树,所以它也不适用于斗地主之类的状态空间很大的游戏。

近期也有研究表明,强化学习策略可以在打赌类的博弈中取得很好的表现,比如玩斗地主就玩得不错。这些美妙的成果,以及强化学习本身的灵活性都让我们有可能探索状态空间、行动空间更大的更困难的牌类游戏。

RLCard 使用简单,输入 pip install rlcard 可快速安装。安装完成后,用以下 5 行代码就能用随机的智能体产生对局数据,返回的数据可直接用于强化学习算法训练。

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

另外,RLCard还提供了丰富的的运行实例,包括产生随机数据,训练CFR、DQN、NFSP等算法,以及多进程运行实例。

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

RLCard 提供人机对战 demo。RLCard 提供 Leduc Hold'em 游戏环境的一个预训练模型,可以直接测试人机对战。Leduc Hold'em 是一个简化版的德州扑克,游戏使用 6 张牌(红桃 J、Q、K,黑桃 J、Q、K),牌型大小比较中 对牌>单牌,K>Q>J,目标是赢得更多的筹码。与预训练模型对局展示如下:

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

除此之外,开发团队还对 RLCard 做了系统的评估。他们测试了最流行的强化学习算法在环境上的表现。测试方法包括与随机策略的比较以及 AI 间互相对战的比较。发现主流算法在小型游戏上普遍有较好的效果,但是在较复杂游戏(例如斗地主、UNO)效果一般。如何在复杂的游戏中更好地训练强化学习算法需要更多的研究。

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

团队也对游戏运行的效率进行了评估。在 24 核 2.10GHz CPU 服务器上对各个游戏的运行时间进行了测试,使用多进程可以更高效地产生游戏数据。

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

目前 RLCard 的官网已经上线,其中提供了详细的文档。学术论文也已经发表在 arXiv,第一作者为查道琛。详细信息可以访问下面的链接:

未来,作者们还会继续优化和增强这个平台,他们的计划包括增加基于规则的智能体、增加更多预训练模型(帮助评价模型),增加更多游戏环境和算法,以及增加可视化和分析功能等。相信这个环境能对领域内的研究人员们起到很大帮助。

感谢查道琛、胡侠对文本提供的帮助。雷锋网 AI 科技评论报道。

原创文章,未经授权禁止转载。详情见 转载须知 。

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

全局中部横幅
百度众测

百度众测平台,全民众测,做做小任务,礼券奖品拿不停

美军跨越22个时区组织军演

原标题:美军跨越22个时区组织军演【美军跨越22个时区组织军演】近日,美国国防部发布消息称,美国海军和海军陆战队定于8月9日至18日举行第二届代号为“大规模演习”的大型军事演习。

音乐网站导航大全

LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.

基建处

齐鲁工业大学位于“泉城”——山东省济南市,始建于1948年,是山东省建校较早的公办本科院校之一。2013年,学校由山东轻工业学院更名为齐鲁工业大学。学校是山东省“应用型人才特色名校”立项建设单位和山东省“2011协同创新计划”立项建设单位。

小流量玻璃转子流量计

金湖县华升计量仪器有限公司是优质的远传玻璃转子流量计,面板式流量计,塑料管转子流量计,全不锈钢玻璃转子流量计,玻璃管浮子流量计供应商,主要经营产品有:远传玻璃转子流量计,面板式流量计,塑料管转子流量计,全不锈钢玻璃转子流量计,玻璃管浮子流量计!

爱风衣网

爱风衣网,风衣爱好者的潮流时尚平台!风衣外套、女士风衣、男士风衣、不同款式风衣和各种风格风衣的中立评测平台,普及风衣搭配、风衣选购等风衣相关知识,权威发布风衣品牌排行。

手机游戏下载

游你网提供最新好玩的手机游戏下载,最新手机游戏业界动态、国内外手游下载、手机游戏补丁、游戏攻略秘籍!

转轮除湿机,转轮除湿机,恒温恒湿机厂家

合肥铂克环境设备有限公司,10年专注制造转轮除湿机、恒温恒湿机、恒温恒湿空调、酒窖空调、精密空调、净化空调、工业除湿机、超声波加湿器、恒湿机等空调设备,是专业的生产厂家

上海华燕消防工程有限公司

经营范围为消防器材的销售、消防工程施工,消防信息咨询、服务,建筑装饰装修工程,建筑智能化工程,机电设备安装工程,消防设施的维护保养、检测,消防安全评估。

四川达园新材料科技有限公司

中江县达园新材料科技有限公司成立于2019年1月3日,位于四川省德阳市中江县凯州新城,是西南地区生产、销售、施工防水材料为一体的大型专业公司。

林耀生活网

温州一站式生活服务平台

全局底部横幅