卡牌游戏八合一 华人团队开源强化学习研究平台RLCard (卡牌游戏八合怎么玩)

卡牌游戏八合一华人团队开源强化学习研究RL

语音播放文章内容

由深声科技提供技术支持

雷锋网 AI 科技评论按:在过去的两三年中,我们经常听说人工智能在棋牌类游戏(博弈)中取得新的成果,比如基于深度强化学习的 AlphaGo 击败了人类世界冠军 ,由 AlphaGo 进化而来的 AlphaZero 还一并搞定了国际象棋和日本象棋 ;基于博弈论的 冷扑大师(Libratus)也在无限注德州扑克比赛中击败了人类职业选手 ;今年在澳门举行的 IJCAI 2019 上我们也发现了一篇 斗地主 AI 论文 。

不过,虽然这些团队各自做出了令人瞩目的成果,但不管对于工业界还是学术界来说,都缺少一个迅速开发和测试棋牌类 AI 的环境。最近德州农工大学胡侠带领的华人团队就给出了他们的解决方案,开源了基于牌类游戏设计的 强化学习 Python 平台 RLCard ,在打包实现了多种牌类游戏算法的同时,也提供了中西方最流行的几种牌类游戏环境(包括斗地主、麻将、21点、德州扑克、UNO等),致力于为强化学习提供一个统一、易用的开发和测试环境。雷锋网 AI 科技评论介绍如下。

卡牌游戏八合一,华人团队开源强化学习研究RLCard

具体来说,RLCard 实现了四种有代表性的强化学习算法:作为强化学习的代表算法的 DQN、作为带有自我学习的强化学习的代表算法的 NSFP、反事实后悔最小化 CFR 以及深度反事实后悔最小化 DeepCFR。RLCard 中也带有一个随机智能体。

RLCard 中实现了八种牌类游戏环境:二十一点(Blackjack),三种德州扑克(简化版德扑 Leduc Hold'em,有限制德扑 Limit Texas Hold'em 以及无限制德扑 No-limit Texas Hold'em),斗地主,麻将,UNO 以及升级(目前升级游戏环境还在开发中)。

卡牌游戏八合一,华人团队开源强化学习研究RLCard

RLCard 安装快速、使用简单,提供大量的实例、文档及 demo;提供人类与 AI,以及 AI 与 AI 间对战的接口,支持并行加速。平台设计遵循以下设计原则:

对于游戏环境实现,RLCard 平台抽象并定义了这些游戏概念:玩家,比赛(Game),对局(Round),发牌者(Dealer),裁判(Judger)。游戏环境实现都通过这些概念对应的类,这样的相同的设计规范让游戏逻辑更容易理解、更容易操作。别的牌类游戏也基本都可以符合这个结构,未来如果想要增加很容易。

作为对比,现有的强化学习库多数都是单智能体环境的(比如 OpenAI Gym);近期虽然也有一些支持多智能体的环境(比如星际2),但它们并不支持牌类游戏。RLCard 专为牌类游戏设计,不仅是一些牌类游戏在强化学习库中的首次实现,也提供了简单直观的接口,便于强化学习研究。

在目前的学术文献中,解决扑克游戏的最热门的方法是反事实后悔最小化(Counterfactual Regret Minimization,CFR),以及它的各种变体,胜过了人类职业选手的冷扑大师(Libratus)使用的就是基于 CFR 的方法。不过,CFR 很消耗计算资源,因为它需要完全遍历整个游戏树,所以它也不适用于斗地主之类的状态空间很大的游戏。

近期也有研究表明,强化学习策略可以在打赌类的博弈中取得很好的表现,比如玩斗地主就玩得不错。这些美妙的成果,以及强化学习本身的灵活性都让我们有可能探索状态空间、行动空间更大的更困难的牌类游戏。

RLCard 使用简单,输入 pip install rlcard 可快速安装。安装完成后,用以下 5 行代码就能用随机的智能体产生对局数据,返回的数据可直接用于强化学习算法训练

卡牌游戏八合一,华人团队开源强化学习研究RLCard

另外,RLCard还提供了丰富的的运行实例,包括产生随机数据,训练CFR、DQN、NFSP等算法,以及多进程运行实例。

卡牌游戏八合一,华人团队开源强化学习研究RLCard

RLCard 提供人机对战 demo。RLCard 提供 Leduc Hold'em 游戏环境的一个预训练模型,可以直接测试人机对战。Leduc Hold'em 是一个简化版的德州扑克,游戏使用 6 张牌(红桃 J、Q、K,黑桃 J、Q、K),牌型大小比较中 对牌>单牌,K>Q>J,目标是赢得更多的筹码。与预训练模型对局展示如下:

卡牌游戏八合一,华人团队开源强化学习研究RLCard

除此之外,开发团队还对 RLCard 做了系统的评估。他们测试了最流行的强化学习算法在环境上的表现。测试方法包括与随机策略的比较以及 AI 间互相对战的比较。发现主流算法在小型游戏上普遍有较好的效果,但是在较复杂游戏(例如斗地主、UNO)效果一般。如何在复杂的游戏中更好地训练强化学习算法需要更多的研究。

卡牌游戏八合一,华人团队开源强化学习研究RLCard

卡牌游戏八合一,华人团队开源强化学习研究RLCard

团队也对游戏运行的效率进行了评估。在 24 核 2.10GHz cpu 服务器上对各个游戏的运行时间进行了测试,使用多进程可以更高效地产生游戏数据。

卡牌游戏八合一,华人团队开源强化学习研究RLCard

目前 RLCard 的官网已经上线,其中提供了详细的文档。学术论文也已经发表在 arXiv,第一作者为查道琛。详细信息可以访问下面的链接:

未来,作者们还会继续优化和增强这个平台,他们的计划包括增加基于规则的智能体、增加更多预训练模型(帮助评价模型),增加更多游戏环境和算法,以及增加可视化和分析功能等。相信这个环境能对领域内的研究人员们起到很大帮助。

感谢查道琛、胡侠对文本提供的帮助。雷锋网 AI 科技评论报道。

原创文章,未经授权禁止转载。详情见 转载须知 。

卡牌游戏八合一,华人团队开源强化学习研究RLCard

全局中部横幅
雕塑网

雕塑网是中国雕塑行业门户网站,提供雕塑招标服务,雕塑咨询服务,承办雕塑活动,提供招聘求职信息,是雕塑企业和雕塑家的专业宣传平台。

市场部网

市场部网成立于2006年,秉承成就市场人的使命,为市场人提供知识培训、异业合作、营销资源对接等专业服务。服务超过1000万市场人,在中国50+个城市设立了城市分会,是市场人寻求职业提升和资源拓展的目的地。

我乐直播吧

我乐NBA中文网提供NBA视频直播,NBA季前赛直播,NBA录像回放,篮球直播,NBA现场直播,NBA赛事直播,打造NBA直播的中文篮球网站,篮球游戏中文网。

深圳市沃尔汇科技有限公司

深圳沃尔汇科技专业生产双壁热缩管,铁氟龙管,冷缩电缆附件,PVC软管,高压母排,冷缩电缆头,电缆中间接头,自卷编织套管,pp波纹管,pet编织网管,黄腊管,玻纤管,硅胶管等多种热缩套管,规格齐全,价格实惠合作咨询热线:0755-26729007

台州市创源节能科技有限公司,纳米远红外电热圈,料斗节能发电器

台州市创源节能科技有限公司,纳米远红外电热圈,料斗节能发电器台州市创源节能科技有限公司是一家集设计、研发、生产、销售为一体的专业电转热设备生产制造商。以其“高效”节能的显著效果,广泛运用于国内外塑料加工行业。深受广大用户好评!公司地处浙东沿海现代新兴城市,被誉为中国塑胶、模具之乡的台州。地理位置由于,两、台、温高速穿越而过,距路桥机场一箭之遥,无论是贸易往来还是业务合作都十分便利。

广州趣丸网络科技有限公司

TT-玩家首选的娱乐社交平台.集公会和开黑语音聊天,专用开黑语音App;精选热门等着你,做任务领礼包,看资讯,天天刷奖品,充值活动享不停!更有女神互动,全民语音畅聊停不下来。

安丘

安丘、一个小县城、一个生我养我的地方、一个神秘有古老的地方、爱我安丘、天南地北安丘人

电缆沟盖板

山东盖无双建材有限公司为客户提供定制生产:电缆沟盖板、高分子复合电缆沟盖板、隧道盖板、高铁盖板、扣槽盖板、打孔盖板、高速盖板、球墨铸铁井盖、球墨铸铁盖板、隐形井盖、树脂井盖、种植井盖、彩色井盖、水沟盖板、雨水篦子、树池篦子、树脂篦子、等多种产品。广泛使用与市政工程、电厂、高速、隧道、道路、广场、工厂、开发区、房地产开发等场所的安全防护和装饰美化。

全局底部横幅