机器之心编译

DeepMind开源强化学习游戏框架,25款线上游戏等你来挑战

强化学习算法没有游戏训练?DeepMind 开源 OpenSpiel 平台了。研究者可在线部署游戏环境,快速开始实验。

强化学习算法广为人知的一个应用场景便是游戏了,通过智能体在多玩家游戏中的表现,研究者可以更好地调整算法和参数细节,实现更好的算法性能。近日,DeepMind 开源了一款多玩家游戏平台「Open-Spiel」,支持多种策略和游戏环境,以及相关的分析工具。支持的游戏数量达到了 25 款,绝大多数都和棋牌、博弈相关。

  • 项目地址:https://github.com/deepmind/open_spiel

什么是 OpenSpiel

OpenSpiel 是一个综合性的强化学习游戏测试平台,包括了多种游戏环境和算法,用于强化学习研究或搜索策略的研究。

OpenSpiel 亮点

OpenSpiel 可以帮助研究者解决很多强化学习研究中需要设置实验的问题,它支持:

  • 单人或多人博弈;

  • 完美信息或不完美信息博弈

  • 带有随机性的博弈;

  • 普通的多玩家「一步」或二人玩家的多步博弈;

  • 交替行动(如下棋)或同时行动的游戏;

  • 零和博弈和非零和博弈(如需要合作的博弈等)。

OpenSpiel 平台也支持多种编程语言:

  • C++11

  • Python 3

  • 以及一个支持 Swift 语言的缩减版

支持平台

目前 OpenSpiel 已经在 Linux 系统上进行了测试(Debian 10 和 Ubuntu 19.04),但是没有在 MacOS 或 Windows 上测试过。但是因为后两个平台都可以自由使用代码,因此作者认为不太可能出现大的问题。

支持游戏

OpenSpiel 目前支持以下游戏,共 25 款,包括国际象棋、围棋、双陆棋、翻转棋等游戏:

OpenSpiel 怎么用

首先,我们先要明确,在 OpenSpiel 中 Game 对象包含了对某个游戏非常高层次的描述,例如游戏的方式、参与人数、最大分数等。而 State 对象描述了更加具体的游戏局,例如象棋中特定的棋子状态、扑克中特定的手牌组合。通过这两个对象,整个游戏都是通过树来表示的。

OpenSpiel 首先需要加载游戏,配置游戏进行方式,然后就可以直接运行了。如下所示为玩 trajectory 游戏的 Python 代码:

import random
import pyspiel

game = pyspiel.load_game("kuhn_poker")
state = game.new_initial_state()

while not state.is_terminal():
  legal_actions = state.legal_actions()
  if state.is_chance_node():
    # Sample a chance event outcome.
    outcomes_with_probs = state.chance_outcomes()
    action_list, prob_list = zip(*outcomes_with_probs)
    action = np.random.choice(action_list, p=prob_list)
    state.apply_action(action)
  else:
    # The algorithm can pick an action based on an observation (fully observable
    # games) or an information state (information available for that player)
    # We arbitrarily select the first available action as an example.
    action = legal_actions[0]
    state.apply_action(action)

如上展示了 OpenSpiel 比较核心的 API,它的使用还是很简洁的。

安装方法

安装整个平台的方法比较简单。首先运行 ./install.sh 一次,安装系统包,并下载一些依赖。安装 Python 的相关依赖,需要使用 Pyhton3 和 virtualenv。

virtualenc -p python3 venv
source venv/bin/activate
pip3 install -r requirements.txt

保证环境有效的情况下,编译并运行

mkdir build
cd build
CXX=g++ cmake -DPython_TARGET_VERSION=3.6 -DCMAKE_CXX_COMPILER=${CXX} ../open_spiel
make -j$(nproc)
ctest -j$(nproc)

./open_spiel/scripts/build_and_run_tests.sh

将文件加入系统路径,以便系统全局都能够导入相关包。

export PYTHONPATH=$PYTHONPATH:/<path_to_open_spiel>
export PYTHONPATH=$PYTHONPATH:/<path_to_open_spiel>/build/python
工程开源项目博弈机器学习强化学习
2
相关数据
零和博弈技术

零和博弈,又称零和游戏或零和赛局,与非零和博弈相对,是博弈论的一个概念,属非合作博弈。零和博弈表示所有博弈方的利益之和为零或一个常数,即一方有所得,其他方必有所失。在零和博弈中,博弈各方是不合作的。非零和博弈表示在不同策略组合下各博弈方的得益之和是不确定的变量,故又称之为变和博弈。

完美信息博弈技术

在经济学中,完全的信息是完美竞争的特征。 随着市场信息的完善,所有消费者和生产者都被假定在对自由市场体系进行理论化和财务政策效应时,对产品的价格,效用,质量和生产方法有完整的认识。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

推荐文章
暂无评论
暂无评论~