机器之心原创

2021/09/23 14:26

在原神里钓鱼，有人竟然用上了深度强化学习，还把它开源了

还愁在《原神》里钓不到鱼吗？这有一份迟到的提瓦特钓鱼指南。

在游戏圈，你可以没有玩过，但一定听过《原神》。

虽然这是一款口碑两极分化的游戏，但不得不承认《原神》是当前最为火热的游戏之一。

特别是在国外，原神可以说是火的一塌糊涂。

就在今年 9 月，这款从开放公测起便屡次登顶国内外讨论热度和手游吸金榜第一的开放世界冒险游戏更新了版本，添加 / 丰富了地图，并且上线了一款小游戏——钓鱼。游戏中多个水域都有钓鱼点，不同的位置可以钓不同的鱼。

尽管是再普通不过的玩法，还是引得玩家流连。一般来说，钓鱼一共分三个步骤：甩杆→等待鱼儿上钩→提竿。其中所涉及的原理需要一定数字图像处理与机器学习基础。模型分为鱼群定位与识别和拉杆 (和鱼博弈) 两个部分。

很多玩家都在寻找钓鱼攻略，你还在愁在《原神》里钓不到鱼吗？今天我们为你送上这份迟到的提瓦特钓鱼指南。

这份钓鱼指南可以说是完全解放双手，不需要任何操作，只需要启动程序就能完成。上线短短几天，收获 700 + 星。

GitHub 地址：https://github.com/7eu7d7/genshin_auto_fish

感兴趣的小伙伴也可以去 B 站观看视频，上线不到三天，超过 44 万次播放量。这满屏的弹幕，不禁让人直呼离谱。

已经有网友开始上手了，并评论道：已经在部署了，连夜下载了 anaconda。

B 站地址：https://www.bilibili.com/video/BV1964y1b7vV?spm_id_from=333.905.b_7570566964656f.3

项目介绍

原神自动钓鱼 AI 由两部分模型组成：YOLOX、DQN。此外，该项目还用到了迁移学习，半监督学习来进行训练。模型也包含了一些使用 opencv 等传统数字图像处理方法实现的不可学习部分。

YOLOX 用于鱼的定位和类型的识别以及鱼竿落点的定位；
DQN 用于自适应控制钓鱼过程的点击，让力度落在最佳区域内。

安装

该项目是在 python 运行环境中使用的，需要先安装 python，这里推荐使用 anaconda。

配置环境：打开 anaconda prompt(命令行界面)，创建新的 python 环境并激活（推荐 python3.7 或以下版本）：

conda create -n ysfish python=3.6conda activate ysfish

下载工程代码：使用 git 下载，或直接在 github 网页端下载后直接解压：

git clone https://github.com/7eu7d7/genshin_auto_fish.git

依赖库安装：切换命令行到本工程所在目录：

cd genshin_auto_fish

执行以下命令安装依赖：

python -m pip install -U pippython requirements.py

如果要使用显卡进行加速需要安装 CUDA 和 cudnn，安装后无视上面的命令用下面这条安装 gpu 版：

pip install -U pippython requirements.py --cuda [cuda 版本]# 例如安装的 CUDA11.xpython requirements.py --cuda 110

安装 yolox：切换命令行到本工程所在目录，执行以下命令安装 yolox：

python setup.py develop

预训练权重下载：下载预训练权重 (.pth 文件)，yolox_tiny.pth 下载后将权重文件放在工程目录 / weights 下。

YOLOX 训练工作流程：YOLOX 部分用半监督学习打标签。标注少量样本后训练模型生成其余样本伪标签再人工修正，不断迭代以提高精度。样本量较少所以使用迁移学习，在 COCO 预训练的模型上进行 fine-tuning。

将 yolox/exp/yolox_tiny_fish.py 中的 self.data_dir 的值改为解压后 2 个文件夹所在的路径。

训练代码：

python yolox_tools/train.py -f yolox/exp/yolox_tiny_fish.py -d 1 -b 8 --fp16 -o -c weights/yolox

DQN 训练工作流程：控制力度使用强化学习模型 DQN 进行训练。两次进度的差值作为 reward 为模型提供学习方向。模型与环境间交互式学习。

直接在原神内训练耗时较长，首先你需要制作一个仿真环境，大概模拟钓鱼力度控制操作。在仿真环境内预训练一个模型。随后将这一模型迁移至原神内，实现域间迁移。

仿真环境预训练代码：

python train_sim.py

原神游戏内训练：

python train.py

运行

以上准备就绪后，就可以运行钓鱼 AI，注意命令行窗口一定要以管理员权限启动。

显卡加速：

python fishing.py image -f yolox/exp/yolox_tiny_fish.py -c weights/best_tiny3.pth --conf 0.25 --nms 0.45 --tsize 640 --device gpu

cpu 运行：

python fishing.py image -f yolox/exp/yolox_tiny_fish.py -c weights/best_tiny3.pth --conf 0.25 --nms 0.45 --tsize 640 --device cpu

运行后出现 init ok 后按 r 键开始钓鱼，原神需要全屏。出于性能考虑检测框不会实时显示，处理运算后台进行。

更多实现细节，读者可参考原项目。

工程深度强化学习强化学习游戏AI原神

相关数据

半监督学习技术

半监督学习属于无监督学习（没有任何标记的训练数据）和监督学习（完全标记的训练数据）之间。许多机器学习研究人员发现，将未标记数据与少量标记数据结合使用可以显着提高学习准确性。对于学习问题的标记数据的获取通常需要熟练的人类代理（例如转录音频片段）或物理实验（例如，确定蛋白质的3D结构或确定在特定位置处是否存在油）。因此与标签处理相关的成本可能使得完全标注的训练集不可行，而获取未标记的数据相对便宜。在这种情况下，半监督学习可能具有很大的实用价值。半监督学习对机器学习也是理论上的兴趣，也是人类学习的典范。

来源：Wikipedia

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

YOLO技术

YOLO 模型最早是由 Joseph Redmon 等人在 2015 年发布的，并在随后的两篇论文中进行了修订。

来源：介绍文章

迁移学习技术

迁移学习是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。

来源：机器之心 Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

图像处理技术

图像处理是指对图像进行分析、加工和处理，使其满足视觉、心理或其他要求的技术。图像处理是信号处理在图像领域上的一个应用。目前大多数的图像均是以数字形式存储，因而图像处理很多情况下指数字图像处理。

来源：维基百科

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心