单挑碾压顶尖职业选手

到这一点，1v1游戏更适合用来研究游戏中的复杂动作决策问题，也能够更加全面系统的研究游戏 AI 智能体的构建。

AI的整体架构一共分为4个模块：强化学习学习器（RL Learner）、人工智能服务器（AI Server）、分发模块（Dispatch Module）和记忆池（Memory Pool）。
 

是一种高可扩展低耦合的系统架构，可以用来构建数据并行化。主要考虑的是复杂智能体的动作决策问题可能引入高方差的随机梯度，所以有必要采用较大的批大小以加快训练速度。

其中，AI服务器实现的是 AI 模型与环境的交互方式。分发模块是用于样本收集、压缩和传输的工作站。记忆池是数据存储模块，能为 RL 学习器提供训练实例。

这些模块是分离的，可灵活配置，从而让研究者可将重心放在算法设计和环境逻辑上。这样的系统设计也可用于其它的多智能体竞争问题。

在强化学习学习器中，他们还实现了一个 actor-critic 神经网络，用于建模1v1 游戏中的动作依赖关系。



 

为了应对游戏中的多个场景决策，研究人员们还提出了一系列算法策略，来实现更高效率的训练：

• 为了帮助AI在战斗中选择目标，引入目标注意力机制；
• 为了学习英雄的技能释放组合，以便AI在序列决策中，快速输出大量伤害，使用了LSTM；
• 用于构建多标签近端策略优化（PPO）目标，采用动作依赖关系的解耦；
• 为了引导强化学习过程中的探索，开发了基于游戏知识的剪枝方法；
• 为了确保使用大和有偏差的数据批进行训练时的收敛性，改进 PPO 算法提出dual-clip PPO，其示意图如下所示：

（编辑：江门站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!