Dota之后，《王者荣耀》也被AI攻陷，势把人类顶级玩家拉下马(2)
时间:2019-02-07 00:54 来源:百度新闻 作者:巧天工 点击:次
至于状态空间，王者荣耀地图的分辨率是130,000*130,000像素，每个单位的直径是1000像素。在每一帧上，每个单位可能有不同的状态，如生命值，等级，金币数量等。同样，状态空间大小为1020,000。下表中列出了MOBA和围棋之间的动作空间和状态空间复杂度的比较。
围棋和MOBA游戏的计算复杂度比较 MOBA游戏中AI的宏观战略架构 我们设计MOBA AI宏观战略模型的动机源于人类玩家如何做出战略决策。在MOBA游戏中，经验丰富的人类玩家完全了解游戏的每个阶段，例如开局阶段，推线阶段，游戏中期和游戏后期阶段。在每个阶段中，玩家都会关注游戏地图，并根据英雄的位置做出相应的决定。例如，在推线阶段，玩家倾向于更多地关注自己所在的路，而不是去支持队友，而在中后期阶段，玩家更多地关注团战点，并推向敌人的基地。 综上所述，我们将宏观战略运作过程表述为“阶段识别 - >关注预测 - >执行”。为了模拟这个过程，我们提出了一个两层的宏观策略架构，即阶段层和注意力层： ? 阶段层负责识别当前的游戏阶段，以便注意力层可以更好地了解应该注意的位置。 ? 注意力层旨在预测游戏地图上的最佳区域，将英雄移动至该区域。 阶段层和注意力层充当微级执行的高级指导。我们将在下一节中描述建模的细节。微观模型的网络结构几乎与OpenAI Five1中使用的网络结构相同，但是采用监督学习方式。我们做了一些小修改，以使其适应王者荣耀，比如删除了瞬移技能。 分层宏观战略模型 我们提出了一种分层宏观策略（HMS）模型，以在统一的神经网络中考虑阶段层和注意力层。我们将首先介绍统一的网络架构。然后，我们将说明如何构建每个阶段层和注意力层。
概述 我们提出了一种分层宏观策略模型（HMS），将注意力层和相位层作为多任务模型进行建模。它将游戏功能作为输入。输出包括两个任务，即将注意力层作为主要任务，阶段层作为辅助任务。注意力层的输出直接将宏观策略嵌入，传递给微观模型，而资源层则作为一个有用的任务，细化注意力层和阶段层任务之间的共享层。 HMS的网络结构如图所示。 HMS将图像和矢量特征作为输入，分别承载视觉特征和全局特征。在图像部分使用卷积层。在矢量部分使用全连接层。图像和矢量部分合并在两个单独的任务中，即注意力层和阶段层。最终，注意力和阶段任务从共享层通过自己的层输出，并输出到计算损失。 注意力层 与玩家根据游戏地图做出决策的方式类似，注意力层会预测智能体移动的最佳目标区域。但是，从数据中判断出玩家的目的地在哪里是很困难的。我们观察到，发生攻击动作的区域可以指示玩家英雄的移动目的地。根据这一观察，我们将地面真实区域定义为玩家进行下一次攻击的区域。如图所示。 设s为包含多个帧的游戏中的一个会话，s-1表示s之前的会话。 s - 1是游戏中的第一个会话。让ts成为s的起始框架。请注意，会话以攻击行为结束，因此在英雄进行攻击的ts中存在区域y。如图所示。s-1的标签是ys，而s的标签是ys + 1。直观地说，以这种方式设置标签，是希望智能体学会在游戏开始时移动到ys处。 阶段层 阶段层旨在识别当前的游戏阶段。提取关于游戏阶段基础信息是很困难的，因为人类玩家使用的阶段定义是抽象的。虽然游戏阶段与时间大致相关，但是更多取决于对当前比赛情况的复杂判断，这使得想从重放录像中提取真实的比赛阶段信息非常难。 幸运的是，我们观察到游戏阶段与主要资源数量之间的存在明显的关联。例如，在开局阶段，玩家通常会瞄准外塔和baron，而在游戏后期，玩家会操纵目标摧毁敌人的基地。 因此，我们对主要资源进行阶段性建模。更具体地说，主要资源表示炮塔、baron、龙和基地。我们在图4A中标出了地图上的主要资源。对阶段层的标签定义类似于注意力层。唯一的区别是，阶段层中的ys表示对炮塔，baron、和基地的攻击行为，而不是区域。我们不会将其他资源（如英雄、小兵和中立生物）视为主要目标，因为通常这些资源是为了实现更大的目标，例如摧毁炮塔或基地。 对多智能体间的通信的模拟
多智能体间的通信对于智能体团队合作至关重要。关于多智能体强化学习研究中的通信问题已有很多研究文献。然而，在监督学习中使用训练数据来学习通信是具有挑战性的，因为实际的通信情况是未知的。 为了使智能体能够在监督学习环境中进行通信，我们设计了一种新的通信机制。在训练阶段，我们将盟友的注意力标签作为训练特征。在测试阶段，我们将盟友的注意力预测作为特征进行相应的决策。通过这种方式，我们的智能体可以实现彼此“沟通”。 论文地址： https://arxiv.org/pdf/1812.07887.pdf
声明：凡注明为其它来源的信息均转自其它平台，目的在于传递更多信息，并不代表本站观点及立场和对其真实性负责。若有侵权或异议请联系我们删除。 千家智客微信公众号 扫描下方二维码，关注千家智客微信公众号（qianjiacom），随时随地知晓智能行业天下事！ |
