电竞之家_品味电竞生活移动版

【新智元导读】腾讯AI Lab团队在arXiv发表论文，通过对AI进行训练，并与《王者荣耀》顶级人类玩家PK，最后获得了48%的胜率。

终于，AI还是对《王者荣耀》下手了。

19日，腾讯AI Lab团队在arXiv上发表文章，训练AI大战人类玩家，而此次所选择的游戏，正是火遍大江南北的手游——《王者荣耀》。

论文地址：https://arxiv.org/pdf/1812.07887.pdf

腾讯团队表示，游戏AI的下一个挑战是即时策略(RTS)游戏。在与顶尖人类玩家大战250回合之后，取得了48%的胜率！

AI“杀戮”王者峡谷

近年来，微观层面的操作取得了很大的进步，但宏观战略的完整解决方案仍然缺乏。

腾讯AI Lab团队提出了一种新的基于学习的分层宏观策略模型，用于掌握RTS子类型游戏——MOBA游戏。

在层次宏观战略模型的训练下，智能体能够明确地做出宏观战略决策，并进一步指导其微观层面的操作。

此外，每个智能体都可以在做出独立的战略决策的同时，通过利用一种新颖的模仿交叉通信机制与盟友进行沟通。

团队从《王者荣耀》职业联赛(KPL)比赛和训练中收集了30万个游戏回放记录。最后，用于训练的实例数量高达2.5亿个。

在视觉方面，团队提取了85个特征，例如所有单位的位置和生命点，然后将视觉特征模糊为12*12的分辨率；在属性方面，团队提取了181个特性，如英雄角色、游戏时间、英雄ID、英雄的金币和等级状态以及死亡、助攻量统计。

团队将卷积层和完全连接层混合使用，分别从视觉和属性特征方面获取输入。

而如何开局是MOBA最重要的策略之一。

下图展示了通过模型学到不同英雄的开局注意力。每个子图由两个正方形组成。左侧方形图表示右侧MOBA mini-map的注意力分布。

不同英雄的开场策略。最热的区域用红色圆圈标出。

从左至右分别是貂蝉(法师，中路)、韩信(刺客，打野)、亚瑟(战士，辅助)、后裔(射手，下路)。

根据注意力预测，貂蝉将去中路，韩信将去蓝Buff区域，亚瑟和后裔将去红Buff区域，除此之外，宫本武藏(战士，上单)将去上路发育。

这样的开局策略在《王者荣耀》中非常流行。

随着游戏的进行，注意力的分布是会发生变化的，如下图所示：

为了体现宏观策略、跨智能体通信机制以及相位层的重要性，团队设计了如下实验进行比较：

团队删除了宏观策略，并加入录像中的微观操作来训练模型。微观模型的设计类似于OpenAI Five；

在没有跨智能体通信机制的情况下，将HMS与经过训练的HMS进行匹配；

删除相位层，并将其与完整版HMS进行了比较；

为了更准确的评估AI的表现，还邀请了250位人类玩家团队，他们的排名处于前1%。同样，游戏规则和正常玩法一样，也会涉及BAN英雄。

其结果如下表所示：

比赛统计。250场比赛是针对人类玩家，40场比赛分别针对无宏观策略、无交流和无阶段的比赛。

MOBA游戏介绍：以《王者荣耀》为例

MOBA类游戏现在占世界网络游戏市场的30%，Dota、《王者荣耀》、《英雄联盟》均属此类游戏。MOBA类游戏在PC游戏和移动平台游戏市场上均排名首位。

一局标准的游戏是5V5的组队对抗赛，每个玩家控制一个单位，即英雄。王者荣耀中有80多个英雄可供选用，每个英雄有不同的战斗特点和技能。玩家在游戏控制英雄移动，并释放技能。

如图所示。玩家使用左下角转向按钮来控制移动，而右下角则设置按钮来控制技能。可通过主屏幕观察周围环境，还可以通过左上角迷你地图了解完整的地图情况，其中可观察的炮塔，小兵和英雄显示为缩略图。只有当他们是盟友的单位或与盟友单位相距一定距离内时才能观察到该单位。

每个队都有三组防御塔，每路各有三个塔。地图上还有四个丛林区域，可以收集资源以增加金钱和经验。每个英雄都以最低金币值和等级1出生。两队都试图利用资源获得尽可能多的黄金和经验，以购买物品和升级。最终目标是摧毁敌人的基地。 MOBA的概念图如图所示。 1B。

要想精通MOBA游戏，玩家需要具备出色的宏观策略操作和熟练的微操。常见的宏观策略包括开放，限制，传递消息，伏击等。熟练的微观层面执行需要高度的控制准确性和对技能的损害和影响的深刻理解。宏观策略操作和微观层次执行都需要掌握优秀的时机，这使得它极具挑战性和趣味性。

（a）《王者荣耀》的游戏UI。玩家使用左下角转向按钮来控制动作，而右下角则设置按钮来控制技能。玩家可以通过屏幕观察周围环境，并使用左上角查看小地图。（b）MOBA的示例地图。这两支队伍的颜色为蓝色和红色，每个队伍有9个炮塔（圆圈）和一个基地（方块）。四个丛林区域的编号从1到4

下面以《王者荣耀》为例，对MOBA的计算复杂度进行量化。

MOBA游戏计算复杂度的量化

一局《王者荣耀》一般游戏长度约为20分钟，即游戏核心约为20000帧。在每一帧中，玩家需要在数十个选项中做出决定，包括24方向的移动方向控制，以及向相应的位置/方向上释放技能等。即使具有显着的离散化和简化处理，并将最快反应时间增加到200ms，需要处理动作空间也达到101500