基于图像识别的AI自动化测试框架：GAME AI SDK平台解析

腾讯云开发者

于 2020-12-14 18:14:00 发布

阅读量3.4k

点赞数 10

文章标签：算法网络大数据编程语言 python

本文链接： https://blog.csdn.net/QcloudCommunity/article/details/111189288

版权

导语 | GAME AI SDK 是腾讯 TuringLab 研发的首个开源项目，着重解决自动化测试工具中的通用性问题，最初主要用于游戏 AI 自动化测试服务，现在可用于手机 APP、PC 端游戏、软件等专项自动化测试。通过 AI 算法进行大数据训练的网络模型具有良好的通用性，可以直接在同一类游戏（软件）中适用。文章作者：周大军，腾讯 AI 工程组专家工程师。

一、GAME AI SDK概述

自动化测试的好处显而易见，但自动化测试的投入成本大却是一个很大的障碍。为了在游戏测试中引入自动化测试, 腾讯互娱 TuringLab 实验室研发了 Game AI SDK 自动化 AI 测试平台。通过接入腾讯公司运营期或测试期的商业游戏，不停的测试优化，最后推出这款 AI 自动化测试平台。

目前，GAME AI SDK 已正式对外开源，Git 开源地址：

https://github.com/Tencent/GameAISDK

同时 TuringLab 团队出版《AI自动化测试：技术原理、平台搭建与工程实践》一书，此书将 TuringLab 团队基于深度学习的自动化AI测试框架基础的开发与应用经验，进行了详细的描述，分享了如何将AI技术与自动化测试相结合完成测试需求的。

基于 GAME AI SDK 框架，可实现多种类型的手机游戏 AI 开发（本文重点介绍手机游戏方面）。目前我们已应用的游戏类型有：射击类(穿越火线，王牌战士)， MMO(寻仙，龙之谷 ), 消除类(天天爱消除，消除者联盟)，吃鸡(和平精英)，赛车(QQ飞车)， MOBA(王者荣耀)，格斗(魂武者,DNF), 动作(魂斗罗)，卡牌(圣斗士星矢), 棋牌(天天德州)，跑酷(天天酷跑) ，体育(最强NBA)，飞行射击(全民飞机大战)等。

同时也可以应用在手机 APP 及 Windows 应用程序方面。不但适用于手机游戏专项测试，手机 APP 专项测试，而且适用于 PC 端游戏，软件等专项测试（专项测试是指如手机兼容性测试，客户端服务器端性能测试，版本回归冒烟测试，跑图覆盖率及代码覆盖率测试，软件健壮性及 crash 测试等这一类测试）。

二、GAME AI SDK的技术架构

GAME AI SDK 是一个平台工具系统，主要由四部分组成：

第一部分：AI SDK 平台，系统的核心功能都集成在这个平台里面。

第二部分：tools 工具集，用户可以根据系统提供的 SDKtool 进行 AI 相关配置操作，也可以根据需要，自行开发需要的工具，集成到 tools 工具集中。

第三部分：环境摸拟（EM），主要提供手机游戏的环境摸拟生成，用户可以通过配置快速生成游戏运行环境，这样在训练 DQN 等网络时能节省很多时间，大幅提高训练的效率。

第四部分：系统提供的 AI 模板库，目前是按游戏类型来划分的，用户可以根据自己的需求配置使用现有的 AI 模板库，也可以在AI模板库新增自己需要的模板。

结构如下图1所示：

图1 整体系统模块

1. GAME AI SDK平台核心部分架构

GAME AI SDK 平台的核心部分的架构图如图2所示：

图2 GAME AI SDK平台架构图

GAME AI SDK 底层使用的是 TensorFlow 平台和 OpenCV 开源库，在此基础上开发自动化系统、图形图像识别系统、AI 算法系统几个核心功能模块。

自动化系统：主要负责数据接入部分，如果是截图，则进行图像采集；如果是通过API传输数据，则进行通信连接。同时，会负责将AI的动作输出传到手机上执行。
图形图像UI模块：负责游戏 UI 的识别与处理。
图形图像识别模块：包括的平台所有的图形图像识别算法，负责游戏内所有的图形图像识别，并将识别结果传到 AI 算法模块。
AI算法模块：接收识别结果数据或者直接接收API输入数据，根据 AI 网络，输出数个（0个到几个）可能的动作，传回到自动化系统。

GAME AI SDK 平台通过自动化系统得到数据（如果是图像，得到的是手机截屏；如果是接口 API，则直接得到 API 提供的数据）；把这部分数据输入到图形图像模块，图形图像模块拿到数据后，通过配置好的识别算法，识别出结果，再把这个识别结果输入到 AI 算法模块，AI 算法根据自己的网络，输出数个（0个到几个）可能的动作，传回到手机上面去执行，这样一次数据处理就完成了。

2. GAME AI SDK平台流程

（1）AI流程

用户的输入数据有两种方式：

方式一：使用手机截图，平台通过图像识别得到 AI 需要的数据，然后进行 AI 训练。
方式二：使用 API 接口得到 AI 需要的数据，然后进行 AI 训练。

方式一具有很好的通用性，不需要游戏项目额外做任何的改动，缺点是图像识别结果不一定完全准确。

方式二需要游戏项目额外提供数据 API 接口，因此需要投入额外的开发工作，但好处是数据是完全准确的，用户可以根据项目需要进行适当的选择。

整个 AI 流程如图 3 所示：

图3 AI流程图

Step1：用户通过数据预处理工具输入数据（手机截图或游戏数据）；
Step2：GAME AI SDK 读取任务配置与AI算法配置；
Step3：通过环境模拟平台或在线直接进行 AI 训练；
Step4：将游戏数据存储到数据平台中，方便下次训练或者做数据分析使用（此步骤可选）。

（2）图像识别任务流程图

GAME AI SDK 平台的核心之一就是图像识别任务。在配置图像识别任务之前，如果此任务需要提前标注样本（如需要使用 YOLO 算法），则需要进行数据预处理，可以使用平台提供的 SDKTool 进行样本标注，也可以使用如 LabeImage 这种软件进行标注。

样本标注完成后，就可以使用平台提供的 SDKTool 进行任务配置（详细操作请参见下文第3章）。任务配置完成之后，就可以开始进行识别训练（如果需要进行训练的话）或直接进行识别了。

图像识别任务流程图如图 4 所示：

图4 图像识别任务流程图

Step1：用户使用标注工具进行样本标注（识别算法需要标注样本才进行此步骤）；
Step2：在 SDKTool 中进行任务配置；
Step3：开始任务预测试：在图像识别模块中进行图像识别；
Step4：如果用户只需要做图像识别，则直接将识别结果返回给用户；
Step5：如果用户需要 AI 模块，则将识别结果输入到 AI 模块；
Step6：用户如果觉得任务参数（包括图像识别算法参数）需要调整，则重新调整任务参数，然后继续进行任务预测试（step3），直到用户认为图像识别效果达到要求为止。

3. GAME AI SDK平台模块结构

（1）图像识别模块

图像识别模块的输入为图像帧数据，输出为图像识别得到的结果数据。在图像识别模块内部，底层使用的是 TensorFlow 平台和 Opencv 开源库，在此基础上，图像识别模块封装了一些常用的识别算法（如 YOLO，模板匹配，像素检测，特征点匹配等），用户可以直接通过配置使用这些算法，也可根据需要修改或者直接加入新的识别算法。

根据游戏本身的特点和需求，平台在通用层封装了一些游戏中常用的识别算法，如游戏中常见的数字、按钮、血条等的识别，用户可以直接使用，只需要在 SDKTool 工具里面配置就可使用。

图像识别本身的计算会根据图像大小成倍增加，为提高识别的性能，保证游戏的响应时间，在图像识别模块中使用了多线程来提高图像识别的性能，用户可以根据机器的性能及对响应时间的要求，灵活配置多线程的数量。

图像识别模块如图 5 所示：

图5 图像识别模块

图形图像识别与跟踪相关算法：此为图形图像识别算法模块，包括了一些常用图形图像识别算法，如像素检测、特征点匹配，梯度检测等，也包括了一些基于机器学习的识别算法，如 YOLO，LeNet 等。
comm：此模块封装了一些游戏里面需要经常用到的识别类型，数字类型：如游戏中的分数、速度、距离、子弹数等；血条类型：如游戏中角色的血量，怪物的血量，BOSS 的血量等。
日志管理：系统日志管理模块，输出错误信息及程序运行信息，方便用户查看程序运行状态。
多线程管理：因为图形图像识别的计算量会比较大，在复杂的识别任务或者要求高响应时间的应用场景下，可以使用更多的线程来进行图像识别，多线程管理模块可以很方便的设置多线程的运行数量。
图像识别逻辑处理：在此模块中处理用户配置的图像识别任务。