(无人直播手机软件)无人直播软件安装教程v3.0

嘉宾 | 金晖（定源）

“为模仿实在用户”无人曲播软件安拆教程v3.0，Robot-XT 极测机器人供给了为用户体验度量评测无人曲播软件安拆教程v3.0的才能，不只能够更大程度地模仿用户实在操做，还实现了多设备跨末端的功用主动化和用户体验度量。同时，Robot-XT 极测机器人通过 IoT+AI 的智能化手艺搭建一套撑持多机操做并具备高不变性的的 UEE 主动化处理计划，实现了笼盖从线上 App 到线下智能门店场景的端到端主动化测试，赋能行业，为软件绿色联盟的加盟 App 供给用户体验评测办事。

在 2021 年 5 月北京 QCon 全球软件开发大会上，阿里巴巴高级测试专家金晖（花名定源）分享了阿里巴巴基于 AI+IoT 的机器人测试计划。我们整理了无人曲播软件安拆教程v3.0他的演讲，以期为您供给主动化测试的新计划。（下文以金晖教师第一人称论述）

一、泛末端主动化测试及实在用户体验评测的布景介绍

互联网公司凡是存在多个 App 交互频繁。好比消费者在 c 端手淘、天猫下单，商家会在千牛 App 收到订单提醒，多 App、跨末端的交互测试场景越来越多。从末端来说，跟着智能挪动末端普及从智妙手机拓展到了 IoT（物联网），末端系统也拓展到了 Android、iOS、鸿蒙、Win Touch、RTOS 等等。跟着新零售的开展，线上线下不竭交融，硬件和云端、AI 构成了软硬件一体化的链路，此时测试和纯软件层的测试差别较大。

在新的时代趋向下，传统基于单操做系统内的 UI 主动化测试已经无法满足多 App 多末端间的交互测试，无法实正意义上地实现端到端笼盖营业的全链路测试。

同时，在产物精细化过程中，用户体验合作白热化，严峻影响到用户流失、拉新促活，因而深度用户体验提拔的需求也日益增加，用户体验目标需要更高精度的丈量，需要摸索一种完全模仿用户实在操做的体例。

我们缺乏多端/多系统交互全流程的⾃动化测试⼿段，体验目标需分段获取且精度不敷，在差别操做系统上测试需要维护多个脚本。因而，我们测验考试了一种新的测试思绪无人曲播软件安拆教程v3.0：UEE 测试（User E2E Experience Testing）——以“实在”模仿用户为核心目标，与被测软件解耦，实现了实正的端到端的测试。

UEE 的第一个 E 代表了 Experience，即具备深度⽤户体验评测的能⼒，即要求：

更⾼精度：端侧的性能和体验优化切确到 ms 级别多设备间交互丈量：除了 App 之间，实现和 PC 乃⾄IoT 之间交互的场景⽆侵⼊实在模仿：降低软件模仿点击和实在⽤户操做的差别

第二个 E 代表了端到端——“End1 to End2”，即实现对多设备端到端功用⾃动化测试的⽀持：

多机交互⾃动化：快速⽀持多⼿机 App 间、⼿机与 PC/IoT 之间交互的操做外部视⻆的对象识别：脱节软件层差别操做系统 API 操做的局限，以及软件层 API 对 部门场景下元素⽆法识此外问题⼀套跨末端设备的通⽤脚本：降低多套⾃动化脚本的维护成本

所以 UEE 测试要具备两个核心才能，用户交互体验评测才能和多设备端到端功用主动化才能。

用户交互体验评测才能即通过 IoT（如摄像头、机械⼿、传感器）等外部设备收罗，并通过 AI 算法将实在⽤户感触感染数字化，来获取最接近实在⽤户体感的性能及⽤户体验目标。

多设备端到端功用主动化才能即通过机械⼿对多设备跨末端的被测系统做⾃动化测试、通过 AI 算法实现 IoT 设备的调度控造、对象识别、测试步调执⾏、异常处置等。

二、基于 AI+IoT 的机器人测试计划：UEE 测试形式

实现机器人测试，起首要用高清、高速摄像头模仿人的眼睛，引入摄像头的对象识别机造取代原存在系统内截图、录屏和 XPath，同时拍摄多个设备，做到⽆侵⼊被测系统。

第二是用机械⼿模仿人的单手和双手，包罗伸缩、滑动等动做，此时需要封拆一套机械手的操控的 API，而且它要实现底层软硬件执⾏引擎通明，既可用机械手也可用传统软件层施行，⼀套脚本逾越所存在的操做系统，同时可操做多个设备。

最初通过算法取代人脑智能阐发，实现视视频/图像阐发、异常弹窗处置、⽩屏检测等

RXT 机器⼈手艺⽅案

RXT（Robot-XT）机器⼈手艺计划核心难点有三：

实现多传感器的交融，通过摄像头、机械手、传感器等等组合实现与被测系统的解耦通过多种算法组合⽀撑体验评测和跨端⾃动化开发⼀套跨平台系统的脚本 IDE

IOT 控造方面的核心是控造摄像头和机械手。我们采纳了云边连系的架构，在边沿端摆设了控造摄像头和机械手的 RXT 客户端。

摄像头的操控

我们发现不异算法面临摄像头⻆度差别、情况光源不不变等情况下搜集到的视频、图像数据，计算成果差别很大。因而，我们接纳了双摄像头形式，顶部摄像头负责图片拍摄，做图像实时阐发；侧面底部摄像头负责拍摄视频传到云端做离线用户体验评测。

同时，摄像头拍摄的视频和录屏截屏的图像量量存在的品量差距，增加了算法处置的难度。我们通过图像加强，曲方图处置等，使得图像更易被算法识别。

此外，我们需要从摄像头拍摄的画面朋分出所需的手机屏幕。机械臂在施行时常常和手机屏幕相连，因而做边沿检测也会合为一体，难以拆分。手机屏幕、械臂及周边底色存在亮度差别，我们借此实现了 ROI 获取，过程如下图所示：

机械手精准操做

实正的端端主动化必需包管机械手的精准操做。核心问题是若何将手机屏幕、摄像头拍摄的图像以及机械手三个坐标映射到统一个世界坐标中？我们采纳了多级空间坐标映射，通过透视变更，实现算法识别后机械臂可精准地点到指定位置。

基于图像 AI 的组合算法

图像 AI 的算法我们次要实现了三种：图⽂并茂的对象识别、⾮预期弹窗的识别处置和体验评测⾃动化。

图⽂并茂的对象识别

识别对象时，我们改良了 SURF 算法，叠加了 OCR 手艺，加强了小图标识别才能。原生的 SURF 算法精度不敷，关于特征类似的小图像经常婚配失败。我们在特征向量上增加了斜率判断，婚配的胜利率大幅度上升（如图中情况 3）。如特殊情况屏幕中存在多个不异小图标，则需要手动调参。

非预期弹窗的识别处置

弹窗一般存在两类，系统级弹窗和营业级弹窗。系统级弹窗即初次安拆 App 时的受权答应等，营业级弹窗即营业促销的红包、活动等的弹窗，如盖楼、抢红包等。

图一、图二中系统级的弹窗可通过传统体例监听，图三、图四营业级弹窗受营业影响，变革复杂，传统⽅法⽆法监听。因而，我们将传统的基于系统事务监听的⽅式整体变成了基于纯视觉算法的判断。

图一、图二中系统级的弹窗，可通过 OCR 识别先将文字提取出来，用波特停止语义理解，识别出“好”、“确定”等词后点击。关于图三、图四中营业级弹窗，我们起首通过 Yolov3 做的模子训练，将弹窗从布景平分割出来，朋分后可识别每个弹窗的圆×停止。该组合算法可处手淘理 95%以上的弹窗。

体验评测⾃动化

体验评测主动化中，我们认为用户实在感触感染到的加载时长等于从机械手点击到页面变革的最初一帧的时间差，关键在于若何去判断页面加载的完毕帧。我们采纳视频降采样，按照灰度、⼆值化、去噪声计算图像的差值分数，即变革的水平，随后用尝试测出适宜的阀值，之后在整个视频区间倒序查找阀值之上最初一个差值，即为最初一帧，流程如下图所示：

一套跨平台脚本 IDE

我们跨平台脚本 IDE 的特点是一个脚本同时能够操做多个设备，可在 IDE 上调试和运行，即脚本需在 Web IDE 上运行后，方可提交机器人施行。

在调试和运行时，多个模仿⼿机能够随时切换，可切换手机去看施行步调，通过 d1、d2 等来操做所有设备中的被测对象。此外，我们⽀持截图编写脚本。

机器人测试实战案例

我们在现实项目中利用 UEE 完成了浩瀚的测试使命。

UEE 测试项目主动化实战

一年半前，淘系动静系统要对百亿级 BC 动静系统（买卖两边聊天系统）做整体架构和营业模子晋级。其时，旺信营业已运行多年，重构时需让⽤户⽆感光滑迁徙，而重构后⾸个客户端版本即为双⼗⼀版本，缺乏灰度时间。所以此时测试至关重要。

上图中巴拿马是我们内部指新的动静系统的代号。为了包管项目光滑不变，我们在客户端同时筹办了新老两个版本，一旦毛病可快速切回老通道。

该计划极大地增加了测试工做量：BC 动静系统交互本就十分复杂，包罗安卓、iOS、PC 等多端，再加上新、老通道，组合共计 36 种动静互通场景，工做量为原有的 36 倍。

其时，我们只凑成了 10 个测试同窗，要在 30 天中测完 700 多人日的测试使命，难于上彼苍。

UEE 测试系统在此项⽬中起了关键感化，⽀撑了 Android、iOS、PC 共 6 轮⾃动化回归，每轮执⾏了⽤例 3000+，使测试人员能够将精神放在办事端全量入压测等复杂测试上。

UEE 测试项目体验实战

手淘和千⽜的体验优化中，UEE 测试支持了⼿淘动静/千⽜商家 Android/iOS 核⼼场景加载时⻓测试，获得了跳闪⽩检测体验数据 2000+次，⽀撑了淘宝买菜 Android/iOS 核⼼场景 A/B⽅案和竞品阐发，获得了体验数据 500+条、

那里需要出格强调的是，某些 lOT 设备厂家的定造系统有未对外开放的 API，此时在软件层就无法实现竞品阐发了，需借用 UEE 测试系统。

此外 ，在双十一大促备战时，我们会设置专项，包罗卖家到买家到卖家等端到端的核心流程主动化、手淘/千牛加载体验验收、线上舆情主动化复现等。

线下端到端测试

下图是 UEE 测试系统线下端到端测试的案例，图平分别为 UEE 和联通合做、天猫无人超市、阿里将来酒店的场景。

阿里将来酒店存在 300 多间房，测试人脸识别购置不克不及只在软件层做回归，但硬件测试找实在的人去测成本高。我们通过机器人测试对将来酒店人脸购置做了主动化验收。

室内定位拥有浩瀚 AP 节点，需要对整个空间搭建指纹库，即根底的信息库。通过人工搜集数据工做量大且精度只能到米，借助 RXT 机器⼈可实现主动化地收罗和定位且精度可控造到厘米。上图（左）为用激光雷达扫描的酒店⼤堂 SLAM 地图。最末实现了按照地图主动化收罗和巡检。

线下门店无人超市的重力货架的测试也需要测硬件，我们通过机器人对 300 多个重力货架，实现了压测和功用上巡检。

机器人智能化测试下一步思虑和摸索

UEE 测试改动了改动了端到端测试，从软件层到硬件层，从单端到多端笼盖了全端；扩展了主动化测试范畴，⼀次性完胜利能⾃动化和⽤户体验评测；降低了测试脚本维护成本，⼀套 DSL 脚本同时操做 1 个或多个设备（iOS/Android/PC Touch/RTOS/鸿蒙 等等）。

UEE 测试合适以下场景：

单设备/多设备 App⽤户体验目标⾼精度评测AB/新⽼版本/竞品体验对⽐评测多设备交互的端到端功用⾃动化测试一次性完成单端功用+⽤户体验评测⾃动化测试线下场景软硬件端到端测试

UEE 测试在阿里集团内，⽀持了阿⾥集团 10+ App 的测试，笼盖了阿⾥集团⼤促体验验收、商家营业、动静、社区团购、曲播、逛逛、IoT、线下智能等营业形态。

阿里在 2018 年内部起头利用机械手和摄像头做用户体验评测，2019 年时软件绿色联盟也推出了挪动智能末端的行业尺度，认定需要用摄像头和机械手来做评测。我们 2020 年和绿盟合做，成为了软件绿色联盟的官方评测平台之一。如今还在内测阶段，将来将面向全行业开放，希望我们的开源能减轻各人的承担，用无脚本的体例实现主动化测试。

我们已经起头研发的 RXT2.0 引入了强化进修、猎奇心计心情造、规则自进修等才能，将聚焦在智能摸索和智能验证的两个才能上，去实现智能摸索测试，只能判断测试过程中发现的预期内和预期外的问题。

此外我们也在研发做新一代的主动化的机柜，可规模化量产的机械臂+摄像头⼀体机柜。

嘉宾介绍

金晖（花名定源），阿里巴巴淘系高级测试开发专家。目前负责淘系的动静根底平台、千牛商家平台、办事市场等营业板块的量量保障。也曾负责无人超市、阿里将来酒店等线下智能场景的量量保障。存在丰硕的线上和线下测试经历，主攻智能化测试标的目的，摸索 UEE（User E2E Experience Testing）主动化测试。在参加阿里巴巴之前，就职于中国工商银行软件开发中心杭州测试部担任高级司理。并存在多项创造专利。

领会更多软件开发与相关范畴常识，点击拜候 InfoQ 官网：https://www.infoq.cn/，获取更多出色内容！