移动应用质量标准衡量指标
移动应用质量标准包含三十五个测试指标,涵盖了移动应用测试的几乎所有维度,通过对这些指标的测试,能够很好的覆盖应用的各方面质量,这里根据不同的测试角度,将测试指标分为了七大维度:
基础功能测试指标
基础功能测试 | 描述 |
基本功能 | 移动应用包含的基本功能是否正常 |
异常测试 | 所有异常操作和复杂用户场景的测试。包括客户端操作异常、客户端与服务器端交互异常、网络异常、交互打断等 |
账户登录 | 检查和账户相关的功能是否正常。如支持不同账户登录(QQ、微博等)的功能是否正常;多个账户同时登录的功能是否正常;多端登录的功能是否正常 |
包名、版本号、签名 | 包名、版本号、签名是否正确 |
静态代码扫描 | 通过扫描工具检查代码中的错误,并逐项进行处理和说明 |
性能稳定性测试指标
性能稳定性测试 | 描述 |
---|
电量消耗 | 典型场景下及待机状态下的耗电量 |
流量消耗 | 典型用户场景下及待机时的流量消耗 |
CPU占用率 | 典型用户场景下及待机时的CPU占用率 |
内存消耗 | 典型用户场景下及在不活动时的内存消耗 |
启动时长 | 各种启动方式下,启动的时间(冷启动(开机后第一次启动)、热启动、第一次启动时间、从最近浏览启动) |
内容加载时长 | 产品主要页面或功能的加载时长 |
退出时长 | 在产品内退出或进入后台操作的时长(back键退出、home键退出) |
帧率 | 主要界面滑动的流畅程度 |
安装包大小 | 安装前、安装后、第一次启动后应用的大小 |
Monkey测试 | 每次迭代需通过至少8h无间断的Monkey测试 |
兼容性测试指标
兼容性测试 | 描述 |
---|
ROM兼容 | 对不同ROM版本的兼容性(原生ROM(4.0、4.1、4.2等);第三方ROM(小米、软谷云OS等)) |
芯片兼容 | 对不同芯片的兼容性(MTK平台、高通平台、Intel X86平台等) |
屏幕兼容 | 对不同屏幕分辨率的兼容(HVGA、VGA、WVGA、FWVGA、720p、1080p等) |
手机品牌兼容 | 对不同手机品牌机型的兼容(三星、LG、华为等) |
安全软件兼容 | 对安全类软件的兼容性,安装之后安全软件不会报应用的错误(如软谷手机管家、QQ手机管家等) |
版本兼容 | 新版本需要兼容之前的旧版本 |
SDK兼容 | 对应用内集成的SDK兼容 |
安全测试指标
安全测试 | 描述 |
---|
配置安全 | 特定场景下检查配置安全性,包括发布状态检查、权限申请、自定义权限、签名有效性校验 |
数据安全 | 特定场景下检查数据安全性,包括存储安全、传输安全、日志信息泄露、intent信息泄露、密钥管理 |
组件安全 | 特定场景下检查组件安全性,包括activities组件安全、services组件安全、content providers组件安全、broadcast receivers组件安全、动态注册receivers组件安全 |
webview组件安全 | 特定场景下检查webview组件安全,包括:addJavaScriptInterface命令执行、JS本地文件窃取漏洞 |
crash隐患 | 检查APP中是否存在crash隐患,包括输入检验,特定场景下检查输入的安全性,比如SQL注入、路径遍历、IPC空引用异常DOS、intent注入;接口检查等 |
遍历测试指标
遍历测试 | 描述 |
---|
遍历测试 | 模拟用户对应用的实际操作,自动对应用中每个界面上可操作的元素进行点击,记录下操作过程中的路径和问题(截图、日志) |
线上质量监控指标
线上质量监控 | 描述 |
---|
用户反馈 | 收集不同渠道用户反馈问题,并进行处理 |
数据统计 | 核心用户指标,在用户允许的情况下,了解用户使用产品情况,帮助改善产品质量 |
crash监控 | 监控用户在使用过程中的crash情况 |
上架监控 | 需及时检查并监控第三方商店的上架情况,包括但不限于版本号、渠道对应情况等 |