服务支持

移动应用质量标准衡量指标

移动应用质量标准包含三十五个测试指标,涵盖了移动应用测试的几乎所有维度,通过对这些指标的测试,能够很好的覆盖应用的各方面质量,这里根据不同的测试角度,将测试指标分为了七大维度:

移动应用质量标准衡量指标


基础功能测试指标

基础功能测试 描述
基本功能 移动应用包含的基本功能是否正常
异常测试 所有异常操作和复杂用户场景的测试。包括客户端操作异常、客户端与服务器端交互异常、网络异常、交互打断等
账户登录 检查和账户相关的功能是否正常。如支持不同账户登录(QQ、微博等)的功能是否正常;多个账户同时登录的功能是否正常;多端登录的功能是否正常
包名、版本号、签名 包名、版本号、签名是否正确
静态代码扫描 通过扫描工具检查代码中的错误,并逐项进行处理和说明

性能稳定性测试指标

性能稳定性测试描述
电量消耗典型场景下及待机状态下的耗电量
流量消耗典型用户场景下及待机时的流量消耗
CPU占用率典型用户场景下及待机时的CPU占用率
内存消耗典型用户场景下及在不活动时的内存消耗
启动时长各种启动方式下,启动的时间(冷启动(开机后第一次启动)、热启动、第一次启动时间、从最近浏览启动)
内容加载时长产品主要页面或功能的加载时长
退出时长在产品内退出或进入后台操作的时长(back键退出、home键退出)
帧率主要界面滑动的流畅程度
安装包大小安装前、安装后、第一次启动后应用的大小
Monkey测试每次迭代需通过至少8h无间断的Monkey测试

兼容性测试指标

兼容性测试描述
ROM兼容对不同ROM版本的兼容性(原生ROM(4.0、4.1、4.2等);第三方ROM(小米、软谷云OS等))
芯片兼容对不同芯片的兼容性(MTK平台、高通平台、Intel X86平台等)
屏幕兼容对不同屏幕分辨率的兼容(HVGA、VGA、WVGA、FWVGA、720p、1080p等)
手机品牌兼容对不同手机品牌机型的兼容(三星、LG、华为等)
安全软件兼容对安全类软件的兼容性,安装之后安全软件不会报应用的错误(如软谷手机管家、QQ手机管家等)
版本兼容新版本需要兼容之前的旧版本
SDK兼容对应用内集成的SDK兼容

安全测试指标

安全测试描述
配置安全特定场景下检查配置安全性,包括发布状态检查、权限申请、自定义权限、签名有效性校验
数据安全特定场景下检查数据安全性,包括存储安全、传输安全、日志信息泄露、intent信息泄露、密钥管理
组件安全特定场景下检查组件安全性,包括activities组件安全、services组件安全、content providers组件安全、broadcast receivers组件安全、动态注册receivers组件安全
webview组件安全特定场景下检查webview组件安全,包括:addJavaScriptInterface命令执行、JS本地文件窃取漏洞
crash隐患检查APP中是否存在crash隐患,包括输入检验,特定场景下检查输入的安全性,比如SQL注入、路径遍历、IPC空引用异常DOS、intent注入;接口检查等

遍历测试指标

遍历测试描述
遍历测试模拟用户对应用的实际操作,自动对应用中每个界面上可操作的元素进行点击,记录下操作过程中的路径和问题(截图、日志)

线上质量监控指标

线上质量监控描述
用户反馈收集不同渠道用户反馈问题,并进行处理
数据统计核心用户指标,在用户允许的情况下,了解用户使用产品情况,帮助改善产品质量
crash监控监控用户在使用过程中的crash情况
上架监控需及时检查并监控第三方商店的上架情况,包括但不限于版本号、渠道对应情况等