一、编制依据
编制依据包括:CNAS-CL01:2018《检测和校准实验室能力认可标准》及其在软件检测领域的应用说明CNAS-CL01-A019:2019;GB/T 25000.51-2016《系统和软件工程 系统和软件质量要求和评价(SQuaRE)第51部分:就绪可用软件产品(RUSP)的质量要求和测试细则》;针对移动端安全测试,适用GB/T 34975-2017《信息安全技术 移动智能终端应用软件安全技术要求和测试评价方法》以及GB/T 35281-2020《信息安全技术 移动互联网应用程序(App)安全检测要求》。实验室在执行测试时,所有测试方法都需要经过方法证实或确定,保证测试结果的准确性和可复现性。
二、移动端APP CNAS软件测试内容
CNAS软件测试以GB/T 25000.51的十大质量特性为基本框架,结合移动端的设备特性、网络环境和用户交互方式进行适配。
1.通用质量特性测试
功能性测试是基础测试层。围绕适合性、准确性、互操作性和功能依从性展开,测试APP业务流程(登录注册、数据提交、支付流程、消息推送等)在需求规格范围内的正确实现。测试方法以黑盒测试为主,结合等价类划分、边界值分析和场景法设计用例。
性能效率测试注意移动端的标准:APP冷启动和热启动时间、页面加载和渲染时间、API接口响应时间、内存占用和泄漏情况、CPU和GPU资源消耗以及电量消耗。测试方法包括并发测试和压力测试,借助性能监控工具采集运行时数据,识别性能短板和资源泄漏问题。
可靠性测试通过长时间稳定性运行和故障注入,测试APP在异常输入、网络中断、系统资源紧张等条件下的容错能力和恢复能力。移动端特别注意后台切换、进程被杀后的状态恢复等场景。
易用性测试包括移动端特有的交互场景:手势操作(滑动、长按、缩放)的响应准确性、触摸目的尺寸是不是满足可点击区域要求、横竖屏切换后的界面状态保持、深色方式下的显示一致性等。
信息安全性测试根据移动端安全标准,包括权限申请的合理性和最小化原则、敏感数据(凭据、个人信息)的本地存储加密、网络传输安全(HTTPS强制、证书检查)、代码反编译和加固检测、以及WebView安全配置等。
兼容性测试作为独立的质量特性。
可移植性测试证实APP在不同设备架构(ARMv7/ARM64)、不同安装渠道下的安装和卸载完整性,卸载后残留数据的清理情况,以及跨版本升级安装的兼容性。
维护性和用户文档集按CNAS作业指导书要求进行评审,检查用户手册的完整性、正确性和和产品实际功能的一致性。
2.移动端专项测试
安装和卸载测试:包括首次安装、包括安装、跨版本升级、卸载重装等场景,证实安装包完整性检查、存储权限配置和卸载后残留清理。
权限管理测试:逐一证实各功能模块的权限申请时机是不是合理、权限拒绝后的降级处理是不是可用、权限被系统回收后的恢复行为。
弱网和网络切换测试:模拟2G/3G/4G/5G/Wi-Fi及弱网条件(高延迟、高丢包率),证实网络切换(Wi-Fi↔蜂窝)过程中数据上传下载的连续性、支付流程的幂等性和页面降级方法。
推送和通知测试:证实不同系统版本下推送通道的到达率、通知点击后的落地页跳转正确性以及通知权限被关闭后的行为。
隐私合规检测:根据GB/T 34975和GB/T 35281,检查APP是不是存在超范围收集个人信息、未经同意向第三方共享数据、后台频繁采集位置信息等违规行为。
三、兼容性测试
1.测试目的和范围界定
兼容性测试的重要目的是证实APP在多样化的真实设备环境、操作系统版本、网络条件和硬件配置下,功能是不是正常、UI是不是适配、性能是不是可接受。
测试范围的界定按照用户分布驱动原则:优先根据APP自身埋点数据或第三方统计平台获取的用户设备分布来确定测试的重点,而不是使用行业通用平均值。设备选择采用金字塔式分层方法-高占比主流机型执行全量用例,长尾设备包括功能链路。
2.测试设计
设备方面:包括主流品牌(华为、小米、OPPO、vivo、荣耀、三星、Apple),每个品牌下按“同ROM、同芯片、同分辨率取一台代表”的原则进行等价类合并,避免设备数量冗余而测试方面重复。设备价格带包括旗舰机、中端机和入门机三个层级,重点重视入门机上的启动耗时、内存压力和页面渲染表现。
操作系统方面:Android端包括主流厂商ROM的当前大版本及其前两个版本,同时注意系统补丁版本对权限方法和后台行为的影响;iOS端包括当前最新版本及其前两个大版本。特别注意最新系统版本的权限变更、通知行为变化和存储方法调整对APP的影响。
屏幕和显示方面:包括540p、720p、1080p及2K分辨率,证实布局在不同像素密度下的适配正确性;同时纳入折叠屏展开/折叠状态切换、平板设备分屏方式以及字体缩放(大字体方式)和深色方式的显示一致性。
网络方面:包括Wi-Fi、4G、5G及弱网(带宽限制、延迟注入、丢包模拟)场景,重点证实网络切换过程中的数据一致性和用户操作的幂等性。
硬件调用方面:测试摄像头、麦克风、GPS定位、蓝牙、NFC、指纹/面部识别等硬件接口在不同设备上的可用性和权限行为差别。
3.测试用例设计方法
兼容性测试用例采用组合交叉矩阵方法设计:将设备类型、系统版本、屏幕分辨率等方面作为正交原因,运用正交实验设计方法生成精简但包括度足够的用例组合。功能链路(启动登录、首页加载、重要交易、支付流程、WebView页面)在矩阵所有设备组合上执行完整用例;不重要功能在代表性设备上包括主要功能点即可。
用例内容不同容易产生兼容性问题的功能场景:视频播放组件的编解码支持、H5页面在不同WebView版本中的渲染差别、弹窗和Toast的样式适配、文件上传下载的途径和权限处理、第三方SDK(推送、支付、地图、统计)的集成兼容性。
4.执行方式
兼容性测试的执行采用真机实验室加云真机平台混合方式。实验室自有设备用于执行需要人工观察的UI走查和交互体验证实;云真机平台用于批量自动化执行重要功能脚本,包括更广泛的设备型号。对于自动化包括的场景,通过脚本推送到多台真机并发执行,全过程自动记录操作步骤、截图、日志和性能标准。兼容性测试发现的缺陷按设备方面归类记录,便于定位问题根因(是特定ROM行为差别、还是分辨率适配缺陷、或是系统版本API变更导致)。
5.测试环境记录
按照CNAS对测试环境可追溯性的要求,兼容性测试需完整记录每台测试设备的参数:设备型号、系统版本号(含补丁版本)、ROM版本、CPU架构、屏幕分辨率和像素密度、可用内存、网络类型和运营商、WebView版本号以及测试时的系统语言和区域设置。这些记录作为测试原始数据的一部分归档,保证测试结果在相同环境条件下可复现。
测试报告
兼容性测试的通过/失败决定根据设定义的缺陷严重等级标准。阻断级缺陷(APP无法安装或启动、功能在该设备上完全不可用、频繁闪退)决定为测试不通过,需要修复后在原问题设备上回归证实。影响级缺陷(UI布局错位但不影响功能操作、特定场景下的性能降级)在记录并考虑后可视风险决定是不是放行。所有测试记录、截图、日志和性能数据作为原始记录归档,测试报告中的每一项结果都需要有对应的原始数据支撑,满足CNAS对报告可追溯性和可复现性的要求。