软件产品评测唯一的国家级标准是:
GB/T 25000.51-2016《系统与软件工程 系统与软件质量要求和评价(SQuaRE) 第51部分:就绪可用软件产品(RUSP)的质量要求和测试细则》
一份正规的CMA软件验收测试报告必须严格依据这个标准来出具。
这个标准不仅是技术规范,它定义了一套完整的软件质量要求与评测规则。如果一个软件产品要作为就绪可用软件产品(RUSP)交付,就必须在产品说明、用户文档和软件质量三方面都达到要求。
标准规定必须测什么?
1. 产品说明的评测
产品说明就是软件能做什么、达到什么水平的材料(如需求规格说明书、技术方案)。标准要求机构审查这些材料是否:
内部没有矛盾,与合同、文档没有冲突。
应包含所有标准要求的必要信息。
所有功能、性能指标必须是可以被验证的,不能模糊描述。
2. 用户文档的评测
用户文档(如操作手册、运维手册)必须:
完备:安装、操作、异常处理等流程都要有。
正确:按文档描述去操作,能得到预期的结果。
易理解:符合目标用户的认知水平。
3. 软件质量的评测
标准定义了八大质量特性并给出了详细的测试细则。在验收测试中执行以下测试:
功能性
功能正确性:看软件能否正确完成产品说明中规定的所有功能。会依据合同、需求编写测试用例,逐项验证。
功能完备性:所有约定的功能是否都已实现。
功能适合性:功能是否真的解决了业务问题。
性能效率
在负载下验证软件的相应情况和资源利用情况。国标没有规定绝对数值是验证你是否达到了产品说明或合同中的指标。
兼容性
共存性:是否能在与其他软件共享的环境里正常运行,不冲突。
互操作性:是否按照规定的接口、协议,能与指定系统成功交换数据。
信息安全性
需要检查用户认证、权限控制、数据保密性、防越权、输入验证、日志审计等方面的能力是否符合说明。
易用性
检查界面的一致性、操作的辨识度、错误提示的用户友好性,以及用户是否能理解如何使用。
可靠性
测试系统的容错能力和恢复能力。
维护性与可移植性
这两项在验收中通常靠审查文档和研发过程来评估。代码是否有注释、安装步骤是否清晰,是否能适配说明的软硬件环境等。