GB/T 25000.51具体要求:
一、产品说明要求
产品说明(如白皮书、发布说明)必须满足:
内容:确定给出产品标识、功能说明、性能说明、运行环境等。
可证实:所有声称的功能、性能都必须是具体、可测试的,不能使用模糊表述。
一致:产品说明中描述的内容,必须和软件实际表现完全一致。
二、用户文档集要求
随软件提供的用户文档(手册、帮助文件、安装指南等)必须满足:
完整:包括软件所有功能,没有遗漏。
正确:所有描述(操作步骤、界面截图、示例等)和真实软件行为一致。
一致:文档内部无矛盾,且和产品说明、实际软件三者之间一致。
易理解:语言清晰、无歧义,能被目的用户看懂。
易浏览:应有目录、索引、搜索等方便的查阅方式。
三、软件质量特性要求
标准要求对就绪可用软件产品本身的以下质量特性进行测试证实,并按子特性逐一检查。
功能性
测试:功能的完整(是不是缺失)、正确(执行结果是不是正确)、适合(是不是贴合用户任务目的),以及功能性的依从。
性能效率
测试:时间特性(如响应时间、处理时间、吞吐量)、资源利用率(CPU、内存、磁盘等占用情况)、容量(能承载的最大用户数、最大数据处理量等)。
兼容性
测试:共存(和其他软件同时运行时不能冲突或互相干扰)、互操作(和指定系统或组件交换并使用信息的能力)。
易用性
测试:可辨识(界面元素是不是容易看出其用途)、易学、易操作、用户差错防御(防止用户误操作的能力)、界面舒适、易访问(如辅助功能支持)等。
可靠性
测试:成熟(正常运行中避免失效的能力)、容错(出现错误或违规输入时仍能维持规定性能的能力)、易恢复(宕机或中断后恢复正常运行的能力)以及可用。
信息安全性
测试:保密(防止非授权访问)、完整(防止非授权篡改)、抗抵赖、可检查(提供审计日志等追踪手段)、真实(对主体或资源身份的确定)等。
可移植
测试:适应(在不同环境下的适应能力)、易安装、易替换(用该软件替换其他软件或进行版本升级的容易程度)。
在实际测试中,产品说明中确定声称的任何质量标准都必须测试,同时还要测试那些虽未声称但符合用户合理期待的隐含需求。
四、测试文档和过程要求
测试活动本身需要按照规定的文档和流程:
测试计划:确定测试范围、方法、资源、进度和测试环境。
测试说明:包含详细的测试用例(给出输入、预期结果)和测试规程(具体的执行步骤顺序)。
测试报告:记录所有测试结果,给出通过/失败的决定,并对未通过项进行解释说明。
测试环境:必须和产品说明中宣称的适用运行环境一致。
包括程度:测试用例必须包括产品说明中所有可证实的陈述、用户文档中所有操作描述,以及上述全部质量特性要求。
五、符合性评价要求
决定软件是不是满足本标准的原则非常严格:
全通过原则:所有测试用例必须全部执行完毕并全部通过,不允许有任何一项失败或未执行的情况。
无不合格项:产品说明、用户文档集和软件质量特性三个部分,都不得存在任何不符合标准要求的项目。
整改和复测:只要发现一个不符合项,该软件就不能被评价为符合本标准,供方必须对问题进行整改,然后重新提交全部测试,不能仅对不合格项进行补测。
提示
GB/T 25000.51 只测试产品本身的质量和文档质量,不评价开发过程。
测评前一般需要供方先提供完整的《产品说明》和《用户文档集》,并固定软件版本号共同作为测试根据和对象。
该标准特别适用于商业软件、定制开发中的可复用组件等就绪可用软件产品的第三方检测、甲方验收等场景。