软件测评常见误区
很多甲方都会遇到的问题
一、需求和目的
误区一 需求不清就启动测评。甲方没有确定测评范围、验收标准和质量标准,测评机构只能按通用模板执行,报告难以支撑验收。
误区二 验收标准模糊。合同写功能完整、性能良好、安全可靠,却没有量化标准,无法决定是不是达标。
误区三 混淆测试、测评和认证。把内部测试、第三方测评、产品认证当成同一件事,目的和证据要求不一致。
误区四 把测评当唯一质量步骤。缺少单元测试、集成测试、系统测试和验收测试的过程控制。
误区五 把测评当质量保证。测评只能发现和考虑问题,不能替代开发方的质量责任,也不能保证软件没有缺陷。
误区六 认为通过测评就没有风险。测评受范围、环境、版本和时间限制,通过只代表在约定条件下达到要求。
二、机构和合同
误区七 只选低价。低价常伴随用例少、周期短、人员弱,漏测风险高,后续修复和返工成本更大。
误区八 不检查机构能力。只看名气、关系或价格,不核对测评资质、行业经验、人员能力和工具方法。
误区九 不考虑利益冲突。测评机构和开发方存在关联,独立性不足。
误区十 合同交付物不清。未确定测试计划、用例、缺陷记录、原始数据、报告版本和复测结果。
误区十一 不预留修复和复测预算。只预算首次测评,修复和复测费用没有安排,项目停留在验收阶段。
误区十二 忽略保密和知识产权。重要数据、源码、账号随意提供,合同缺少保密、访问控制和销毁条款。
误区十三 双方责任不清。甲方不确定需求,开发方不修复,测评方不解释,出现问题互相推诿。
三、过程和独立性
误区十四 测评启动太晚。上线前才安排测评,缺陷修复时间不足,项目容易延期或留下遗留风险。
误区十五 甲方不参与过程。不派业务专家,不确定用例,不参加评审,测评容易偏离真实业务。
误区十六 不提供真实环境和数据。环境简化,数据不完整,结果和生产实际差距大。
误区十七 不审查测评方案和用例。方案和业务不一致,用例包括不足,执行过程缺少监督。
误区十八 让测评机构参与开发或修缺陷。测评和开发边界不清,独立性受损,报告公信力下降。
误区十九 干预测评结果。要求隐藏缺陷、修改结果、只出通过报告,会带来法律、合规和声誉风险。
误区二十 压缩测评周期。要求几天完成几周工作量,抽样不足,深度不够,结果不可靠。
误区二十一 接受开发方自测报告代替第三方测评。缺少独立证实,利益冲突和遗漏难以发现。
四、范围和深度
误区二十二 只测功能。忽略性能、安全、兼容性、易用性、可靠性、可维护性和数据迁移。
误区二十三 忽略真实用户情形。异常流程、并发、边界、断网、权限变化等没有包括。
误区二十四 只数缺陷数量。不看缺陷严重程度、业务影响和修复优先级,重点风险可能被忽略。
误区二十五 不要求可追溯。需求、用例、缺陷、报告之间没有对应关系,无法判断包括和遗漏。
五、报告和验收
误区二十六 把报告当免责工具。有第三方报告不等于甲方无责任,需求错误和管理缺失仍可能由甲方承担。
误区二十七 只看结果不看根据。不重视测评范围、方法、环境、限制和遗留风险。
误区二十八 过度使用测评报告宣传。报告只针对特定版本、范围和环境,宣传成全面认证会误导客户和监管方。
误区二十九 不跟踪缺陷修复和复测。报告交付后无人处理,问题留在生产环境。
误区三十 忽略变更管理。测评后软件发生变更,没有重新考虑或补充测评,原报告失去效力。
甲方要减少这些误区,应在测评前确定目的和标准,选择独立且一致的机构,参与方案和用例评审,提供真实环境,约定交付物和保密条款,跟踪缺陷修复和复测,并正确理解报告适用范围。