B5.02.1Effectiveness设计研究
有效性关心是否完成
别名: 有效性 · 任务完成率 · 错误率
概念解释
有效性(effectiveness)回答的是二值问题加质量追问:目标用户能否在目标情境下完成任务,完成得对不对——完成率、出错次数、错误严重度、完成后的结果质量。它不问花了多久、也不问感受,只问「事情做成了没有」。
机制
有效性由任务成功判据决定:判据定义越精确,测量越稳定。「完成任务」必须细化为可核对的结果状态——订单提交且金额正确、文档保存且格式无误——否则完成率无法判定。错误分层的意义在于恢复成本不同:可当场撤销的错误与导致数据丢失的错误不应计入同一栏。
怎么研究
测量以任务为单位:预定义成功判据与错误编码表,观察或记录用户执行过程,统计首试完成率、最终完成率、每任务错误数与未恢复错误数。报告需区分「最终完成」与「无协助完成」,二者对设计的含义不同。错误编码表应区分操作错误、理解错误与系统故障,归因不同则改进方向不同。
边界
有效性不反映完成成本:100% 完成率可以伴随漫长的弯路与大量撤销。对容错性任务(如编辑文档),错误率的口径依赖任务定义;对一次性任务(如支付),未恢复错误才有决定意义。成功判据由研究者设定,判据偏差会直接制造「高完成率」假象。
怎么落地
- 为每条核心任务写明成功判据与错误编码,再开始测试。
- 版本验收以「无协助完成率」为主指标,为它设定明确阈值。
- 上线后用漏斗数据核对实验室结果,找出实验室测不到的中途放弃点。