B3.19.3Detection Probability Assumption设计研究

递减收益的估算假设各评估者独立且发现概率相同,实际条件很少满足

别名: 发现概率 · 独立假设 · 人数估算

概念解释

常见人数估算把每个问题当作有固定发现概率、每位评估者独立采样。但发现概率(detection probability)随问题显著度、任务剧本、清单条目和评估者背景变化;先讨论、共享模板或同质团队会破坏独立性。

机制

显著异常可能被多数人发现,权限、并发、跨页状态或领域违规只有特定背景者看见;同一评估者对某些区域系统性强、对另一些系统性弱。经验、培训和说服会相关化评估结果。因此简单公式可以启发人数,不能当作覆盖率的精确预测。

怎么研究

报告估算时应说明假设、界面范围、任务剧本和评估者构成。用经验数据估计不同问题类别的发现率,而不是一个全局概率;分析重合矩阵和分层覆盖率。敏感性分析可显示人数结论对概率假设的依赖。

边界

这不意味着估算无用。粗模型仍有助于比较“2 人 vs 5 人”的期望增量。只是不能把曲线外推为全部问题数,也不能用同一概率评价显著错误与领域专属错误。

怎么落地

  • 不用单一覆盖率承诺;报告“已发现问题、重合度和未覆盖区域”。
  • 按严重度和领域类别分层招募评估者,而不是假设每人发现所有类别概率相同。
  • 保持独立任务、独立记录和独立严重度初评,再汇总。
  • 结合日志、用户测试和线上监测补充启发式评估的长尾。

延伸

  • 同组B3.19.1 单个评估者只能发现全部问题的一小部分,且个体之间差异很大 · B3.19.2 发现总数随评估者增加呈递减收益,通常三到五人后增量明显变小 · B3.19.4 评估者之间重合度低说明问题空间大,需要更多人而不是说明评估质量差 · B3.19.5 必须先独立评估再汇总,先讨论会抹掉独立性并使人数效应失真
  • 相邻Q4 研究方法与评估 · Q2 可用性评估
  • 站内检索detection probability · coverage estimate · independence assumption

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/B3.19.3