Q1.08.1Conditions of qualitative discovery-rate heuristics研究
定性发现率的经验法则有严格前提
别名: 问题发现率 · 定性样本量 · diminishing returns
概念解释
定性发现率经验法则(qualitative discovery-rate heuristic)描述在重复测试相近任务、参与者较同质、目标是发现较常见问题时,新增参与者带来的新问题数往往递减。它可帮助规划迭代轮次,却不是“若干人即可代表所有用户”的普遍样本量定律。访谈主题、罕见风险、跨群体差异和理论建构有不同的信息目标,不能套用同一发现曲线。
机制
若每个参与者独立遇到某问题的概率近似稳定,常见问题会在前几次观察中快速出现,未发现部分逐渐由低概率或条件性问题组成。但真实问题并不独立:任务顺序、主持方式、学习、产品版本和用户能力会共同改变暴露机会。研究者合并问题的粒度也影响“新发现”计数。因此递减曲线既反映现象频率,也反映研究设计和编码规则。
怎么研究
在研究前定义何谓独立问题、何谓重复发现,以及每位参与者是否完成同一任务。按访谈顺序绘制累计发现曲线,并通过多种随机顺序或自助抽样检查曲线对先后顺序的敏感性。分别报告严重度与频率,不让大量轻微问题遮蔽晚出现的高后果问题。停止条件可结合连续若干场无高优先级新发现、关键任务已覆盖和仍未覆盖群体,而不是只看总人数。
边界
经验发现率最适合形成性可用性问题发现,不等同于访谈饱和、总体比例估计或安全论证。参与者异质、任务分支多、每人只执行部分任务时,发现机会并不相同。稀有但严重的问题可能永远不符合递减停止条件,需要危害分析、日志或专家方法补充。重复迭代设计时,旧曲线也不能直接预测新版本。