Q1.15.1Five-user rule in formative usability testing设计研究
五人法则源自可用性测试,套用到问卷或统计检验是误用
别名: 五人法则 · 小样本可用性测试 · 发现率模型
概念解释
“五人法则”是对形成性可用性测试(formative usability testing)中迭代发现问题的一种经验简化,不是所有用户研究的最低样本量。它不能回答比例、均值差、相关性或总体偏好;问卷与统计检验必须根据目标效应、精度、变异和分析模型规划。
机制
小轮测试的价值来自修复后再测:常见且易触发的问题可能被前几人重复暴露,继续测试的边际新发现下降。但“发现一个问题”与估计其发生率不同,且发现概率随任务覆盖、用户异质性、主持与严重度变化。固定五人隐含了均匀且独立的发现概率,现实很少满足。
怎么研究
形成性测试报告每轮任务、细分、问题定义和新增严重问题曲线;估计比例或效应时则做功效或精度分析,并纳入失访、聚类和多重比较。比较五人与更大样本时,应区分累计发现、严重度覆盖和频率估计误差,不能只报“发现了多少问题”。
边界
五人有时足以暴露关键障碍,也可能一项都没有发现;它既不是上限也不是质量认证。多个显著不同的用户群、任务或设备需要分别覆盖。探索性小样本可支持设计迭代,但不能因名称也叫“用户研究”就推广到问卷或假设检验。
怎么落地
- 先写明目标是发现问题、估计频率还是比较条件。
- 形成性测试用小轮迭代,并按新问题率与决策风险决定是否继续。
- 统计问题依据最小有意义效应或目标区间宽度计算样本,不引用五人经验。
- 报告未覆盖的用户、任务与环境,避免把“本轮无新问题”写成产品无问题。