B3.19.1Evaluator Effect设计研究
单个评估者只能发现全部问题的一小部分,且个体之间差异很大
别名: 评估者效应 · 启发式评估 · 个体差异
概念解释
评估者效应(evaluator effect)指启发式评估的发现高度依赖个人:同一界面、同一清单下,不同评估者找到的问题集合常只有部分重合。任何单人报告都应视为样本,不是全部问题清单。
机制
发现受领域知识、平台经验、注意路径、对清单的解释、任务剧本和疲劳影响。专家可能更敏锐地看到业务语义或平台冲突,但也会跳过自己认为不重要的区域;新手可能发现表面可用性缺口却漏掉权限与数据后果。界面问题空间通常远大于单次注意可覆盖范围。
怎么研究
让多名评估者独立检查同一产品,记录每人发现的问题、时间、使用的条目和界面区域。合并后计算个体发现率、成对重合度、独特发现数和按严重度分布的覆盖率。比较不同经验、清单和任务剧本可解释差异来源。
边界
差异不是错误。有些独特发现是真问题,有些是误报、重复或偏好;需要验证而非平均。若产品小、任务窄、评估者背景高度重合,差异可能较小。单人快速走查仍可用于早期发现,但不能宣称完整。
怎么落地
- 早期单人走查后标注“单人发现,未验证”,随后安排独立复审。
- 组建背景互补的小组:领域、平台、无障碍、内容或工程经验至少覆盖两类。
- 给评估者相同任务剧本与问题模板,但要求独立完成后再汇总。
- 用合并集合评估界面,而不是以某一人的发现为基准。