B3.19.1Evaluator Effect设计研究

单个评估者只能发现全部问题的一小部分,且个体之间差异很大

别名: 评估者效应 · 启发式评估 · 个体差异

概念解释

评估者效应(evaluator effect)指启发式评估的发现高度依赖个人:同一界面、同一清单下,不同评估者找到的问题集合常只有部分重合。任何单人报告都应视为样本,不是全部问题清单。

机制

发现受领域知识、平台经验、注意路径、对清单的解释、任务剧本和疲劳影响。专家可能更敏锐地看到业务语义或平台冲突,但也会跳过自己认为不重要的区域;新手可能发现表面可用性缺口却漏掉权限与数据后果。界面问题空间通常远大于单次注意可覆盖范围。

怎么研究

让多名评估者独立检查同一产品,记录每人发现的问题、时间、使用的条目和界面区域。合并后计算个体发现率、成对重合度、独特发现数和按严重度分布的覆盖率。比较不同经验、清单和任务剧本可解释差异来源。

边界

差异不是错误。有些独特发现是真问题,有些是误报、重复或偏好;需要验证而非平均。若产品小、任务窄、评估者背景高度重合,差异可能较小。单人快速走查仍可用于早期发现,但不能宣称完整。

怎么落地

  • 早期单人走查后标注“单人发现,未验证”,随后安排独立复审。
  • 组建背景互补的小组:领域、平台、无障碍、内容或工程经验至少覆盖两类。
  • 给评估者相同任务剧本与问题模板,但要求独立完成后再汇总。
  • 用合并集合评估界面,而不是以某一人的发现为基准。

延伸

  • 同组B3.19.2 发现总数随评估者增加呈递减收益,通常三到五人后增量明显变小 · B3.19.3 递减收益的估算假设各评估者独立且发现概率相同,实际条件很少满足 · B3.19.4 评估者之间重合度低说明问题空间大,需要更多人而不是说明评估质量差 · B3.19.5 必须先独立评估再汇总,先讨论会抹掉独立性并使人数效应失真
  • 相邻Q2 可用性评估 · Q4 研究方法与评估
  • 站内检索evaluator effect · heuristic evaluation · individual differences

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/B3.19.1