B3.19.5Independent Evaluation设计

必须先独立评估再汇总,先讨论会抹掉独立性并使人数效应失真

别名: 独立评估 · 汇总流程 · 锚定效应

概念解释

多评估者流程应先各自检查、记录问题和严重度初评,再统一去重和讨论。若先开会或共享初步发现,后来者会被锚定(anchoring),重合度被人为抬高,新增人数看起来收益更大,实际独立覆盖并未增加。

机制

口头发现、共享文档和群聊都会泄漏注意方向。先讨论后,评估者会把注意力转向已知问题,减少探索自己的路径;报告措辞也可能合并不同缺陷。独立初评保留每人的搜索策略与解释,使团队能测量互补性和真实覆盖。

边界

独立不等于禁止统一训练。评估者可以使用相同任务剧本、问题模板和清单解释,但不得交换发现。紧急评审可以快速并行后立刻汇总;不需要为了流程完整性延迟高危修复。

怎么落地

  • 每位评估者在密封文档或独立会话中记录问题、位置、证据和严重度初评。
  • 全部提交后由协调者去重、合并并生成矩阵,再召开讨论会。
  • 讨论先确认事实与严重度,再补标签和修复方向;记录被否决的发现。
  • 对比独立阶段与讨论阶段的新增/删除,检查是否存在过度锚定。

延伸

  • 同组B3.19.1 单个评估者只能发现全部问题的一小部分,且个体之间差异很大 · B3.19.2 发现总数随评估者增加呈递减收益,通常三到五人后增量明显变小 · B3.19.3 递减收益的估算假设各评估者独立且发现概率相同,实际条件很少满足 · B3.19.4 评估者之间重合度低说明问题空间大,需要更多人而不是说明评估质量差
  • 相邻Q2 可用性评估 · Q4 研究方法与评估
  • 站内检索independent evaluation · aggregation bias · anchoring effect

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/B3.19.5