Q2.10.3Complementarity of expert review and user testing设计研究
不能替代真实用户测试
别名: 专家预测 · 用户验证 · 方法互补
概念解释
专家评审产生基于知识的风险预测,用户测试观察目标参与者在任务中的实际表现;两者是互补证据(complementary evidence)。专家清单不能替代用户的目标形成、误解、变通和情绪资料,用户小样本也不能替代专家对罕见危害与专业规则的判断。
机制
两种方法访问不同信息源:专家依赖模式库与规范推理,用户带来真实知识、动机和限制。预测可能误报,观察又只覆盖被触发状态。将二者串联可用专家评审清理明显问题,再让用户时间集中在剩余未知;顺序也可能隐藏已被提前修复的问题,报告应保留来源。
怎么研究
建立专家问题与用户事件的对应矩阵,区分双方共同、专家独有、用户独有和未触发项。比较修复前后需保留版本记录。对高后果但用户样本未触发的问题,使用专项任务、危害分析或更广证据,而不是宣告不存在。
边界
早期低保真阶段可能暂时只有专家评审,时间紧也可先处理明显问题;这是一种阶段选择,不是替代有效性的证明。若目标是标准符合性而非使用表现,专家证据可能已足够。真实用户测试本身也可能因错误样本和任务失效。
怎么落地
- 先按决策主张标明需要专家、用户或两类证据。
- 保留问题来源,不把专家预测改写成用户发现。
- 用用户任务验证影响理解和行为的高优先建议。
- 对专家与用户冲突项定位人群、状态和后果差异后再决策。