Q5.04.2pre-development Wizard of Oz设计研究

可在开发前验证交互假设

别名: 开发前 WOZ · 交互假设预验证 · Wizard of Oz before build

概念解释

Wizard of Oz 的研究价值在于:交互假设可以在工程能力尚未就绪时被证实或推翻。假设通常长这样——“用户会用一句话完成预订”“看到不确定的推荐仍会继续”“生成草稿会降低而不是增加编辑负担”。这些假设关于人怎么与能力相处,不关于模型准确率本身。在写识别、训练数据或后端之前用扮演来测,失败的是交互设想,而不是已经沉没的开发成本。

机制

交互假设一旦进入开发,会被实现细节保护起来:团队会把失败解释成“模型还没训好”,而不是“这个对话结构就不该存在”。前置扮演把能力当成可开关的服务,于是可以单独操纵话轮设计、确认方式、失败可见性和控制权分配。若在扮演条件下假设仍失败——人不愿说那种句子、不信任那种推荐、无法编辑那种草稿——继续开发该能力不会自动修好交互。反之,扮演成功只说明交互在理想能力下成立,仍要在真实模型上复验;它排除的是“交互本身走不通”,不是“模型一定够用”。

怎么研究

把假设写成可观察的人侧行为:特定句式是否出现、在何种提示后出现、失败后是否换策略。Wizard of Oz 条件提供上限能力,再设对照:降低能力(强制识别错误、拒绝某些请求)看假设是否仍成立。Kelley 的早期语音系统工作就是先测对话结构,再决定把工程资源投向哪类识别。分析单位是交互片段,不是模型指标。开发里程碑应设“假设被推翻则停建该交互”,否则扮演结果进不了决策。

边界

有些假设本来就是模型假设(“在我们的声学条件下词错误率能否低于某阈值”),Wizard of Oz 回答不了,需要语料和离线评测。组织若已经承诺交付某能力,前置否定会被忽略,方法就失去决策功能。对需要数周适应的工作实践,单场扮演只能测初次遭遇,不能测稳定使用。伦理上,若假设涉及欺骗或高风险建议,即使是扮演也要按真实伤害潜力审查。

怎么落地

  • 在立项材料里把交互假设与模型假设分成两列,前者走 Wizard of Oz,后者走离线评测。
  • 为每个交互假设预先写“何种观察算推翻”,扮演前冻结,避免事后改口。
  • 扮演成功不排期开发收尾;排期的是“用真实能力复验同一假设”。
  • 推翻后的产物是改交互或取消该能力,而不是“先做出来再看”。

延伸

  • 同组Q5.04.1 人工扮演尚未实现的系统能力 · Q5.04.3 人的响应速度与一致性优于真实系统,需校正
  • 相邻Q1.02 探索性与验证性 · Q5.03 可交互原型
  • 站内检索pre-development Wizard of Oz · interaction hypothesis · WOZ evaluation

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q5.04.2