探索巫师之路：人机交互中Oz方法的系统综述

文献标题

Mapping the Wizards' Path: A Systematic Review of Wizard-of-Oz in HCI

出版信息

• 主题领域: 人机交互（HCI）领域中巫师操作法（Wizard-of-Oz，WoZ）实践的系统性综述。
• 关键词: 巫师操作法，HCI，原型设计，交互设计，系统性综述，SIGCHI，大语言模型，自动化，用户研究，方法学问题。

背景与问题

• 问题/挑战: 尽管巫师操作法（WoZ）在HCI领域已被长期使用，但关于其应用、动机和方法学问题的反思仍然分散且领域特定，缺乏全面的综合分析。
• 重要性: 系统性理解WoZ对于明确其在未来交互原型设计中的演变角色至关重要，尤其是在自动化和像大语言模型（LLMs）这样的先进技术模糊了模拟与实现之间界限的情况下。
• 动机与相关工作: 早期关于WoZ的研究主要集中在自然语言界面和机器人领域，有限的综述如Riek在人机交互（HRI）领域的调查。然而，这些综述已过时，范围狭窄，未能涵盖WoZ在当代HCI中的广泛应用。本文旨在通过系统性综述1988年至2025年间SIGCHI会议中的WoZ实践来填补这一空白。

解决方案

• 提出的方法: 对HCI领域的194篇WoZ研究进行系统性文献综述，识别应用领域、巫师控制类型、动机和方法学问题，并提出一个互惠演化框架以将WoZ的角色置于原型设计的背景中。
• 创新点:
  1. 首次对HCI领域中的WoZ进行大规模系统性综述，涵盖1988年至2025年间SIGCHI会议的194篇论文。
  2. 识别十个应用领域、五种巫师控制类型、八种动机和五类问题。
  3. 引入一个互惠演化框架，解释WoZ与技术如何共同演化。
  4. 将WoZ置于基于LLM的原型设计背景中，强调新兴的协同使用模式。
• 流程与关键技术:
  • 使用ACM数字图书馆和PRISMA方法学开发系统性文献集，共纳入194篇论文。
  • 通过演绎和归纳编码分类应用领域、控制类型、动机和问题。
  • 分析WoZ-LLM整合的趋势、方法学权衡及新兴模式。

结果

• 具体发现:
  • WoZ已被应用于十个领域，包括工作与创造力支持（27.8%）、人机交互（HRI，18.0%）以及XR/VR/AR（11.9%）。
  • 识别五种巫师控制类型：通信控制（55.2%）、系统逻辑控制（48.5%）、体现与环境行动控制（47.9%）、预设内容控制（36.6%）以及巫师协作与调解（16.0%）。
  • 使用WoZ的八种动机：技术限制（45.9%）、与先前工作一致（16.5%）、适应性灵活性（14.4%）、心理现实性（12.9%）、控制混杂变量（12.4%）、成本效率（12.4%）、安全与伦理约束（5.2%）以及基准测试（3.6%）。
  • WoZ的五个问题：时间和性能限制（13.4%）、巫师的变异性与偏差（8.2%）、生态效度（7.2%）、欺骗与伦理（2.6%）以及透明性与可重复性（1.0%）。
• 相较基线的优势: 该综述整合了分散的知识，提供了WoZ实践的全面地图，并提出了一个新的框架来理解其在先进技术（如LLMs）背景下的演变角色。
• 实验/评估: 基于系统性开发的194篇论文文献集进行分析，通过评估员间可靠性（IRR）指标确保编码可靠性（如领域=0.89，控制类型=0.81）。
• 局限性与未来工作:
  • 可能遗漏使用其他术语描述WoZ的研究。
  • 仅限于SIGCHI会议，可能错过邻近领域的洞见。
  • WoZ-LLM协同使用模式样本量较小（N = 13），需进一步验证。
  • 未来工作包括扩展文献集并优化互惠演化框架以适应AGI时代的背景。

总结

本文首次对HCI领域中的巫师操作法（WoZ）实践进行了系统性综述，分析了1988年至2025年间SIGCHI会议的194篇论文。研究识别了十个应用领域、五种巫师控制类型、八种动机和五类方法学问题，提供了WoZ实践的全面地图。提出的互惠演化框架解释了WoZ与技术如何共同演化，随着技术能力的提升，WoZ逐渐转向模拟新的可能行为。研究还探讨了新兴的WoZ-LLM协同使用模式，强调了互补角色与挑战。这些发现为严格且负责任地使用WoZ提供了可操作的指导，支持其在未来交互原型设计中的持续相关性。