为我做 vs. 与我一起做：研究功能丰富的软件副驾中不同自动化范式用户感知

研究背景与问题

• 发现的问题或挑战: 用户在使用基于大型语言模型（LLM）的软件助手（如 "copilots"）时遇到显著挑战，包括系统对于用户意图的误解、输出结果偏离期望、以及任务学习和功能探索能力有限。完全自动化助手（“Do It For Me”）会在帮助完成简单任务时缺少透明性，使用户无法学习软件功能。此外，对于富含功能的软件，用户往往偏好通过“学习中实践”来熟悉新功能，但完全自动化忽略了这一需求。

• 重要性: 在帮助用户完成复杂任务的同时，学习软件功能和保持对任务的控制至关重要。这不仅提高用户生产力，还能增强用户的自主性和对软件的投入度。设计能够实现这些目标的辅助系统对于改进人机交互和提升用户体验具有关键意义。

• 研究动机与相关工作: HCI和AI社区一直在探索如何优化基于LLM的助手，但现有系统通常聚焦于技术改进，而未充分考虑用户体验和交互需求。许多研究表明，逐步指导、图形界面视觉参考和适应性的帮助策略能显著提高用户任务完成率、学习效果和信任度。本研究的主要动机是在“完全自动化”（Do It For Me）和“半自动化指导”（Do It With Me）两种设计范式之间探索最佳平衡。

解决方案

• 提出的方法或解决方案: 作者开发了两个不同的AI助手原型：1) AutoCopilot（完全自动化助手），根据用户输入完成整个任务；2) GuidedCopilot（半自动化助手），结合逐步指导、视觉支持以及对重复性任务的自动化。

• 创新之处:

  1. GuidedCopilot通过半自动化仅处理简单任务，并提供逐步的视觉指导，从而平衡用户控制和自动化。
  2. 后续设计探索中引入增强特性，如任务与状态感知的预览剪辑（GuidedCopilotVisual）和自适应的混合媒体指导（GuidedCopilotADP），提升个性化交互和实时适应性。

• 实施步骤与关键技术:

  1. 设计了两种助手系统：
     • AutoCopilot依据用户查询完全自动化处理任务。
     • GuidedCopilot通过用户触发逐步自动化并提供视觉参考指引，如UI元素图示。
  2. 开发结构化组件包括：
     • 文本和视觉存储模块：基于NLP和检索增强生成（GraphRAG）动态生成步骤。
     • 自动化功能模块：实现Google Sheets中AppScript脚本和Figma中的JavaScript功能。
     • 用户界面设计：结合LLM生成的文本指引和视觉图示输出。
  3. 后续改进：
     • GuidedCopilotVisual在任务进度中集成上下文特定的预览视频。
     • GuidedCopilotADP根据用户任务完成情况动态调整指导步骤。

研究成果

• 具体成果:

  1. 用户调查与实验​​:
     • 使用20位用户对两种助手进行对比实验（Google Sheets与Figma任务）。结果显示GuidedCopilot在任务完成率（88.5%对35.0%）和准确性（82.0%对12.0%）方面显著优于AutoCopilot。
     • 后续设计扩展研究（10名参与者）表明，在Photoshop中引入的GuidedCopilotVisual与GuidedCopilotADP特性进一步提升了用户对任务完成的支持和适配能力。
  2. 用户反馈:
     • GuidedCopilot提供的逐步指导和视觉参考增强了控制感，更有利于学习软件功能。
     • AutoCopilot的全自动化在处理简单重复性任务时节省了时间，但在复杂或创造性任务中效果较差。

• 与现有解决方案的优势:

  1. 半自动化与逐步指导可在不牺牲用户控制的情况下完成复杂任务。
  2. 引入动态可适应的用户指导，解决了现有AI助手对学习和控制支持不足的问题。

• 实验或评估结果:

  • 实验数据显示GuidedCopilot在用户学习效果、生产力提升和复杂任务支持方面更具优势。

• 局限性与未来方向:

  1. 研究的应用范围主要局限于Google Sheets和Figma，未来需验证在更多富功能软件中的效果。
  2. 对完全自动化助手中缺乏透明性和解释能力的问题需要进一步研究，例如结合可解释AI（XAI）以增进对决策过程的理解。
  3. 探讨长期使用情境中，用户熟练度提高后对不同水平自动化助手的需求变化。

总结

本研究通过实证调查和用户测试，深入比较了完全自动化和半自动化这两种设计范式在富功能软件环境中的优劣，为设计更高效、可控和用户友好的AI助手提供了宝贵方向。作者建议未来助手应根据用户技能水平与任务复杂性调整自动化与用户学习间的平衡，同时利用动态可视化指导和适应性设计进一步提升人机协作效率和用户体验。