DuetUI：面向任务导向接口的人机协同生成双向上下文循环

文献标题

DuetUI: A Bidirectional Context Loop for Human-Agent Co-Generation of Task-Oriented Interfaces

出版信息

• 主题领域: 面向任务的界面生成中的人机协作
• 关键词: 人机协同生成、双向上下文循环、面向任务的界面、大型语言模型、用户界面生成、人机交互、混合主动系统、终端用户开发、任务自动化、界面可用性

背景与问题

• 问题/挑战: 现有的任务自动化系统，包括那些由大型语言模型（LLMs）驱动的系统，在处理复杂的多步骤工作流时存在困难，其原因在于用户意图与代理行为之间的差距。当前的范式要么过于以代理为中心，要么要求用户适应僵化的工作流，从而限制了人机协作的流畅性。
• 重要性: 解决这些挑战可以提高现实世界中多步骤任务的效率、可用性和用户满意度，使人工智能系统对非专业用户更加易用和高效。
• 动机与相关工作: 任务自动化和用户界面生成的相关研究已经从直接操作发展到完全自动化以及人类参与的循环方法。然而，这些范式未能动态地将用户意图与代理行为充分整合。本文基于终端用户开发和混合主动系统等概念，提出了一种新的协作范式。

解决方案

• 提出的方法: DuetUI，一个体现人机协同生成范式的系统，通过双向上下文循环实现。代理将任务分解为界面框架，而用户交互则指导后续的代理行为。
• 创新点:
  1. 引入了具有双向上下文循环的人机协同生成范式。
  2. 开发了DuetUI系统，该系统集成了任务分解与用户驱动的界面操作。
  3. 通过实证评估展示了任务效率、可用性和协作性的提升。
• 过程与关键技术:
  • DuetUI将交互分为六个阶段：定义（Define）、共情（Empathize）、规划（Plan）、探索（Explore）、优化（Refine）和协作（Duet）。
  • 功能包括分阶段协同生成（Staged Co-Generation）、可操作代理（Tangible Agency，可操作的UI组件）、任务-界面二元性（Task-Interface Duality，任务与UI的语义对齐）以及双向操作历史（Bidirectional Action History，用户与代理行为的共享日志）。
  • 通过三层架构（核心层、上下文层、代理层）实现双向上下文循环。

结果

• 具体发现:
  • 在自动化评估中，DuetUI的加权F1得分为0.508，优于基线系统。
  • 用户研究结果显示，DuetUI在可用性（SUS: 73.65 vs. 63.47）、任务满意度（3.7 vs. 3.25）、界面满意度（3.96 vs. 3.54）和AI满意度（3.84 vs. 3.44）方面均高于基线系统。
  • 参与者与DuetUI的界面组件交互更频繁（每任务6.6次交互 vs. 基线的1.2次）。
• 相较基线的优势:
  • DuetUI在任务效率、可用性和用户意图对齐方面优于基线系统。
  • 实现了迭代、动态的协作，减少了用户对文本提示的依赖。
• 实验/评估:
  • 进行了技术消融研究，比较了带有和不带双向循环的DuetUI。
  • 通过24名参与者的用户研究，将DuetUI与基线系统（Stitch）在10个现实任务中进行比较。
  • 评估指标包括SUS、NASA-TLX和满意度评分，以及定性反馈。
• 局限性与未来工作:
  • 由于生成的附加元素，自动化评估的精度有所降低。
  • 样本量较小且依赖于模拟的外部服务，限制了研究的普适性。
  • 未来工作包括开发自适应控制机制、更丰富的上下文理解，以及在持久用户档案支持下的真实环境部署。

总结

DuetUI引入了一种新的人机协同生成范式，通过双向上下文循环实现动态协作。与基线方法相比，该系统在任务效率、可用性和用户满意度方面表现出显著提升。通过整合显性和隐性用户输入，DuetUI弥合了用户意图与代理行为之间的差距，促进了流畅的合作伙伴关系。尽管该方法展现了潜力，但仍需进一步研究以解决精度、可扩展性和实际应用中的局限性。