与智能体一起烹饪：设计上下文感知的语音交互

文献标题

Cooking With Agents: Designing Context-aware Voice Interaction for Complex Tasks

文献信息

• 主题领域: 人机交互，特别是语音助手在复杂任务中的交互设计与实现。
• 关键词: 语音界面, 会话用户界面, 烹饪, 会话分析, 任务复杂性, 上下文感知, 智能语音助手, 用户体验, 人工智能, 人机对话

研究背景与问题

• 问题与挑战:

  1. 当前语音助手（VAs）的对话能力有限，尤其无法适应多轮对话和用户社交行为。
  2. VAs 对上下文的感知不足，导致信息不相关、请求误解或信息过载的问题，尤其是在需要时间和空间协调的复杂任务（如烹饪）中表现尤为突出。
  3. 如何设计上下文感知的 VA 来更好地支持用户完成复杂且时间敏感的任务尚未得到充分研究。

• 重要性:

  • 烹饪作为一个典型的复杂任务，对用户和智能助手的互动提出了高要求。通过研究语音助手在此类任务中的表现，可以拓展其应用场景并改进用户体验。

• 研究动机与相关工作:

  1. 当前研究集中在简单任务（如播放音乐、查信息）或特定领域的对话模式，但较少探讨 VAs 在复杂任务中的上下文感知设计。
  2. 在烹饪场景下，研究表明用户更依赖音频输出，但当前语音助手的限制显著影响了连续对话和任务支持的流畅性。
  3. 最近生成式 AI 模型和大语言模型（LLMs）的发展为上下文感知和记忆能力提供了技术支持，但具体实现和用户互动设计仍需要更多实践和验证。

解决方案

• 方法与解决方案:

  1. 初步研究：通过使用 Google Assistant（GA）的用户测试，分析当前商业智能语音助手在烹饪场景中的限制（如上下文对齐问题）。
  2. 改进实验：设计了一个上下文感知的 VA 系统，并通过 Wizard-of-Oz 方法模拟系统的反应，观察用户交互的变化。
  3. 设计改进点：
     • 共享任务词汇：基于食谱文本，对任务中的对象和动作进行语义匹配。
     • 任务状态追踪：模拟 VA 能够理解任务的当前状态并提供针对性的反馈。
     • 主动建议：探索 VA 提供与任务相关且适时的建议如何影响用户体验。

• 创新之处:

  • 将上下文感知功能与语音助手的对话能力结合，探索用户在多轮对话中的行为模式和交互简化效果。
  • 开发了共享上下文的虚拟互动模型，并生成了可供观察的实验数据。

• 实施步骤与关键技术:

  1. 在第一阶段（商业语音助手测试）中，记录用户与 Google Assistant 的实际交互。
  2. 在第二阶段，构建上下文感知的“虚拟助手”实验环境，并通过手动控制（Wizard of Oz）模拟具有上下文感知能力的对话。
  3. 分析用户在交互中的语言复杂性、查阅效率以及与助手的社会互动行为。

研究成果

• 具体成果:

  1. 上下文感知对话改进：上下文感知的 VA 能显著降低用户在查询或确认信息时的对话复杂性和努力程度。
  2. 用户行为模式：用户与上下文感知 VA 的对话更加复杂和自然，包括更多基于共享上下文的查询和对任务状态的明确确认。
  3. 主动性实验：针对时间敏感任务（如定时器设置），上下文感知的主动性功能可以在任务完成效率和用户自主性之间取得平衡。

• 与现有解决方案的比较:

  • 与 Google Assistant 等商业化语音助手相比，上下文感知 VA 显著提升了对复杂任务支持的相关性和响应性。
  • 用户更倾向于在上下文感知系统中进行语义丰富的、多步骤的交互，而不是使用单一关键词命令。

• 实验或评估结果:

  • 经 16 次 Wizard-of-Oz 测试，用户与上下文感知 VA 的互动平均完成时间为 30 分钟，且整体任务完成效率有所提升。
  • 视频和语料分析表明，用户表达了较高的交流主动性，且显著减少了修复性对话（如重复指令）。

• 局限性与未来方向:

  1. 局限性:
     • 实验中模拟的“上下文感知”能力是由人工操作完成，尚未完全自动化。
     • 系统的主动性设计在某些情况下可能导致用户分心或干扰。
  2. 未来研究:
     • 探讨如何更有效地利用多模态大语言模型（如 GPT-4/Vision）提升语音助手的上下文理解能力。
     • 设计更加平衡用户个人意图（如播放音乐）与具体任务需求的交互模型。
     • 深入研究用户如何在多任务场景下管理和切换对语音助手的上下文约束。

总结

本研究通过对上下文感知 VA 的分析和实验，展示了在复杂任务（如烹饪场景）中相较于商业语音助手的改进潜力。研究同时为人机对话设计提供了理论与实践依据，强调了任务上下文对用户体验优化的重要意义。