「你在做什么？」：代理型LLM车载助手在多步骤处理中的中间反馈效果研究

文献标题

'What Are You Doing?': Effects of Intermediate Feedback from Agentic LLM In-Car Assistants During Multi-Step Processing

出版信息

• 主题领域: 双任务情境中代理型人工智能系统的反馈设计，特别是车载助手。
• 关键词: 代理型人工智能、车载助手、反馈时机、基于LLM的系统、信任、用户体验、认知负荷、自适应反馈、双任务交互、人机交互。

背景与问题

• 问题/挑战: 当前的代理型人工智能系统在多步骤任务中缺乏反馈时机和详细程度的标准化原则。这在驾驶等双任务情境中，如何平衡透明度、信任和认知负荷方面带来了挑战。
• 重要性: 设计不佳的反馈可能导致用户挫败感、认知过载或信任下降，而沟通不足则会造成“模糊的沉默”，削弱用户对系统性能的信心。
• 动机与相关研究: 现有系统在反馈策略上差异很大，从静默操作到详细更新，但缺乏实证基础。此前研究强调了透明度、响应性和信任在人机交互中的重要性，但这些原则如何适用于具有延长处理时间的代理型系统仍不明确。

解决方案

• 提出的方法: 通过混合方法研究，探讨基于LLM的车载助手中间反馈的时机和详细程度的影响。
• 创新点:
  1. 提供实证证据表明中间反馈可改善感知速度、信任和用户体验，同时降低任务负荷。
  2. 确定用户对自适应反馈的偏好，该反馈会根据信任、任务重要性和情境进行调整。
  3. 提出关于双任务情境中反馈时机和详细程度的设计启示，并可能适用于其他领域。
• 研究过程与关键技术:
  • 在车载模拟环境中进行了一项控制用户研究（N=45）。
  • 比较两种反馈策略：无中间反馈（NI）与规划和结果反馈（PR）。
  • 测量感知速度、任务负荷、用户体验和信任，涵盖不同任务持续时间和交互情境（静止 vs. 驾驶）。
  • 结合定量结果与定性访谈，探索用户对自适应反馈的偏好。

结果

• 具体发现:
  • 中间反馈（PR）显著改善了感知速度（dz = 1.01）、用户体验（dz = 0.54）和信任（dz = 0.38），同时降低了任务负荷（dz = −0.26）。
  • PR反馈缓解了较长任务持续时间对感知速度的负面影响。
  • 任务负荷的降低主要由较低的挫败感驱动。
• 相较基线的优势:
  • PR反馈在所有指标上均优于NI反馈，包括响应性、认知负荷和信任。
  • 分步更新被认为比密集的最终响应更轻松。
• 实验/评估:
  • 定量研究：采用2×2×2因子设计，独立变量为反馈时机、任务持续时间、交互情境，依赖变量为感知速度、任务负荷、用户体验和信任。
  • 定性研究：访谈的主题分析揭示了基于信任、任务重要性和情境的自适应反馈偏好。
• 局限性与未来工作:
  • 研究在模拟驾驶环境中进行，限制了真实环境的普适性。
  • 反馈适应性通过定性评估，而非纵向行为数据。
  • 未来工作应探索自适应反馈策略、多模态反馈组合以及领域特定约束。

总结

本研究表明，中间反馈显著提升了基于LLM的车载助手的感知速度、信任和用户体验，同时降低了任务负荷。用户偏好自适应反馈，初始阶段高透明度以建立信任，随后在可靠性得到验证后减少详细程度，并根据任务重要性和情境进行调整。这些发现为双任务情境中的代理型系统设计原则提供了指导，并可能适用于其他需要延长多步骤处理的领域。