设计反馈：理解并克服对话智能体中用户反馈障碍

文献标题

Feedback by Design: Understanding and Overcoming User Feedback Barriers in Conversational Agents

出版信息

• 主题领域: 通过设计和交互脚手架提升用户在会话代理中的反馈质量。
• 关键词: 会话代理、用户反馈、反馈障碍、人机交互、脚手架、反馈质量、设计需求、多轮任务、大型语言模型、交互设计。

背景与问题

• 问题/挑战: 用户对会话代理（CAs）的反馈通常稀疏、模糊且质量较低，限制了代理对齐用户目标和提升性能的能力。现有系统缺乏机制来引导结构化、可操作且高质量的反馈。
• 重要性: 高质量反馈对于提升会话代理与用户目标的对齐至关重要，尤其是在多轮、目标导向任务中。解决反馈障碍可以增强人机协作的有效性。
• 动机与相关研究: 先前研究探讨了人机交互中的反馈问题，强调了混合主动系统、交互式机器学习和解释性调试。然而，这些方法通常未能解决基于大型语言模型（LLM）的代理在多轮开放任务中的挑战。本文在这些研究基础上，识别反馈障碍并设计脚手架以克服这些问题。

解决方案

• 提出的方法: FeedbackGPT，一个结合模型无关脚手架的系统，旨在解决反馈障碍并提升会话代理中用户反馈的质量和频率。
• 创新点:
  1. 识别四个关键反馈障碍：共同背景、可验证性、沟通性和信息量。
  2. 开发设计需求以缓解这些障碍：促进共享参考框架、实现主动交互、提供透明的推理。
  3. 实现FeedbackGPT，采用七种脚手架来实践设计需求并提升反馈质量。
• 流程与关键技术:
  • 使用Grice准则对16名参与者进行形成性研究以识别反馈障碍。
  • 设计FeedbackGPT，包含内联评论、撤销/重做、反馈讨论、快捷操作、反馈评估、解释和分屏比较等脚手架。
  • 在20名参与者中进行一项主观对比研究，比较FeedbackGPT与ChatGPT在协同写作任务中的表现。

结果

• 具体发现:
  • FeedbackGPT使目标参考反馈增加了25.94%，可操作反馈增加了24.76%。
  • 反馈量（每轮字符数）显著增加，从242.33提升至585.06。
  • 反馈清晰度未显著改善，模糊输入仍然存在。
• 相较基线的优势: FeedbackGPT比ChatGPT更能引导目标参考、可操作和渐进式反馈，但同时增加了用户的认知负担。
• 实验/评估:
  • 研究1：对16名参与者进行形成性访谈以识别反馈障碍。
  • 研究2：对20名参与者进行FeedbackGPT与ChatGPT的主观对比研究，任务为协同写作。评估指标包括反馈质量（目标参考、可操作、清晰、渐进）和用户主观体验。
• 局限性与未来工作:
  • 参与者多样性有限，可能存在选择偏差。
  • 聚焦于协同写作任务，结果可能无法推广到其他领域。
  • 短期研究，尚未探索用户行为的长期变化。
  • 脚手架仅代表设计需求的一种实现形式，需要进一步探索替代设计。

总结

本文识别了会话代理中的四个关键反馈障碍——共同背景、可验证性、沟通性和信息量，并提出了FeedbackGPT，一个设计脚手架以缓解这些障碍的系统。与基线（ChatGPT）相比，FeedbackGPT显著提升了目标参考、可操作和渐进式反馈，但同时增加了用户的认知负担。研究结果强调了交互设计在引导高质量反馈中的重要性，并呼吁进一步提升LLM能力以支持有效的人机协作。未来工作应探索纵向研究、多样化任务和替代脚手架设计。