“现在吃午饭”：理解用户如何与主动式智能体互动进行日常规划和自我反思

文献标题

'Having Lunch Now': Understanding How Users Engage with a Proactive Agent for Daily Planning and Self-Reflection

出版信息

• 主题领域: 生产力和福祉背景下的人机交互。
• 关键词: 会话代理，主动系统，行为改变，计划，自我反思，大语言模型（LLMs），人机交互，生产力，福祉，对话分析。

背景与问题

• 问题/挑战: 尽管主动型会话代理在支持生产力和福祉方面表现出潜力，但关于用户如何与这些代理互动，特别是在教练角色中的互动，以及导致对话中断的原因，仍然缺乏深入理解。
• 意义: 理解用户与代理的交互动态对于设计能够促进有意义行为改变并避免沟通中断的系统至关重要。
• 动机与相关工作: 先前的研究探讨了以任务为导向和以福祉为中心的会话代理，但主要关注结果而非对话过程。在理解用户行为、对主动型基于LLM的代理的抵触与合作方面仍存在空白。

解决方案

• 提出的方法: 一个名为PITCH的主动型教练代理，旨在通过早晚签到促进日常计划和自我反思。
• 创新点:
  1. 对用户与代理的交互进行主题和对话行为分析，以揭示行为模式。
  2. 部署一个主动型、基于LLM的教练代理进行现场研究。
  3. 为适应性、情境感知的会话代理提供设计建议。
• 流程与关键技术:
  • 对12名研究生进行为期14天的纵向研究。
  • PITCH每天两次发起对话，分别用于计划（早晨）和反思（晚上）。
  • 使用主题编码、对话行为分析和情感分析对336次对话（3,181个回合）进行分析。
  • 比较固定目标版本和轮换目标版本的PITCH，以研究用户参与度和对话中断。

结果

• 具体发现:
  • 用户在对话中外化计划（占21.5%的回合）并报告进展（占18.4%），早晨计划行为更高（40.1%），晚上反思行为更高（22.2%）。
  • 晚间对话的积极情感更高（增加30.3%）。
  • 常见行为包括遵从（8.6%）、自我反思（11.2%）和提供情境信息（12.3%）。
• 相较基线的优势:
  • PITCH促进了结构化的计划和反思行为，支持前瞻性记忆和自我意识。
  • 用户将代理视为社交伙伴，参与协商、澄清和更新。
• 实验/评估:
  • 对12名研究生（6男，5女，1非二元性别；年龄22–35岁）进行为期14天的研究。
  • 使用对话行为频率、情感分析和主题模式进行评估。
• 局限性与未来工作:
  • 参与者群体小且同质化（STEM领域的研究生）。
  • 研究时间较短（14天），限制了对长期参与的理解。
  • 未来工作应探索多样化人群、更长时间的部署，以及具有更丰富记忆和元意识的代理。

总结

本研究探讨了用户如何与一个主动型、基于LLM的教练代理PITCH进行日常计划和自我反思的互动。在为期两周的部署中，用户表现出合作行为，如计划、报告和反思，同时也对代理的假设进行协商和纠正。尽管代理促进了自我意识和责任感，但由于对话目标僵化、过早轮次切换以及虚构能力等问题，仍出现了对话中断。研究结果强调了设计适应性、情境感知和社会智能型会话代理的必要性。未来研究应探索更长时间的部署和多样化用户群体，以优化生产力和福祉背景下的代理设计。