支持基于LLM的聊天机器人进行有效的目标设定

文献标题

Supporting Effective Goal Setting with LLM-Based Chatbots

出版信息

• 主题领域：人机交互与基于人工智能的行为干预。
• 关键词：目标设定、实施意图、大型语言模型、聊天机器人、行为干预、人机交互、社会存在感、反馈机制、自适应建议、心理理论。

背景与问题

• 问题/挑战：尽管心理学理论如目标设定和实施意图具有有效性，但个人通常难以独立应用这些框架。现有的技术解决方案（如基于规则的系统）缺乏适应性和细致支持。
• 重要性：提升目标设定过程可以改善健康、教育和工作场所生产力等领域的成果。需要可扩展且可访问的干预措施，以弥合理论框架与实际应用之间的差距。
• 动机与相关研究：先前研究表明，人类教练和基于规则的系统可以支持目标设定，但这些方法在可扩展性和个性化方面存在局限性。大型语言模型（LLMs）提供了更动态和类人交互的潜力，但其在有效目标设定中的具体机制尚未被充分探索。

解决方案

• 提出的方法：开发并评估基于LLM的聊天机器人，结合三种设计特性——指导、自适应建议和反馈，以支持有效的目标设定和实施意图形成。
• 创新点：
  1. 系统比较指导、建议和反馈在LLM干预中的单独及组合效果。
  2. 提供LLMs如何改善目标具体性和实施意图质量的实证证据。
  3. 探讨目标质量与用户动机之间的权衡。
  4. 对社会存在感作为影响目标承诺的机制进行中介分析。
• 流程与关键技术：
  • 开发了五种聊天机器人条件：ControlBot（静态输入表单）、GuidanceBot（逐步指导）、SuggestionBot（指导加自适应建议）、FeedbackBot（指导加迭代反馈）和GenBot（结合所有特性）。
  • 参与者（N = 543）与一个聊天机器人互动，以设定个人有意义的目标和实施意图。
  • 通过自我报告（如目标承诺、社会存在感）和专家编码评分（如目标具体性、实施意图质量）测量结果。

结果

• 具体发现：
  • 指导提高了目标具体性（z = 3.42, p = .001）和实施意图质量（z = 5.91, p < .001），但未改善感知的目标难度。
  • 反馈进一步提升了目标具体性（z = 4.34, p < .001）和实施意图质量（z = 7.37, p < .001）。
  • 建议在指导的基础上未显著改善结果。
  • 结合所有特性（GenBot）产生了最高的目标具体性（z = 6.35, p < .001），但与FeedbackBot相比未一致性地改善目标难度或实施意图质量。
• 相较基线的优势：
  • 基于LLM的反馈和结合特性显著优于静态和基于规则的系统，在生成具体且高质量目标方面表现突出。
  • 社会存在感在LLM聊天机器人中中介了更高的目标承诺，但总体承诺低于控制条件。
• 实验/评估：
  • 随机对照实验，包含五种聊天机器人条件。
  • 测量指标包括目标具体性（编码0–4）、实施意图质量（编码0–4）、感知社会存在感、目标承诺和行动意图。
  • 统计分析包括Kruskal–Wallis检验、Dunn事后比较和中介分析。
• 局限性与未来工作：
  • 研究集中于即时效果，未评估长期目标达成。
  • 目标难度和承诺测量中的天花板效应可能掩盖了差异。
  • 未来研究应探索目标选择过程和保持自主性的设计，以缓解动机权衡。

总结

本研究表明，基于LLM的聊天机器人通过指导和反馈机制可以有效支持目标设定，提高目标具体性和实施意图质量。然而，自适应建议影响有限，更复杂的聊天机器人设计降低了用户承诺和行动意图，突显了质量与动机之间的权衡。社会存在感中介了目标承诺的积极效果，但不足以抵消负面直接影响。这些发现为设计可扩展、领域无关的AI干预措施提供了可操作的洞见，旨在平衡清晰度与用户自主性，同时利用心理学框架。