设计用于LLM增强的行为改变交互的Bloom系统

文献标题

Bloom: Designing for LLM-Augmented Behavior Change Interactions

出版信息

• 主题领域: 基于LLM集成的移动应用促进健康行为改变
• 关键词: 大型语言模型、行为改变、身体活动、健康指导、个性化、动机性访谈、移动健康、环境显示、用户体验、可穿戴数据

背景与问题

• 问题/挑战: 现有关于LLM在行为健康领域的研究主要集中于纯文本交互，忽略了结合既有多模态行为改变策略的潜力。针对LLM系统的真实环境评估仍然有限，少有研究将LLM系统与前LLM方法进行比较。
• 重要性: 身体活动不足是全球性的健康问题，亟需可扩展且成本效益高的干预措施来降低定期身体活动的障碍。LLM为个性化和富有同理心的健康指导提供了新的机会，有望解决这些挑战。
• 动机与相关工作: 数十年的HCI研究已经建立了有效的行为改变交互模式，例如目标设定、自我追踪、环境反馈和提示。前LLM系统通常依赖规则驱动的个性化，缺乏灵活性。LLM的最新进展使得动态、开放式对话和基于定性上下文的更丰富个性化成为可能，但其与多模态干预的整合仍未被充分探索。

解决方案

• 提出的方法: Bloom是一款促进身体活动的移动应用，结合了基于LLM的健康指导聊天机器人（Beebo）与既有行为改变交互模式，包括目标设定、活动追踪、环境显示、推送通知和数据可视化。
• 创新性:
  1. 开发了Bloom，将LLM驱动的指导与多模态行为改变交互相结合。
  2. 创建了一个包含600个示例的安全基准数据集，用于评估LLM指导的安全过滤器。
  3. 进行了为期四周的随机现场研究，将Bloom与无LLM的对照条件进行比较。
  4. 提出了LLM增强干预的设计见解，强调定性上下文和关系线索的作用。
• 流程与关键技术:
  • Bloom基于斯坦福“主动选择计划”（Stanford Active Choices Program），并将其结构适配为数字化交付形式。
  • Beebo使用动机性访谈策略进行入门指导、定期检查和随时聊天。
  • 系统整合了可穿戴数据、定性上下文以及LLM生成的计划和摘要。
  • 安全过滤器通过红队访谈开发，并使用基准数据集进行评估。

结果

• 具体发现:
  • 两种条件下参与者达到推荐身体活动指南的比例均翻倍（整体从36%提高到72%）。
  • 实验组参与者报告了更大的心态相关改善，包括享受感（+0.3分）、自信心和自主性。
  • 在研究期间，平均身体活动水平显著提高（+1680步/天，+87.1千卡/天，+13.2分钟/天，+0.76公里/天）。
  • 实验组参与者制定了更多样化和平衡的计划（每个计划1.9 vs. 1.4个活动类别），并在应用中花费了更多时间（5.6倍）。
• 相较基线的优势:
  • 实验组参与者的身体活动持续性更稳定，而对照组参与者则表现出更大的初期增幅和更陡的后期下降。
  • 实验组参与者对用户体验、建议质量和共同决策的评分更高。
• 实验/评估:
  • 为期四周的随机现场研究，共有54名参与者（实验组26人，对照组28人）。
  • 采用混合方法，包括可穿戴数据、调查问卷、访谈和系统交互日志。
  • 安全过滤器实现了高召回率（≥0.96），并将有害输出减少到校正测试集中的<0.2%。
• 局限性与未来工作:
  • 研究持续时间和样本量不足以对长期行为改变进行稳健评估。
  • 可用性问题包括重复信息和僵化的对话流程。
  • 招募偏向于较高社会经济地位（SES）的参与者，限制了结果的普适性。
  • 未来工作应探索先进的LLM设计、更长期的研究，以及与低SES人群的互动。

总结

Bloom结合了基于LLM的健康指导聊天机器人与多模态行为改变策略，旨在促进身体活动。为期四周的随机现场研究表明，Bloom能够培养积极心态、个性化计划和持续参与，将达到身体活动指南的参与者比例翻倍。尽管在短期内未观察到LLM条件下身体活动水平的显著优势，但心理和动机结果表明其可能带来长期收益。Bloom展示了LLM在利用定性上下文和关系线索以赋能用户并维持行为改变方面的潜力，对未来LLM增强健康干预的设计和评估具有重要启示。