迈向更优质的健康对话：情境寻求的益处

文献标题

Towards Better Health Conversations: The Benefits of Context-seeking

出版信息

• 主题领域: 改进健康信息查询的对话式人工智能。
• 关键词: 上下文获取，对话式人工智能，健康信息，大型语言模型，用户体验，路径引导人工智能，健康聊天机器人，交互设计，上下文优先架构，人工智能信任。

背景与问题

• 问题/挑战: 当前的大型语言模型（LLMs）在支持普通用户进行健康信息查询时存在困难，难以有效获取必要的上下文信息，导致生成的回答过于笼统或不相关。现有的基准测试往往高估了LLM的性能，因为它们假设用户会在一开始就提供足够的上下文信息。
• 重要性: 改进健康主题的对话式人工智能可以增强获取个性化、准确医疗信息的能力，从而帮助用户做出明智决策，并在应对复杂健康问题时减轻焦虑。
• 动机与相关研究: 先前的研究强调了在人与专家的互动中，对话基础和上下文获取的重要性，但这些行为在人工智能系统中尚未得到充分探索。现有的健康聊天机器人往往无法建立共同理解，导致用户不满和不信任。本研究基于这些见解，探讨主动上下文获取如何改善人工智能交互。

解决方案

• 提出的方法: 开发一种“路径引导人工智能”（Wayfinding AI），通过主动向用户获取上下文信息，提供更相关和个性化的健康信息。
• 创新点:
  1. 通过定性和定量研究证明主动上下文获取在健康相关人工智能对话中的价值。
  2. 迭代设计并评估一种平衡即时回答与澄清性提问的路径引导人工智能。
  3. 提供证据表明路径引导人工智能在有用性、相关性和个性化方面优于基线人工智能。
  4. 提出将上下文获取集成到对话式人工智能系统中的设计考量。
• 过程与关键技术:
  • 进行了五项研究（包括三项定性研究和两项定量研究），共261名参与者，评估用户与人工智能原型的交互。
  • 使用提示调优和强化学习开发路径引导人工智能，以优化上下文获取行为。
  • 在随机、盲测的研究中，将路径引导人工智能与基线人工智能进行比较，分析用户满意度、对话动态和偏好。

结果

• 具体发现:
  • 在有用性、相关性、个性化和目标理解等维度上，路径引导人工智能显著优于基线人工智能。
  • 与路径引导人工智能的对话更长（平均4.51轮对比3.69轮），且包含更多澄清性提问（首次回答中87.7%对比8.0%）。
  • 用户与路径引导人工智能的互动更加积极，提供了更多他们可能不会主动提及的具体细节。
• 相较基线的优势:
  • 路径引导人工智能从用户处获取了更多上下文信息，从而生成更个性化和相关的回答。
  • 参与者在多个维度上对路径引导人工智能的满意度评分高于基线人工智能。
• 实验/评估:
  • 研究包括访谈、可用性测试和随机盲测调查。
  • 参与者使用自己的健康问题测试了路径引导人工智能和基线人工智能，并在六个维度上测量偏好。
  • 分析方法包括定性数据的主题编码和定量调查响应的统计测试。
• 局限性与未来工作:
  • 研究仅限于文本交互；未来工作可探索多模态界面。
  • 参与者仅限于美国，研究结果可能无法全球适用。
  • 未明确测量临床准确性或信任度；未来研究应评估这些方面及其对健康结果的影响。

总结

本研究表明，主动上下文获取显著提升了健康相关人工智能对话中的用户满意度和感知相关性。设计用于通过澄清性提问获取用户上下文的路径引导人工智能，在定性和定量评估中均优于基线人工智能。这些发现突出了对话基础的重要性，并提出了在健康等复杂领域中增强人工智能交互的设计原则。未来工作应探索多模态能力、全球适用性，以及对临床结果和用户信任的影响。