使用现成AI对话代理进行健康信息搜索的元认知需求与策略

文献标题

Metacognitive Demands and Strategies While Using Off-The-Shelf AI Conversational Agents for Health Information Seeking

出版信息

• 主题领域: 通过人工智能对话代理进行健康信息检索中的元认知需求
• 关键词: 人工智能对话代理、健康信息检索、元认知、用户策略、思维大声研究、设计考虑、数字健康素养、提示工程、用户体验、健康决策

背景与问题

• 问题/挑战: 市售的人工智能对话代理（如ChatGPT）在健康信息检索中使用日益增多，但对用户施加了显著的元认知需求。这些系统并未专门针对健康场景设计，用户需要自行处理诸如评估信息可信度和构建查询等任务，而缺乏足够的支持。
• 重要性: 健康相关查询具有敏感性，不准确或不完整的信息可能导致错误的健康决策。理解并解决这些系统的元认知需求对于改善用户体验和确保更安全的健康结果至关重要。
• 动机与相关研究: 以往研究探讨了健康信息检索行为和人工智能对话代理的使用，但对有效交互所需的元认知技能关注有限。现有系统在应对这些需求方面提供的支持较少，尚未充分理解用户如何应对提示构建、评估和工作流适应等挑战。

解决方案

• 提出的方法: 使用基于ChatGPT-4o API构建的定制对话代理界面，开展一项包含15名参与者的思维大声研究，以识别健康信息检索中的元认知需求和用户策略。
• 创新性:
  1. 识别交互关键阶段的元认知需求：提示构建、评估、迭代和工作流适应。
  2. 分析用户应对这些需求的策略，包括任务分解、信心调整和工作流灵活性。
  3. 提出设计考虑，以减少元认知需求并改善健康信息检索界面。
• 过程与关键技术:
  • 使用六个模拟健康场景对15名参与者进行思维大声研究。
  • 分析转录内容以识别元认知需求和应对策略。
  • 将研究结果映射到GenAI人类工作流框架以结构化洞察。

结果

• 具体发现:
  • 参与者在提示构建（如结构化症状）、评估响应（如评估可信度）和适应工作流（如管理代理主导的转变）方面面临挑战。
  • 元认知需求包括对健康目标的自我意识、任务分解、信心调整以及工作流策略的灵活性。
  • 参与者采用了分解提示、测试代理可信度以及与外部来源交叉验证响应等策略。
• 相较基线的优势: 该研究提供了关于健康信息检索中特定元认知需求和策略的实证证据，这在以往研究中尚属未充分探索的领域。
• 实验/评估:
  • 参与者在受控环境中使用六个健康场景与对话代理交互。
  • 数据收集包括思维大声转录内容、人口统计调查以及简化版元认知意识量表。
  • 分析重点在于主题编码并映射到结构化工作流框架。
• 局限性与未来工作:
  • 样本量较小（15名参与者），限制了研究结果的普适性。
  • 模拟场景可能无法完全反映真实健康情境中的紧迫性和情感因素。
  • 未来研究应探索长期使用、多样化人群以及人工智能能力的演进。

总结

本研究探讨了用户在使用市售人工智能对话代理进行健康信息检索时面临的元认知需求及其应对策略。通过对15名参与者的思维大声研究，作者识别了提示构建、响应评估和工作流适应中的关键挑战。研究结果被映射到结构化框架，并提出了设计考虑以减少元认知需求并改善用户体验。这些洞察对于开发更好支持健康信息检索的人工智能系统，同时降低用户努力和风险至关重要。