评估自动化建议对决策制定的影响：领域专家调解模型错误但主动性降低

文献标题

Assessing the Impact of Automated Suggestions on Decision Making: Domain Experts Mediate Model Errors but Take Less Initiative

文献信息

• 主题领域: 人工智能与人类协作、医学信息学、人-机交互
• 关键词: 临床文本标注, 本体, 心智能模型, 人工智能团队, 标签推荐, 用户代理, 自动化信任

研究背景与问题

• 发现的问题或挑战:

  1. 在混合智能系统中，人类对自动化错误的依赖性可能导致错误决策、降低准确性甚至失去任务参与感。
  2. 特别是在临床标注任务中，领域专家如何与自动化工具交互仍不明确，例如是否会因为信任系统而忽视本该由人判断的关键问题。

• 重要性: 临床文本标注需要高专业知识且成本昂贵，自动化工具有潜力减少工作负担，提高效率。然而，这可能带来系统失误被接受和用户失去创造性或批判性参与的风险，从而影响后续的机器学习模型的训练质量。

• 研究动机与相关工作:

  • 研究动机: 以临床文本标注这一复杂任务为例，研究领域专家在自动化辅助条件下是否能保持批判性参与并纠正机器错误。
  • 相关工作: 以往研究表明用户可能过度信任自动化，但多聚焦于简单任务或一般用户群体，对领域专家和复杂标注任务的交互研究有限。

解决方案

• 提出的方法或解决方案:

  1. 开发了一个新型文本标注平台，吸收现有的标签推荐和自动预标注功能。
  2. 系统采用多面板界面，包括文本面板、标签推荐面板和高亮面板，支持机器学习模型生成的标签推荐与自动标注。
  3. 设计两阶段用户实验，分析自动化建议的准确性对用户行为、效率和准确性的影响。

• 创新之处:

  1. 使用了包含>400,000标签的大型医学标签空间，让研究得以反映真实场景中的模型失误模式。
  2. 通过实验对用户的行为长期跟踪（多达8小时），揭示自动化如何影响专家的信任和主动性。

• 实施步骤与关键技术:

  1. 阶段1：观察标签推荐在标准模式与削弱模式下对用户行为和决策的影响。
  2. 阶段2：研究预自动化标注对用户主动性和准确性的影响。
  3. 数据记录：基于JSON格式记录用户与平台交互导致的变化。
  4. 数据评估：通过对标注的召回率、标签准确性和用户手动创建新标注的行为进行比较。

研究成果

• 具体成果:

  1. 对标签推荐的依赖：
     • 专家们能够感知推荐模型的不足，并在自动化结果不完整时采取搜索措施（召回率达到80%）。
     • 当模型的推荐逻辑令人困惑或与专家直觉冲突时，用户容易接受次优建议。
  2. 在预填充注释中的表现：
     • 用户对错误标注的信任程度较高，修改不正确标注能力弱（仅接受16%-33%的错误范围建议）。
     • 使用预标注后，用户的主动性显著下降，创建新标注的频率减少(下降12%)。

• 相对于现有解决方案的优势:

  • 该平台引入大规模标签空间并紧紧结合用户行为分析，是对现存小规模实验研究的拓展。

• 实验或评估结果:

  • 标签推荐提升了效率（标注时间减少至平均3秒），且大部分正确推荐能被轻松接受。
  • 预填充功能虽减少了用户负担，但用户更可能丧失主动性，并未意识到其行为模式的变化。

• 局限性与未来方向:

  1. 限制：实验为离线低风险任务，不足以验证高压力环境下的用户行为。
  2. 改进方向：
     • 增加实时错误反馈机制（如在用户接受错误标签后提示）。
     • 进一步优化用户界面，突出显示不确定性标签的重要性。
     • 探索如何根据用户行为提供个性化的自动化辅助。