测量和理解自动化系统的信任校准：一项关于最新技术和未来方向的综述

文献标题

Measuring and Understanding Trust Calibrations for Automated Systems: A Survey of the State-Of-The-Art and Future Directions

文献信息

• 主题领域: 人机交互与自动化系统信任校准
• 关键词: 信任校准、自动化、实证研究、适当信任、信任调整、用户研究

研究背景与问题

• 发现的问题:

  1. 用户对自动化系统可能表现出不信任（低于系统能力）或过度信任（高于系统能力）。
  2. 在不同情境下，如何使用户信任与系统的实际可靠性匹配（即信任校准）尚无统一理解。
  3. 信任校准的研究缺乏标准化方法，尚未整理出一个系统的综述。

• 问题重要性:

  • 信任校准对于确保自动化系统被用户正确使用，避免低效、不安全或用户对系统的错误依赖具有重要意义。
  • 信任的不匹配会导致系统的滥用或弃用，影响系统效能。

• 研究动机与相关工作:

  • 自动化已经在诸多领域广泛应用，例如医疗诊断、自动驾驶和人力评价等。
  • 相关文献虽多（超过1000篇），但缺乏结构化、全面的综述研究来归纳信任校准的方法、挑战和未来研究方向。

解决方案

• 提出的方法:

  • 对来自不同领域的96篇实证文献进行综述，聚焦信任校准相关的干预措施、实验设计、系统能力操作化、测量手段以及校准效果。
  • 推导出四个信任校准的关键维度：外部/内部校准、合理/非合理信任校准、静态/自适应校准，能力导向/过程导向校准。

• 解决方案的创新之处:

  1. 概述了信任校准的现状并提出了一套清晰的分类系统。
  2. 将信任校准方法分为静态和动态并探讨了其实施效果。
  3. 提出一些信任干预可能导致误校准的关注点，并建议未来如何改进。

• 实施步骤与关键技术:

  • 在包括Google Scholar、Scopus和ACM在内的多个数据库中进行广泛文献检索。
  • 筛选符合条件的文献，特别关注信任与实际系统能力之间是否有明确匹配的校准方式。
  • 对筛选出的文献进行定量与定性分析，包括实验设计方式、样本构成、任务类型、信任测量方法等。

研究成果

• 具体成果:

  1. 信任校准干预措施：展示了常用的干预措施，例如前置信息、反馈、透明性、警报和解释性机制等。
  2. 校准方法的多样性：归纳出三种主要的信任测量与校准结果评估方法：相对测量（信任高低对比）、相关分析（信任与系统能力关系）、以及行为测量。
  3. 提出四种校准维度：外部-内部校准、合理-非合理校准、静态-动态校准、能力导向-过程导向校准。

• 优势与现存研究相比:

  • 对分散的信任校准研究进行了全面梳理。
  • 引入了信任校准维度，更清晰地描述了不同类型干预措施及其影响。
  • 强调并区分了信任的合理性与非合理性，提升学术讨论的深度。

• 实验或评估结果:

  • 用户通常能够感知系统能力的高低，但对能力变化的反应较为迟缓或不合理，可能需要具体的干预措施。
  • 增加系统透明性（如显示系统置信度、解释作用等）能促进信任，但同时可能增加用户认知负担或导致误导性信任。

• 局限性与未来方向:

  • 局限性：
    1. 研究方法上限于匹配系统能力与用户信任感，但未充分探讨信任的行为动态。
    2. 信任校准的定义及测量尚未标准化。
    3. 调查仅限于发表的英文文献。
  • 未来方向：
    • 开展更多实践研究，例如在医疗高风险情境中的应用。
    • 探索自适应的信任校准机制，以更有效地调节用户对系统的期望与实际使用。
    • 将信任校准纳入更复杂、多任务环境中，基于用户行为反馈进一步优化算法。

总结来说，该文献基于系统性文献综述，为信任校准的研究提供了坚实基础，同时也指出了许多值得未来深入研究的方向，以适配快速发展的自动化应用需求。