这个AI是用可信的数据训练的吗？标签质量与性能偏差对用户信任的影响

文献标题

Is this AI trained on Credible Data? The Effects of Labeling Quality and Performance Bias on User Trust

文献信息

• 主题领域: 人工智能可信度与用户信任的关系研究
• 关键词: 训练数据可信度, 数据标注质量, 标注来源, AI信任, 算法偏差

研究背景与问题

• 发现的问题或挑战: 当前人工智能(AI)系统在透明性和可信度上存在不足，尤其是涉及种族偏差的问题。用户对训练数据的可信度认知与AI偏差可能影响用户的信任，但具体关系仍不明确。
• 重要性: 随着AI被广泛应用到关键领域（如医疗、司法等），理解如何有效提升用户对AI的信任有利于推动AI的公平性与社会接受。
• 研究动机与相关工作:
  • 研究延续了"算法偏差"与"解释性AI"中的讨论，试图从训练数据的透明性和标注信息入手，探讨其对用户信任的影响。
  • 以往研究指出显示训练数据统计信息或种族背景解释可以提高用户信任，但尚未对此进行系统的实验检验。

解决方案

• 提出的解决方案:
  • 提出一个用户感知模型，以探讨标注质量、标注来源和AI性能偏差如何影响训练数据的可信度感知，进而左右用户信任。
• 创新之处:
  • 提出“训练数据可信度”概念，首次作为中介变量来研究人类对AI信任的形成。
  • 展示了一种通过“数据标注准确性快照”的方法增强透明度，避免传统后置解释的局限。
• 实施步骤与技术方法:
  • 设计了一个包含 2 （标注质量: 高 vs 低）× 4（标注来源: 他人标注 vs 用户提示 vs 用户自愿标注 vs 用户强制标注) × 3（AI性能: 无表现 vs 无偏差表现 vs 种族偏差表现）的实验设计。
  • 通过用户研究(N=430)，验证标注质量、标注来源以及种族偏差如何影响训练数据的可信度感知及信任（认知信任、情感信任、行为信任）。

研究成果

• 具体成果:
  1. 高质量的标注导致更高的训练数据可信度认知。
  2. 训练数据的可信度感知正向影响用户的认知信任与行为信任，但对情感信任的作用有限。
  3. AI的种族偏差（如对白人或黑人分类准确性的差异）显著削弱训练数据可信度对认知信任的正面影响。
  4. 标注来源（如自我标注 vs 他人标注）对训练数据可信度评价的影响较弱。
• 与现有方案的比较：
  • 提供了与传统AI后置解释方法不同的“前置透明性”设计方法。
  • 除性能指标外，还强调训练数据及标注质量的可视化，作为提升用户信任的关键。
• 实验或评估结果:
  • 用户更倾向信任标注质量高的AI，但在种族偏差出现时，即使标注数据可信，认知信任仍受到破坏。
  • 在影响认知信任时，AI性能偏差显现出比训练数据可信度更大的作用。
• 局限性与未来方向:
  1. 本研究的实验主要基于视觉数据场景，其他如语音或语言模型的标签可信度需进一步验证。
  2. 高质量标注定义为100%准确，未来研究可探索可信度的最低门槛（如80%-90%准确率）。
  3. 用户对过量信息可能反感，需探索透明性和用户体验之间的平衡。

总结

本研究表明，显示标注质量是提高用户对AI信任的一种有效方法。然而，AI偏差会严重损害信任，应结合用户认知参与设计来避免过度信任问题。对于推动AI的社会责任性和透明性，研究提出了新的理论模型与实践指导方向。