视觉、文本或混合：用户体验对不同解释效果的影响

文献标题

Visual, textual or hybrid: the effect of user expertise on different explanations

文献信息

• 主题领域: 人机交互与可解释人工智能 (XAI)
• 关键词: XAI, 可解释人工智能, 视觉解释, 文本解释, 混合解释, 用户专业性, 域专业性

研究背景与问题

• 问题或挑战:

  1. 随着AI技术的广泛应用，透明性和可解释性需求增加，但主流方法仍沿用“一刀切”的通用解释策略，未针对不同用户类型量身定制。
  2. 当前关于如何根据用户专业水平定制解释的研究较少，特别是不同解释方案对人类可解释性影响的实证评估很有限。
  3. 决策支持和推荐系统研究发现，简单的解释往往受到偏爱，但这样的知识并未充分传播到更广义的XAI领域。

• 重要性:

  • AI系统在日常决策中变得越来越重要，研究适应不同用户需求的解释类型，可提升系统透明性、用户信任与效率。
  • 定制化的解释不仅能提高不同用户群体的理解能力，还可能减少偏见和错误使用。

• 研究动机与相关工作:

  1. Ribera等人提到，解释的目标因用户类型而异（开发者通常用于系统验证，而普通用户用于理解自身情况）。
  2. Mohseni等人和Gunning等人强调了根据用户专业背景设计解释的重要性，这一挑战在现有研究中仍未被充分解决。
  3. 研究设计好的解释模式需要结合心理学、认知科学等多个领域，而当前许多设计仍缺乏这样的理论支持。

解决方案

• 方法或解决方案: 研究设计并评估了三种类型的解释：

  1. 视觉解释（Partial Dependence Plot，PDP）: 用于可视化地展示参数如何影响输出。
  2. 文本解释: 使用模板化句子简明描述参数与预测的关系。
  3. 混合解释: 在视觉解释的基础上加入了文本说明，以帮助用户理解图形内容。

• 创新之处:

  • 提出并评估了一种混合型解释（文本+图形）的新模式，旨在针对专业用户和普通用户设计能够缩小使用差距的解释机制。
  • 在解释效果评估中结合任务完成率、用户偏好、以及用户思维过程建模（通过TA方法）。

• 实施步骤与关键技术:

  1. 用户分组: 根据AI专业知识分组（专业用户 vs 普通用户）。
  2. 解释任务设计: 让用户完成基于C-local、C-counter和C-importance能力的具体任务。
  3. 主观与客观指标结合评估:
     • 主观方面：通过Likert量表记录用户对易用性、直观性等的评价。
     • 客观方面：记录任务完成正确率。
  4. TA（Think Aloud）协议捕捉用户思考过程，分析错误理解来源。

研究成果

• 具体成果:

  1. 文本解释在正确率上显著优于视觉解释（尤其对普通用户）。
  2. 尽管如此，大多数用户更偏好视觉解释，原因包括视觉解释的全面性和更高效的交互体验。
  3. 混合解释在理解正确性上相比纯视觉解释有显著提升（普通用户正确率从5%提升至50%；专家用户从75%提升至80%），同时无显著增加使用复杂性。

• 相较现有解决方案的优势:

  • 在用户理解能力和偏好之间找到了平衡，混合解释既增强了普通用户的理解能力，又使专家用户对系统内容的直观性和时间效率表示满意。
  • 针对用户偏好的视觉解释加入文本补充，从而保留其高用户偏好性的同时，不牺牲其理解正确性。

• 实验或评估结果:

  • 第一轮实验：
    • 普通用户对视觉解释完成率仅为5%，但有较高的偏好（>70%选视觉解释）。
    • 专家用户表现较好，但对视觉解释的额外熟悉度需求导致时间花费增加。
  • 第二轮实验：
    • 混合解释对普通用户的正确率和探索行为均显著改善；专家用户则主要降低了解释时间成本。
  • 异常行为：普通用户在视觉解释下易受认知偏见（确认偏差）影响。

• 局限性与未来方向:

  1. 本研究未引入更复杂的测量维度，如认知负荷、学习效果等，未来研究可进一步补充。
  2. 两项实验使用了不同的实验设计（第1轮为组内设计，第2轮为组间设计），建议未来研究将视觉与混合解释整合于单一实验场景对比评估。
  3. 混合解释在提升任务探索深度（减少视觉信息回避行为）上效果有限，可结合动态交互技术或进一步优化文本内容。