CALVI：可视化读写能力批判性思维评估

文献标题

CALVI: Critical Thinking Assessment for Literacy in Visualizations

文献信息

• 主题领域: 信息可视化、视觉素养与误导性视觉内容的评估
• 关键词: 信息可视化, 可视化素养, 可视化误导信息, 测量学, 心理测量学

研究背景与问题

• 问题/challenges:

  • 可视化误导问题在媒体中频发，如错误的轴方向或错误的时间轴排序等都容易误导大众对数据的理解。
  • 当前的研究缺乏一个系统的方法来评估公众识别和解释误导性可视化的能力，已有的可视化素养测试仅限于正确构建的可视化，无法覆盖误导性内容。

• 研究重要性:

  • 随着信息可视化在公众生活中的普及，能够识别误导性可视化并进行批判性思考，成为了公民数据素养的一部分，对于反制信息误导尤为关键。

• 研究动机:

  • 作者旨在填补当前研究空白，即缺少对批判性解读误导性可视化能力的测量工具。
  • 作者引用了多个真实案例来验证在可视化构建过程中失误或故意误导如何导致误读。

解决方案

作者开发了一个名为 CALVI (Critical Thinking Assessment for Literacy in Visualizations) 的测试系统，并通过以下步骤系统性地完成评测模型的构建：

1. 定义与分类：

   • 提出了 "误导者 (misleaders)" 的定义，即构建可视化时作出的决策，会导致图表传达的数据结论与实际数据不一致。
   • 构建了相关误导者的设计空间，包括11种误导类型（如 "Cherry Picking" 和 "Manipulation of Scales"），以及9种常用可视化图表类型（如柱状图、折线图、散点图等）。

2. 测试设计与优化：

   • 利用心理测量理论(Item Response Theory, IRT)，设计并评估了多种测试题型，包括相关任务（如识别趋势、比较数据等）。
   • 针对497名参与者进行测试，通过定性与定量分析验证测试项的区分性和内容有效性。

3. 测试实施与修订:

   • 优化了题库的多样性和现实性，通过筛选题项最终固化了包含45道测试题的高可靠性题库。

4. 多方应用:

   • 提供灵活定制方法，针对不同的教育背景人群（如普通公众、高校学生或专家）推荐特定的题库设置与分数处理方式。

• 创新性:
  • 任务映射：通过将误导类型细化为具体的可视化任务（如预测、值检索）建立了误导描述与用户反应之间的联系。
  • 心理测量工具：首次引入基于心理测量理论的建模用于可视化测试，确保了测试的可靠性与区分性。
  • 真实世界例证：结合多个新闻和政策中的错误可视化案例，展示了现实重要性。

研究成果

• 具体成果:

  • 确立了用于测评可视化误导信息解读能力的 CALVI 测评模块，包含一个涉及45条题目的最终题库，覆盖了较广的能力范围。
  • 提供了45项测试的易难度（Easiness）和区分性（Discrimination）参数，便于未来研究者灵活使用题目。
  • 基于错误来源率（如参与者是否因“误导者”选错答案）和专家判定之内容效度指数 (Content Validity Index) 验证了测试合适性。
  • 测试整体可靠性系数 ??=0.81，具有高可靠性。

• 优势:

  • 与现有的传统视觉素养测试（仅针对正确可视化）相比，本研究设计出的测试增添了对错误和潜在误导性信息的阐释、发现与推理能力。
  • 此系统化设计可有效区分被误导的参与者与正确解读参与者。

• 实验与评估:

  • 初步实验表明，普通公众往往难以从常见误导，如轴方向错误或数据遗漏中清晰识别真实数据。
  • 提高了大众在类似真实场景中应对误导的能力。

• 局限性与未来方向:

  • 局限:
    • 不同任务或问题表述下，误导可能会对参与者产生截然不同的效果。
    • 测试主要针对通用情境，在特定领域（如金融或生物医学）的适用性需要进一步验证。
  • 方向:
    • 扩展并细化误导类型和用户任务之间的联系。
    • 开发自适应或交互式测试提升评测效率。
    • 探讨误导可视化对决策行为的长期影响。