AVEC：在可视化构建中对视觉编码能力的评估

研究背景与问题

• 发现的问题或挑战: 当前许多关于可视化能力的测评仅聚焦于可视化解读能力，而忽略了对可视化构建相关能力的评估（如选择适当的视觉编码）。这一缺失限制了对整体可视化素养的理解，也使得教学和技能改进变得困难。
• 重要性: 随着数据的广泛可用性和公众参与可视化构建的增多（如通过Excel创建表格），评估构建能力有助于提高非专家（普通公众和初学者）的可视化素养，同时对设计有效干预措施至关重要。
• 研究动机与相关工作: 此项工作受到现有测评局限性驱动，作者希望通过开发系统的方法来评估个人在数据到视觉通道映射方面的能力，以弥补现有研究（如VLAT和CALVI）的不足。

解决方案

• 方法或解决方案: 作者提出了一个名为AVEC（Assessment of Visual Encoding Ability in Visualization Construction）的评估工具，用于测量个人在可视化构建过程中是否能够正确选择视觉编码。
  1. 创建一个包含九项任务的初始题目库，任务涵盖多种可视化任务和图表类型。
  2. 开发一个用户友好的在线评估工具，支持构建视觉编码的组合选择。
  3. 设计并验证一个自动评分器，用于根据专家评分结果自动评估答题质量。
  4. 基于95名参与者的测试数据验证和优化了题目库及评分器。
• 创新点:
  1. 与现有评估方法的选择题形式不同，AVEC使用了构建式答题格式，要求参与者生成可视化答案。
  2. 提供了高度灵活的在线工具，能够支持多样化图表创建，同时解决了用户界面复杂度对评分可靠性的影响。
  3. 开发了自动评分器，可根据专家评分构建的聚类规则对答案进行评分，从而节省大量人工评分时间。
• 实施步骤:
  1. 明确设计空间和任务表现需求，生成初始题目库。
  2. 通过专家小组对题目内容和答题评分规则进行验证。
  3. 使用最终测试结果进行项目分析（IRT模型）优化题目库，确定反映不同难度和表现能力的高质量题目集。

研究成果

• 具体成果:
  1. 作者成功开发了一个包含8道题目的最终题目库，覆盖不同难度等级，能够准确区分参与者技能差异。
  2. 提供了一种新的自动评分器机制，可快速评估构建式答题的质量。
  3. 在线评估工具获得了良好的用户体验反馈（SUS评分平均值为77.76）。
• 与现有解决方案的优势:
  1. 增强了对可视化构建能力的测评能力，使得评估和教学更为全面。
  2. 提供了一个可推广的题目设计和评分方法，能够扩展到其他构建类能力的评估。
  3. 自动评分器显著减少了手动评分的工作量，同时提高了评分的一致性和灵活性。
• 实验或评估结果:
  1. 专家评分验证了题目设计的内容效度（CVI评分高于78%）。
  2. 项目分析结果表明最终题目库内部一致性可靠（McDonald的Omega系数为0.73）。
  3. 通过IRT模型分析评估了各题目的难度和区分能力。
• 局限性与未来方向:
  1. 尚未探讨个人先验知识（如可视化熟悉度）对测评结果的影响，未来研究可以深入探索不同技能间的关联。
  2. 当前评估主要聚焦于视觉编码能力，未来工作可扩展到包括数据处理和高级构建技巧的综合评估。
  3. 随着被评估对象技能需求的提升，还需要开发更复杂且易用的评估工具，同时进一步优化评分方法（如结合分析评分）。

总结

AVEC成功定义并测量了可视化构建核心技能中的视觉编码能力，为未来研究铺设了基础，同时在教育干预、能力改善和技能评估方面提供了广泛的应用潜力。它的开发过程展示了如何结合专家知识和自动化策略实现复杂技能的有效测评，进一步研究可应用于更高层次的构建能力和相关教育实践。