追逐意义和/或洞察？可视化与人文学科交叉领域评估实践的综述

文献标题

Chasing Meaning and/or Insight? A Survey on Evaluation Practices at the Intersection of Visualization and the Humanities

出版信息

• 主题领域: 人文学科研究中可视化的评估实践。
• 关键词: 可视化，人文学科，评估，解释性方法，数字人文，以用户为中心的设计，混合方法，溯源，不确定性，认识论。

背景与问题

• 问题/挑战: 当前人文学科研究中的可视化评估实践（VIS*H）通常依赖单一方法，未能严格验证解释深度和学术实用性。可视化的实证主义评估框架与人文学科研究的解释性目标之间存在不匹配。
• 重要性: 弥合这一差距对于推进真正支持人文学科探究的可视化工具至关重要，有助于缩小功能性能与解释能力之间的鸿沟。
• 动机与相关工作: 先前研究记录了数字人文中的可视化方法和挑战，但针对VIS*H特定评估实践的全面调查尚属缺乏。本文基于可视化评估和以人文学科为中心的设计的基础研究，分析方法学上的空白并提出改进建议。

解决方案

• 提出的方法: 对171篇VIS*H设计研究进行系统调查，分析评估工作流程，识别方法学空白，并提出改进评估严谨性和与人文学科实践对齐的建议。
• 创新点:
  1. 全面的编码框架，涵盖评估方法、研究设计、参与者特征和可视化功能。
  2. 对评估质量的统计分析，识别预测更高严谨性的方法和工作流程。
  3. 通过聚类分析识别八种典型评估工作流程。
  4. 基于证据的建议，用于改进VIS*H评估实践。
• 程序与关键技术:
  • 构建VIS*H领域经典文献的种子语料库。
  • 通过滚雪球抽样将数据集扩展至1,317篇论文，筛选出符合纳入标准的171篇设计研究。
  • 对论文进行多维度编码，包括评估方法、参与者人口统计数据和研究设计。
  • 使用统计建模（有序逻辑回归）评估评估质量的预测因素。
  • 使用层次聚类分析识别重复出现的方法学模式。

结果

• 具体发现:
  • 研究的平均评估质量得分为1.98（0–5分量表），60%的论文得分为2或以下。
  • 日志分析（OR ≈ 4.86）、问卷/调查（OR ≈ 4.03）和访谈（OR ≈ 3.21）是更高评估质量的最强预测因素。
  • 结合定性和定量方法的混合设计实现了最高的严谨性。
  • 仅20%的论文明确讨论了评估挑战，但这些论文的质量得分显著更高。
• 相较基线的优势:
  • 采用多样化评估方法的论文，特别是日志分析和结构化调查等证据丰富的技术，显示出显著更高的严谨性，相较于单一方法的论文。
• 实验/评估:
  • 对171篇论文的分析揭示了八种典型评估工作流程，从低严谨性的单一方法设计（如仅案例研究）到高严谨性的混合方法（如日志分析与访谈和测试相结合）。
  • 发现参与者方面的差距：尽管87%的工具面向专家，但仅31%进行了专家评估。
• 局限性与未来工作:
  • 本调查未涵盖非同行评审的形式，如书籍或研讨会论文，可能遗漏了创新实践。
  • 评估质量评分具有主观性，并受到作者跨学科视角的影响。
  • 未来工作应重点开发全面框架，以验证VIS*H工具的解释性和认识论方面。

总结

本文系统调查了人文学科研究中可视化的评估实践，识别方法学空白并提出基于证据的改进建议。主要发现包括低严谨性单一方法评估的普遍存在，以及混合方法设计在实现更高质量方面的重要性。统计分析强调日志分析、结构化调查和访谈是严谨评估的关键组成部分。建议包括方法的三角验证、招募有效参与者以及在设计过程中整合形成性评估。未来挑战包括将可视化工具与溯源、不确定性和人文学科理论相结合，以更好地契合解释性和批判性传统。本研究为推进VIS*H领域的评估实践提供了可操作的见解。