通过音频数据叙事支持可访问的数据可视化

文献标题

支持通过音频数据叙事实现可访问的数据可视化 (Supporting Accessible Data Visualization Through Audio Data Narratives)

文献信息

• 主题领域: 数据可视化、无障碍设计、音频数据呈现
• 关键词: 数据可视化, 无障碍设计, 音频叙事, 数据声化, 时间序列数据, 屏幕阅读器用户, 可访问性技术, 数据探索, 多模态交互

研究背景与问题

• 发现的问题或挑战: 数据可视化在影响公众决策、政策制定和知识获取方面起重要作用，但对使用屏幕阅读器的盲人或视觉障碍者来说通常是不可访问的。现有的替代方法（如表格数据和文本描述）通常无法提供直接的、深入的数据访问，且有时质量不一或容易过时。
• 问题重要性: 数据可视化对于科学传播、决策支持和教育至关重要。盲人和视障用户面临的数据可视化可访问性问题限制了他们获取数据洞察和生成自己解释的能力。
• 研究动机与相关工作: 数据声化（sonification）是一种将数据关系转化为听觉信息的技术，但目前绝大部分研究专注于低层数据任务。高层任务如趋势识别和解释仍存在优化空间。作者提出了一种结合文本描述和数据声化的“音频数据叙事”方法，旨在解决用户在理解具有复杂趋势的时间序列数据时的认知负担问题。

解决方案

• 方法或解决方案: 提出了动态编程算法，用于自动生成音频数据叙事。这种叙事通过交替呈现文本描述和音频数据声化来帮助用户理解时间序列数据。
• 创新之处:
  • 综合利用音频和文本信息，提供多模态的数据呈现。
  • 通过合作设计定义音频叙事的设计原则，例如分段、避免听觉信息和文本描述重叠等。
  • 使用动态规划算法优化声化片段的划分，考虑趋势反转次数、片段长度及总片段数量等。
• 实施步骤与技术:
  1. 通过感知重要点算法（PIP）识别时间序列数据的关键边界点。
  2. 使用动态规划对数据进行片段优化，确保片段符合设计原则。
  3. 为每个片段生成相应的音频声化，并使用模板生成文本描述。
  4. 将文本描述和音频片段组成完整的交替式叙事结构。

研究成果

• 具体成果:
  • 提出了音频数据叙事生成框架，并通过基于时间序列的实际数据集进行了演示。
  • 设计并开展了一项包含16名盲人和视障屏幕阅读器用户的实验，检验音频数据叙事相较传统声化方法的效果。
• 与现有解决方案的比较优势:
  • 与仅使用音频声化方法相比，音频数据叙事显著提高了用户对数据的理解和洞察能力。
  • 用户反馈表明音频叙事结构能更好地帮助他们理解复杂时间序列中的细节趋势。
  • 在复杂数据（如具有多次趋势反转的数据）中，音频叙事效果尤为显著。
• 实验或评估结果:
  • 数量与质量的洞察: 使用音频数据叙事，用户生成的数据洞察数量（包括推断洞察）显著高于传统方法。
  • 任务效率: 在涉及声化部分理解的任务上，音频数据叙事展现了较高的效率，尤其是在复杂数据集的模式查找任务中表现优异。
  • 用户反馈: 大多数参与者认可音频和文本结合的优势，认为声化信息更具记忆性，帮助验证文本描述的准确性。
• 局限性与未来方向:
  • 局限性:
    • 数据声化对听觉处理要求较高，参与者报告了较高的认知负担。
    • 实验仅限于数字环境，可能忽略了音频质量和环境噪音的影响。
    • 当前方法针对单变量时间序列，不适用于其他数据可视化类型（如散点图）。
  • 未来方向:
    • 探索更丰富的交互技术（如动态数据导航和参数调整）。
    • 扩展到多维时间序列或其他图表形式的数据。
    • 提供更个性化的叙事生成工具，以满足不同用户的需求。

总结

作者提出了一种基于音频数据叙事的无障碍设计解决方案，通过在文本描述和声化之间的交替呈现，显著提升了盲人和视障用户对时间序列数据的理解能力。实验结果表明该方法特别适合复杂数据集，能够帮助用户形成独立洞察。未来研究将集中于扩展方法的应用范围及进一步优化用户交互体验。