两种模态演变的二重奏：数据通信中文本与可视化整合的综述

文献标题

The Evolving Duet of Two Modalities: A Survey on Integrating Text and Visualization for Data Communication

出版信息

• 主题领域: 文本与可视化在数据传播中的整合。
• 关键词: 叙事文本、数据可视化、故事讲述、文本设计、文本与可视化整合、实证研究、叙事任务、交互系统、大语言模型、数据传播。

背景与问题

• 问题/挑战: 关于文本在数据可视化中的角色研究较为分散，常将其作为数据输入、交互方式和叙事工具的角色混为一谈。文本作为叙事媒介的具体应用仍未被充分探索和系统化。
• 重要性: 文本对于提升数据可视化的理解力、参与度和记忆性至关重要。理解文本的作用对于设计跨新闻、教育和科研领域的有效传播工具至关重要。
• 动机与相关工作: 之前的综述已广泛审视了文本作为数据和交互的角色，但缺乏对文本作为叙事工具的系统研究。现有关于数据讲述和可视化设计的研究通常忽略了文本组件的传播功能，导致实践者缺乏可操作的指导。

解决方案

• 提出的方法: 对98篇学术论文进行系统综述，探讨文本作为叙事工具在数据可视化中的整合。
• 创新点:
  1. 将分散的知识整合为一个三阶段框架（为什么、是什么、如何）用于数据可视化中的文本设计。
  2. 确定了八种文本形式及其与可视化的整合方式。
  3. 提出了五种主要叙事任务（解释、强调、耦合、适应、验证），并为每种任务编制了设计技术目录。
  4. 突出了研究空白和未来工作机会，特别是在人工智能辅助叙事和动态文本-可视化关系等新兴领域。
• 过程与关键技术:
  • 使用目标关键词搜索，从主要的可视化和HCI会议中筛选出98篇论文。
  • 从三个维度分析论文：动机（为什么）、表现形式（是什么）和设计技术（如何）。
  • 开发了文本形式、整合方式和叙事任务的分类法。

结果

• 具体发现:
  • 确定了八种文本形式（如标题、标签、注释、描述）和三种整合方式（文本嵌入可视化、并肩协作、可视化嵌入文本）。
  • 将设计技术分类为五种叙事任务：
    • 解释：通过叙事结构组织文本、添加上下文、管理视角、丰富传播风格。
    • 强调：突出关键实体、增强可读性、扩展语义。
    • 耦合：内嵌增强、文本与可视化的引用、相互翻译。
    • 适应：支持多种整合格式、格式转换、场景特定设计。
    • 验证：手动批评与改进、验证提示。
  • 实证研究表明，文本可以提升理解力、记忆力和参与度，但在效率和态度变化等指标上存在不一致性。
• 相较基线的优势:
  • 提供了一个结构化框架，用于理解和设计数据可视化中的文本，弥补了之前分散研究的空白。
  • 突出了尚未充分探索的领域，如双向文本-可视化耦合、自适应格式，以及人工智能生成叙事的验证。
• 实验/评估:
  • 综合了23项研究的实证发现，涵盖理解力、记忆力、信任度和注视行为等指标。
  • 通过对比实验和用户研究证明了文本与可视化整合的有效性。
• 局限性与未来工作:
  • 仅限于特定会议的论文，可能遗漏了相关研究。
  • 人工智能和大语言模型的快速发展可能需要对分类法进行更新。
  • 呼吁进行更深入的实证研究，探索新兴媒介（如虚拟现实、物理化）以及验证人工智能生成叙事的技术。

总结

本综述系统性地探讨了文本作为叙事媒介在数据可视化中的作用，弥补了之前研究的空白。它将文本形式、整合方式和设计技术分类为五种叙事任务：解释、强调、耦合、适应和验证。实证发现强调了文本在提升理解力、参与度和信任度方面的价值，同时指出了动态文本-可视化关系和人工智能辅助叙事等领域的不一致性和未充分探索的方向。该研究为研究者和实践者提供了可操作的指导，对设计有效且可信的数据传播工具具有重要意义。