埃里尔：数据声音化的声明式语法规则

文献标题

Erie: A Declarative Grammar for Data Sonification

文献信息

• 主题领域: 数据声化、数据可视化工具开发、数据无障碍设计
• 关键词: 数据声化、声明式语法、数据无障碍、语音辅助设计、音频数据图表

研究背景与问题

• 问题与挑战:
  • 数据声化将数据变量映射为听觉变量（如音调、音量）。尽管这一领域有许多研究成果，现有的软件支持仍然有限，导致研究者难以充分探索其潜力。
  • 当前许多工具如 Sonification Sandbox 和其他开发库（如 R 和 JavaScript 库）功能有限，通常只支持紧耦合的特定可视化图表类型，制约了设计的灵活性。
  • 许多工具的接口并不程序化，难以用于需要频繁数据更新或用户交互的场景。
• 重要性:
  • 数据声化在数据无障碍（例如协助视障群体理解数据）、科学观测、数据艺术（如展览）及增强数据叙述等多个领域具有重要应用。
  • 提供操作简便且表达力强的数据声化设计工具，可以使创作者探索多样化设计。
• 研究动机与相关工作:
  • 现有数据声化领域的研究主要关注无障碍可视化设计中的声音映射直观性及设计方法。
  • 研究人员普遍采用手工编码（如 Garage Band 或其他定制化解决方案），这对非音频专业人士设置了技术门槛。

解决方案

• 方法与框架:
  • 文章提出了一种声明式语法——Erie。该语法支持抽象表达数据与音频的映射关系，提供了开发独立于视觉形式的丰富声化设计能力。
  • Erie 允许定义可扩展的音调设计（如采样、调频/调幅合成器），支持多种编码通道、听觉标识和多声化设计组合选项（如序列播放和叠加）。
  • 提供了基于标准 Web Audio 和 Web Speech API 的 Erie 编译器和播放器。
• 创新性:
  • 独立性：Erie 不依赖于特定的视觉图表形式，可支持独立的声音图设计。
  • 表达性：允许指定不同声音特征、通道和多种声化的组合表达（如低音、倍增效果、调频变化）。
  • 数据驱动性：语法遵循“数据驱动”，支持一键式数据到音频转换。
  • 扩展性：支持外部音频文件、过滤器和自定义音频节点的扩展。
  • 兼容性：与标准音频库及浏览器 API 兼容。
• 实施细节:
  • 使用 JSON 风格的语法定义音频流、数据与转化、音调、编码以及流的组合。
  • 提供播放选项（播放、暂停、跳转）及 API 接口用于开发者集成到不同的音频环境中。

研究成果

• 成果与验证:
  • 通过 Erie 复现了多个数据声化原型（如 Audio Narrative 和 Chart Reader），展示了其支持复杂声化设计的能力。
  • Erie 提出的公开 API 和在线编辑器为开发者提供了便于上手的工具设计平台。
  • 提供了一些交互扩展及定制化能力，展示了作为开发者工具和独立分析工具的潜力。
• 优势比较:
  • 与现有工具相比，Erie 提供了更多的音频通道和组合设计选择（如时间、调频/调幅、音量、音调覆盖等）。
  • 通过声明式语法支持动态音频生成，避免了手工调整编码的技术门槛。
• 实验或评估结果:
  • 文中展示的实验结果表明，基于 Erie 的设计更易复用、兼容且切换灵活。提供了编解包器的扩展能力以及 API 跨平台的适应性。
  • 包括实时密度估计、音频直方图和模型拟合等在内的不同应用场景验证了 Erie 提供的广泛可能性和技术可行性。
• 局限性与未来方向:
  • 局限性: Erie 当前面向的主要是低阶开发者工具，需更高阶的用户体验（如更多交互设计支持和更细粒度的播放控制）。
  • 未来工作:
    • 支持实时流数据应用及更多更动态场景。
    • 拓展交互模式，诸如键盘操作、语音识别及触觉反馈的无障碍支持。
    • 将 Erie 扩展到 R 和服务端音频生成等其他计算环境。
    • 开发面向自动化推荐的数据声化设计智能工具。

结论

文章贡献了第一个具有高扩展性、独立性的声明式数据声化语法（Erie），并通过实施验证了其作为数据声化研究及工具开发平台的潜力。