PSST：使盲人或视障开发者能够创作流媒体传感器数据的声化

文献标题

PSST: Enabling Blind or Visually Impaired Developers to Author Sonifications of Streaming Sensor Data

文献信息

• 主题领域: 无障碍技术与物理计算领域，支持盲人或视障开发者创建实时数据的声音化展示工具
• 关键词: 无障碍技术, 物理计算, 声音技术, 数据可视化, 盲人开发者, 数据流, 编程工具, 动态数据, 声音化工具, 数据传感器
• 文献发表会议: The 35th Annual ACM Symposium on User Interface Software and Technology (UIST ’22)

研究背景与问题

• 发现的问题或挑战:
  • 目前的物理计算工具和编程环境大多默认用户具有视觉能力，缺乏对盲人和视障用户在实时数据访问上的支持。
  • 数据传感器状态的呈现通常以视觉方式，盲人开发者难以通过现有工具调试和理解传感器生成的数据。
  • 已有的一些声音化工具仅聚焦于静态数据的声音化，而不支持流数据的声音化和交互。
• 重要性:
  • 改善盲人开发者与物理计算技术的交互能力，可促进多样化的STEM（科学、技术、工程和数学）教育与普及。
  • 为完全依赖听觉的用户提供实时数据理解工具，能帮助这些用户检验、调试系统及其传感器。
• 研究动机与相关工作:
  • 尽管之前的一些研究尝试过通过参与式设计优化无障碍技术，但很少关注如何帮助盲人用户动态理解流数据。
  • 需求分析显示，盲人开发者迫切需要一种工具用于声音化实时数据的灵活开发和动态调试。

解决方案

• 方法或解决方案:
  • 提出了一种名为 PSST（Physical computing Streaming Sensor data Toolkit）的工具，旨在支持盲人或视障开发者创建流数据的声音化展示。
  • PSST 提供可定制的数据转化、过滤及多模态输出功能，支持用户设计动态数据的声音展示。
  • 设计了一个专用的图形化用户界面（PSST Dashboard），方便非编程背景的盲人用户使用。
• 解决方案的创新之处:
  • 通过无障碍声音化以及屏幕阅读器友好的设置，使BVI（盲人/视力受损）开发者能够自主创建个性化的数据展示。
  • 支持实时流数据的声音化，并能扩展不同类型的输入、输出和数据处理。
  • 提供对传感器数据的多种交互模式，如旋律化音高展示、警报性音效和基于范围的过滤。
• 实施步骤与关键技术:
  • 核心架构: 包括数据输入（DataSink）、数据处理（DataHandler) 和数据输出（DataOutput）模块。
  • 技术实现: 利用 TypeScript 构建，依赖 Web Audio API 和 Web Speech API 实现声音输出以及 RxJS 处理数据流。
  • 可视化界面: 提供可通过屏幕阅读器进行访问的图形用户界面支持。

研究成果

• 具体成果:
  • 设计并实现了 PSST 工具套件和 PSST Dashboard，支持 BVI 用户实现多模态数据展示。
  • 通过PSST，用户可以进行实时流数据声音化、多传感器并行处理及动态调试。
  • 实现了一系列应用场景的验证，如模拟鼠标位置、高音调控制键盘交互、以及基于物理传感器的数据日志生成。
• 优势:
  • 与现有声音化工具相比，PSST 强调了盲人用户的可定制性需求，如动态配置不同的音调、语音及多种声音类型。
  • 通过实例验证了 PSST 在实时监控传感器反应、分析趋势及处理动态交互数据方面的实用性。
• 实验与评估结果:
  • 通过用户研究（两名盲人开发参与者）验证了工具包的可用性及无障碍性，用户对工具的可定制性和实时反馈能力表示满意。
  • 用户学习了传感器响应规律、识别了异常传感器值，并探索了多传感器数据流的交互。
• 局限性与未来方向:
  • 当前的PSST 数据库功能范围有限，支持的音频输出类型较少（如未支持动态平移或立体声输出）。
  • 未深入研究 BVI 开发者使用工具包编程接口的用户体验。
  • 未来可能扩展至其他数据密集型领域（如机器学习与数据科学），并引入时间轴回放功能。