Front Row：为视障观众自动生成网球转播的沉浸式音频呈现

文献标题

Front Row: Automatically Generating Immersive Audio Representations of Tennis Broadcasts for Blind Viewers

文献信息

• 主题领域: 人机交互、计算机视觉、无障碍设计
• 关键词: 可视障碍、体育、无障碍技术、计算机视觉、沉浸式音频、盲人用户体验、体育转播、无障碍视频

研究背景与问题

• 发现的挑战:

  • 视障人士难以通过常规电视或广播媒体完全理解体育比赛内容；现有文字或语音描述不能提供空间上的信息。
  • 视障人士依赖旁观者或广播员的解释，这种间接方式限制了他们形成对比赛的自主理解。
  • 现有技术（如高精度摄像头和传感器）依赖昂贵硬件，仅适用于少数体育赛事。

• 重要性: 体育转播是视障群体融入社会和文化的重要方式，但其不可访问性使得许多人感到孤立或被排除在外。

• 研究动机与相关工作:

  • 过去的研究探索了可触觉图形和音效技术，但这些方法对于快速变化的场景（如体育视频）并不适用。
  • 如Action Audio依赖场地硬件安装，而Front Row致力于直接从视频中生成音频表征，从而提高技术的普遍适用性。

解决方案

• 提出方法:

  • Front Row系统: 通过计算机视觉从网球比赛视频中提取玩家位置和动作，并以空间化（3D）音频形式呈现比赛细节。
  • 系统主要由三个音频提示组成：玩家位置（低音连续声）、玩家击球动作（铃声区分正手和反手）、和环境游戏声音（如观众欢呼）。

• 创新之处:

  • 直接从视频生成音频表征，摆脱硬件依赖，让所有体育转播都具备潜在的无障碍性。
  • 前所未有地结合空间化音频技术，为视障用户提供实时动感和位置理解。
  • 支持视障用户自主感知比赛内容及分析球员策略。

• 实施步骤及关键技术:

  1. 计算机视觉处理:
     • 检测球场、球和玩家位置，并使用深度学习模型对球和玩家进行跟踪。
     • 通过轨迹变化识别击球时间点，并从玩家周围的帧中检测击球类型（正手/反手）。
     • 使用支持向量机检测比赛片段中的“有效比赛时刻”（例如换边期间忽略渲染）。
  2. 音频设计:
     • 使用Steam Audio工具生成3D音频场景，将球场渲染为用户前方的二维平面。
     • 综合环境音频（如观众声音）与生成音效，为视障用户增加真实性。
  3. 用户定制化体验:
     • 提供直观的空间位置提示和针对不同技术熟练度用户的可调音效模式。

研究成果

• 具体成果:

  • Front Row显著提高了用户对比赛内容的理解，减少错误率：例如，识别击球类型时与电视相比，错误率降低了90%以上。
  • 提升沉浸感：用户表示通过Front Row能够自主分析比赛、形成对球员心态和策略的理解。
  • 用户体验整体优于电台和电视，尤其在空间理解和准确性方面。

• 优势对比:

  • 与电视相比：Front Row赋予实时内容解释能力。
  • 与广播相比：Front Row摆脱了主持人的偏见，提供更加中立、准确的比赛信息。

• 实验与评估结果:

  • 技术测试中球员位置追踪的平均准确率达97.2%。
  • 用户研究显示12位视障参与者中有8位将Front Row列为首选观赛体验。

• 局限性与未来方向:

  • 局限性: Front Row设计音效中连续的“低音声”被部分用户认为缺乏真实感；未能完全覆盖复杂赛事（如多人竞技类）。
  • 未来方向:
    • 开发多模式反馈（如触觉+音频），传递击球强度等细节。
    • 支持更复杂场景中不同玩家数量和动作表征（如足球或篮球）。
    • 扩展至更多体育项目（如羽毛球、乒乓球）的无障碍转播。