触觉字幕：使用音频触觉界面实时增强聋人和重听观众的发言者指示

文献标题

Haptic-Captioning: Using Audio-Haptic Interfaces to Enhance Speaker Indication in Real-Time Captions for Deaf and Hard-of-Hearing Viewers

文献信息

• 主题领域: 可触觉辅助技术与辅助字幕研究，聚焦于为听障用户实时字幕中的说话人指示。
• 关键词: 触觉反馈、字幕、无障碍技术、聋人和听障用户、多模态反馈

研究背景与问题

• 作者发现了哪些问题或挑战？

  1. 在实时字幕场景中，听障用户难以识别多个说话者的切换，这在实时转写或自动语音识别生成字幕中尤为明显。
  2. 现有的视觉增强字幕设计（如颜色编码、头像标识等）在实时环境下可能存在信息延迟、视觉疲劳以及其他认知负担。

• 为什么这个问题很重要？

  • 使用字幕是听障者访问视频与音频内容的重要途径，提高字幕的可访问性和可读性有助于为听障人群创造更包容的媒体体验。
  • 在多说话人场景中，通过增强的字幕方法解决说话人指示问题将显著改善听障用户的互动体验。

• 研究动机与相关工作：

  • 作者从现有的研究出发，发现视觉为主的说话人指示方法存在局限性（例如无法处理频繁的说话人切换）。同时，触觉辅助技术逐渐显现出在音频感知与环境互动中的潜力。

解决方案

• 方法或解决方案:

  • 提出了“Haptic-Captioning”系统，通过音频-触觉界面将声音直接转化为与声音特性（如音量和音高）相匹配的触觉振动，以增强实时字幕中的说话人指示。

• 创新之处:

  1. 多模态反馈：综合利用传统视觉字幕与触觉反馈信息，提升字幕的可读性和说话人识别准确性。
  2. 没有显著延迟：声音即时转化为触觉振动，避免视觉字幕方法中的延迟问题。
  3. 直接感知：模拟听力用户感知不同声线的特性，用触觉帮助听障用户通过振动识别说话者。

• 实施步骤及关键技术:

  1. 设备设计: 使用配备声音线圈驱动器的振动设备，并设计为可佩戴、握持或附加的形态。
  2. 实验设计:
     • 早期研究: 测试通过纯触觉反馈识别说话者的能力。
     • 比较实验: 将系统与现有视觉字幕方法进行比较。
     • 情境研究: 结合不同设备和媒体类型（如电影、直播、体育活动）进行探索。
  3. 数据分析: 收集用户的反馈、准确度指标及主观问卷回答，以量化系统效果。

研究成果

• 具体成果:

  1. 早期研究结果: 参与者能以72.34%的准确率通过振动识别2-3名说话人，说明触觉反馈具备一定的说话人指示能力。
  2. 方法比较结果:
     • Haptic-Captioning在说话人指示的准确率（93.75%）上领先于传统实时字幕和部分非实时视觉字幕方法。
     • 用户主观评分显示在所有体验维度上，Haptic-Captioning优于传统实时字幕，但其接受度仍低于部分非实时视觉方法。
  3. 情境研究结果:
     • 用户认为触觉反馈能增强字幕理解、对情感的感知以及媒体参与度。
     • 使用场景和环境特性（如多人环境交互、嘈杂环境）会对触觉离散程度和模块化设计提出新的需求。

• 与现有解决方案相比的优势:

  1. 实现了实时字幕增强，无显著延迟现象。
  2. 提供更直观的多模态反馈，减少了视觉字幕中的认知负担。

• 实验或评估结果:

  • 实验显示触觉增强可以帮助DHH用户更流畅地感知多场景下的字幕和说话人切换。
  • 多数用户反馈触觉结合视觉信息更能提升信息获取质量。

• 局限性与未来方向:

  1. 局限性:
     • 学习曲线：用户需熟悉触觉模式，初期可能存在不适和错误识别。
     • 振动强度可调节性不足，长时间使用可能导致疲劳或感官过载。
     • 公共环境使用可能产生隐私与噪声干扰问题。
  2. 未来方向:
     • 优化触觉算法以标准化音频-触觉转化。
     • 融合视觉与触觉的多模态字幕提升设计。
     • 探索在即时小组对话场景中的适用性。
     • 检验外部环境（如公共交通）对设备的干扰和适配方案。

以上是对该文献的结构化整理与要点提炼，便于理解作者提出的解决方案及其影响。