模糊感觉：唤醒的解读噪音与基于声学触觉的理由

文献标题

Fuzzy Feelings: Arousal’s Interpretive Noise and the Case for Acoustic-Based Haptics

出版信息

• 主题领域: 面向聋人及听力障碍者的无障碍设计与触觉反馈。
• 关键词: 触觉反馈、字幕、聋人及听力障碍者、情感线索、唤醒度、声学映射、无障碍设计、语音情感识别、振动触觉信号、多模态设计。

背景与问题

• 问题 / 挑战: 面向聋人及听力障碍者（DHH）的字幕通常无法传达语音中的情感细微差别，特别是唤醒度。当前的触觉反馈方法依赖于基于唤醒度的映射，这种映射具有模糊性且理解不一致。
• 重要性: 语音中的情感线索对于理解和参与至关重要，尤其是对于依赖字幕的DHH观众。解决这一问题可以改善媒体消费中的无障碍性和用户体验。
• 动机与相关研究: 先前的研究探讨了字幕的视觉和触觉增强，重点关注唤醒度作为关键参数。然而，唤醒度缺乏稳定定义，且常与响度混淆。绕过唤醒度推断并直接将声学特征映射到触觉的替代方法显示出潜力，但尚未得到充分探索。

解决方案

• 提出的方法: 基于声学的触觉映射，将音高、节奏和波形线索转化为振动触觉信号，避免依赖唤醒度推断。
• 创新点:
  1. 提供实证证据，揭示DHH观众对唤醒度的心理模型存在差异。
  2. 开发针对四种离散情感（快乐、愤怒、悲伤、平静）的新型声学到触觉映射。
  3. 提出将触觉情感线索整合到字幕媒体中的设计指南。
• 过程与关键技术:
  • 第一部分：通过语音情感识别（SER）复制基于唤醒度的触觉反馈，以调节振动强度和字体样式。
  • 第二部分：测试五种基于语音特征的声学到触觉映射（音高归一化、脉冲、锯齿波、音高增强、未过滤）在四种离散情感中的表现。
  • 对定性反馈进行主题分析，并结合定量的Likert量表评分评估可解释性和情感一致性。

结果

• 具体发现:
  • 基于唤醒度的触觉反馈理解不一致，参与者将振动映射为响度而非情感唤醒度。
  • 基于声学的映射产生了更清晰的情感判断，特定模式与某些情感相符（例如，高唤醒度对应脉冲，低唤醒度对应音高归一化）。
  • 中位数评分显示不同条件和情感之间存在差异，后续测试中观察到显著对比。
• 相较基线的优势:
  • 基于声学的映射避免了唤醒度的模糊性，提供了更具可解释性的情感线索。
  • 多参数映射（例如节奏、音高、波形）相比单参数强度映射支持更丰富的情感表达。
• 实验 / 评估:
  • 参与者（n = 14，平均年龄43岁）完成了两项任务：评估基于唤醒度的触觉反馈（第一部分）和离散情感映射（第二部分）。
  • 刺激包括短视频片段和表演语句，触觉信号通过腕戴式振动触觉设备传递。
  • 分析定量评分和定性反馈以评估可解释性和情感一致性。
• 局限性与未来工作:
  • 样本量小且人口统计偏差限制了结果的普适性。
  • 短形式刺激可能无法反映真实场景，如视频会议或公共场所。
  • 未测试功能性收益（例如理解力、记忆力）。
  • 未来工作应直接比较基于唤醒度和基于声学的映射，探索长期效果，并研究替代的情感构造。

总结

本研究解决了通过触觉反馈向DHH观众传递语音情感的挑战。研究表明，基于唤醒度的映射具有模糊性且理解不一致，而基于声学的映射通过转化音高、节奏和波形特征为振动触觉信号提供了更清晰的情感线索。结果强调了多参数设计、跨模态一致性以及用户控制在触觉字幕系统中的重要性。这些发现为将情感触觉整合到短形式媒体中提供了可操作的指导，增强了无障碍性而不增加视觉负担。未来研究应探索实际应用、长期效果以及替代情感构造。