一种让聋人和重听人士通过探索和定制跨模式音乐概念来享受音乐的方式

文献标题

A Way for Deaf and Hard of Hearing People to Enjoy Music by Exploring and Customizing Cross-modal Music Concepts

文献信息

• 主题领域: 无障碍技术与音乐感知
• 关键词: 聋人和听力障碍者, 音乐欣赏, 音乐感官替代系统, 概念化, 交叉模态映射

研究背景与问题

• 问题或挑战: 聋人和听力障碍者（DHH）在通过传统声音媒介体验音乐方面存在困难，即使使用视觉和触觉反馈的替代系统也仍然难以充分理解和欣赏音乐。当前许多音乐替代系统无法显著提升音乐欣赏体验，其中交叉模态映射的设计缺乏直观性和个性化支持。
• 重要性: 音乐不仅是一种艺术形式，还具有丰富的情感表达、社交功能和个人智力满足的作用。提高 DHH 人群对音乐的自然感知和欣赏能力，可以极大改善其生活质量和参与社会互动的机会。
• 研究动机与相关工作:
  • 通过文献和焦点小组访谈确认了现有音乐替代系统的既有问题，包括勉强传递的音乐信息和缺乏支持用户适配个性化的设计阶段。
  • 探索基于视觉化和触觉反馈的音乐感官替代系统潜力，寻求解决用户在音乐欣赏中对相关音乐元素的感知障碍。

解决方案

• 提出的解决方案:
  • 构建了一种基于“交叉模态概念化框架”的音乐感官替代系统，包含两个核心策略：1）探索，通过使用虚拟乐器帮助用户理解音乐元素与替代感官之间的映射关系；2）个性化定制，通过调整感官反馈满足用户的个人偏好。
• 创新之处:
  • 首次提出并验证了交叉模态概念化框架在音乐欣赏中的必要性和有效性。
  • 引入了个性化调节工具，如视觉元素（形状、颜色、尺寸）的选项和触觉刺激（强度和灵敏度）的调整功能，将用户需求纳入系统设计。
• 实施步骤与关键技术:
  • 使用焦点访谈确定聋人和听力障碍者的痛点和需求。
  • 系统分为探索阶段（通过模拟乐器学习模态关系）以及定制阶段（调整视觉与触觉反馈）。
  • 实验设计包括对28位 DHH 参与者进行对比组测试，验证交叉模态概念化框架对音乐欣赏体验的提升效果。

研究成果

• 具体成果:
  • 实验证实，使用交叉模态概念化框架的实验组在音乐欣赏体验中显著提升，包括对音乐元素（音高、响度和节奏）变化的感知增强、满意度提升以及情绪共鸣（愉悦与激动）的改善。
  • 个性化定制阶段显著提高了参与者对音乐的兴趣，部分参与者因其定制能力而重新建立了对音乐的积极态度。
• 与现有解决方案的比较优势:
  • 实现了视觉与触觉反馈的高度个性化设计，使用户能够自由调整并表达个人音乐体验。
  • 解决了现有系统中缺乏直观交叉模态映射的缺陷，提高了系统的接受度和实用性。
• 实验与评估结果:
  • 实验中，实验组在第5次测试中所有音乐欣赏维度（音高、响度、节奏感知、满意度、情绪等）评分均显著提升，而控制组则仅呈现轻微改进甚至下降。
  • 质性分析表明，探索和定制阶段帮助参与者逐步理解模态映射，使音乐感知从单调无意义的信号转变为可识别的、融合的音乐体验。
• 局限性与未来方向:
  • 当前系统的模态映射较为基础，未来可扩展到更多音乐元素（例如和声和音色）。
  • 系统目前仅使用虚拟钢琴和鼓作为乐器，未来研究可考虑更多乐器及音乐表达形式。
  • 需扩展样本覆盖范围，以验证系统对不同听力损伤群体的普适性。
  • 在技术平台上，未来需开发更易携带的硬件设备或移动应用版本。