Starrypia：基于综合疗法的AR游戏化音乐辅助治疗应用

文献标题

Starrypia: An AR Gamified Music Adjuvant Treatment Application for Children with Autism Based on Combined Therapy

文献信息

• 主题领域: 自闭症儿童的辅助治疗，结合增强现实（AR）、音乐疗法和深度学习技术
• 关键词: 自闭症儿童, 增强现实, 严肃游戏, 深度学习, 行为干预, 音乐疗法

研究背景与问题

• 发现的问题或挑战:

  • 自闭症特征包括有限的语言交流、异常的社会互动、以及固执的行为模式，现有的治疗方法（如应用行为分析 ABA、音乐疗法和感统训练）存在单一化、吸引力不足、以及疗效受限等问题。
  • 高昂的治疗费用、不平衡的医疗资源分布（例如中国300-500万自闭症儿童，仅有2000余家康复机构）限制了自闭症儿童的治疗可及性。
  • 音乐疗法中缺乏针对性的音乐数据库和创新型多模态交互场景设计，特别是未充分结合以儿童兴趣和能力为中心的技术。

• 重要性:

  • 自闭症在儿童期的及时诊断和干预对改善生活质量具有重大意义。
  • 需要一个低成本、高效以及吸引力强的数字化治疗方法，覆盖广泛、受限较小。

• 研究动机:

  • 将AR技术、多模态交互游戏与音乐疗法的优势相结合，开发一种有效的自闭症干预工具，既能缓解症状，又能兼顾儿童兴趣和参与度。

解决方案

• 提出的方法或解决方案:

  • 开发了一款基于ABA行为理论框架的增强现实（AR）游戏化音乐辅助治疗应用“Starrypia”，其创新地结合了ABA、音乐疗法和感统训练，意在提供轻量、高吸引力且具疗效的数字化治疗工具。
  • 深度学习（BiLSTM模型）用于生成符合自闭症干预需求的音乐片段，同时改进疗法资源匮乏的问题。

• 创新之处:

  • 首次整合ABA行为理论、音乐疗法及感统训练于单应用中，将行为干预融入游戏设计流程。
  • 首次运用深度学习生成用于自闭症音乐疗法的自定义音乐。
  • 实现多模态交互体验，例如3D视觉场景、触控互动及音乐生成，以扩大儿童的参与度和治疗效果。

• 实施步骤与技术细节:

  1. UI设计: 符合自闭症儿童的心理特点，采用最受喜爱的蓝色为主色调，简化界面并使用直观的卡通角色。
  2. 操作流程与关卡设计:
     • 遵循ABA核心理念：刺激、反应、强化及暂停，设计相关游戏关卡。
     • 将音乐疗法分为接收、即兴和再创作，通过多感官刺激（视觉、听觉、触觉）进行干预。
     • 使用特定评分机制（如表现性评分、使用时间）对操作效果进行评价。
  3. 音乐生成:
     • 基于MIDI数据集（包括Nottingham数据库及100首儿童歌曲）和BiLSTM模型生成新的和谐音乐。
     • 编排主旋律、和弦及装饰音并输出为可播放音乐文件。
  4. 评估模块:
     • 使用“音乐日记”和“评估模块”记录儿童的表现并提供反馈。
  5. 实验验证:
     • 针对20名自闭症儿童的为期4周对照实验。

研究成果

• 具体成果:

  • “Starrypia”有效提升了儿童的感官能力、语言交流和自助能力，特别是在感官能力上的改善最为显著。
  • BiLSTM生成的音乐在风格和流畅性上与原始音乐高度一致，具有较高的治疗潜质。
  • 场景设计和界面吸引力得到验证，大部分儿童展现出明显兴趣，高参与度得到保证。

• 与现有解决方案的优势:

  • 通过创新融合传统干预方法，不仅提升了治疗效果，还极大地提高了儿童的使用体验。
  • 使用AR技术和深度学习以拓展传统治疗的空间与时间限制。
  • 治疗费用轻量化使更多家庭受益。

• 实验或评估结果:

  • 平均ABC得分下降3分（治疗组），优于未接受Starrypia干预的控制组（下降1.3分）。
  • 平均CARS得分下降1.5分（治疗组），控制组仅下降0.6分。
  • 使用行为表明儿童更集中、更主动，部分儿童还展现了社交和分享倾向。

• 局限性与未来方向:

  1. 局限性:
     • 样本量不足，仅有20名儿童，且个体差异和持续4周的时间较短，未能得到完全显著的统计结果。
     • 疗法对感官高度敏感的儿童可能不适用，角色和关卡多样性有待提升。
     • 长期用户粘性尚未验证，长时间接触电子设备可能带来健康风险。
  2. 未来方向:
     • 扩大样本量及实验时长，以获得更稳定和显著的统计结果。
     • 增加游戏角色、关卡及个性化设置（如色彩和背景音乐定制）。
     • 引入控制游戏时长的机制，降低过度使用风险。
     • 探索实时量化效果的方法，例如加入儿童注意力测试。