从每日歌曲到每日自我：通过生成式AI歌曲创作支持失聪及重听人士的情感成长

文献标题

From Daily Song to Daily Self: Supporting Emotional Growth of Deaf and Hard-of-Hearing Individuals through Generative AI Songwriting

出版信息

• 主题领域: 面向聋人和听力障碍（DHH）个体的生成式人工智能在情感健康与创意表达中的应用。
• 关键词: 生成式人工智能、聋人和听力障碍、歌曲创作、情感成长、自我表达、音乐治疗、对话代理、可访问性、情绪调节、日记书写。

背景与问题

• 问题/挑战: 现有针对DHH个体的音乐工具主要关注短期效益，缺乏对持续情感反思或迭代式歌曲创作的支持。DHH个体常常难以在歌词中表达情感或将其转化为音乐，而现有系统未能在多次使用中解决这些问题。
• 重要性: 持续的歌曲创作能够为DHH个体提供更深层次的情感益处，例如自我洞察和情绪调节。这对于该群体面临的心理社会挑战（如社会孤立、污名化）尤为重要。
• 动机与相关研究: 先前研究表明，歌曲创作可以促进自我表达和身份重建，但这些研究大多局限于单次干预。日记书写和治疗性歌曲创作表明，重复的自我表达有助于情感愈合，但尚无研究探讨使用生成式人工智能支持DHH个体进行长期歌曲创作。

解决方案

• 提出的方法: SoulNote，一个基于生成式人工智能的系统，集成了对话代理（CA）和音乐生成功能，帮助DHH个体通过迭代式歌曲创作进行情感日记书写。
• 创新点:
  1. 多阶段、以用户为中心的系统设计，涉及音乐治疗师和DHH用户的迭代反馈。
  2. 开发了一个以日记书写为导向的系统，包含反思性对话代理、歌词编辑界面、多模态音乐欣赏和歌曲存档功能。
  3. 通过为期三周的日记研究，在真实环境中验证长期情感效果。
• 流程与关键技术:
  1. 结构化的四阶段歌曲创作流程：音乐概念设定、歌词创作、音乐生成以及欣赏/讨论。
  2. 基于叙事和图像的提问方式，引导用户表达情感并创作歌词。
  3. 基于上下文的音乐风格推荐，帮助用户探索多样化的音乐表达。
  4. 集成基于Web的平台，使用GPT-4.1进行对话，并通过音乐生成API创建个性化歌曲。

结果

• 具体发现:
  • 用户对歌曲创作过程（M=6.04, SD=0.91）和音乐成果（M=6.07, SD=1.01）的满意度较高。
  • 平均每次会话时长为41分24秒（SD=12分56秒）。
  • 参与者报告了自我洞察、情绪调节的提升，以及对情感和自我关怀的日常态度转变。
• 相较基线的优势: 与仅文本、仅对话代理和仅音乐的日记书写条件相比，SoulNote在自我意识、情感表达和情感变化方面得分最高，展示了整合歌词、对话和音乐的价值。
• 实验/评估:
  • 对12名DHH参与者进行为期三周的日记研究（每人12次会话），评估长期情感和行为变化。
  • 对10名新参与者进行后续研究，比较SoulNote与其他日记书写配置。
  • 评估指标包括自我报告（如满意度、情感变化）和行为日志（如歌词编辑时间、重播次数）。
• 局限性与未来工作:
  • 样本规模小且特定（具有残余听力的DHH个体）；研究结果可能无法推广至先天聋人或手语使用者。
  • 单组研究设计限制了因果推断；未来工作应包括对照比较和更长期的跟踪研究。
  • 音乐生成的颗粒度有限；未来系统应提供更多可控输出，以适应个体的听力特征。

总结

本研究介绍了SoulNote，一个旨在支持DHH个体持续歌曲创作和情感成长的生成式人工智能系统。通过结构化、以用户为中心的设计过程，该系统集成了对话代理、音乐生成和日记书写功能，支持迭代式自我表达。为期三周的日记研究表明，SoulNote促进了自我洞察、情绪调节和积极行为转变，参与者将该系统视为自我关怀和情感韧性的重要资源。尽管结果令人鼓舞，未来工作应关注更广泛的包容性、因果评估以及增强的音乐生成能力。