Jess+: 具有包容性音乐创作的人工智能和机器人技术

文献标题

Jess+: AI与机器人辅助的包容性音乐创作研究

文献信息

• 主题领域: 人工智能与机器人技术在音乐创作中的应用
• 关键词: 包容性设计、人工智能、神经网络、机器人技术、音乐创作、创造性合作、数字化乐谱

研究背景与问题

• 发现的问题或挑战:
  1. 某些音乐创作形式对身体障碍人士存在显著的参与障碍，例如身体灵活性不足或无法操作传统乐器。
  2. 如何通过技术手段强化创作过程的包容性，同时为乐团引入非传统的创意触发器，仍然是一个悬而未决的问题。
• 研究重要性:
  1. 创建包容性音乐创作环境，可为身体有障碍的音乐家提供公平的参与机会。
  2. 为音乐行业探索新的创意工具和技术，推动传统乐谱和创作实践的进一步创新。
• 研究动机与相关工作:
  1. 本研究受到“社区合奏”理念的启发，背景包括由身体障碍和非障碍音乐家组成的包容性合奏项目（如英国的Able Orchestra）。
  2. 以数字乐谱（digital score）为核心概念，研究其对音乐性和创造力的技术转型影响。
  3. 将本研究与既有的人工智能、机器人音乐创作、以及神经网络研究相融合，同时考察包容性设计中的用户协作模式。

解决方案

• 提出的解决方案: 研究团队构建了一个名为Jess+的AI机器人系统，它基于数字乐谱为核心设计，并与身体障碍音乐家和非障碍音乐家合作，进行跨学科探索。系统旨在通过AI和机器人技术提升音乐创作环境的包容性和创造性。

• 创新之处:

  1. 与传统音乐辅助工具不同，Jess+结合了人工智能和机器人技术，通过生成实时的“图形乐谱”和做出空间运动手势，与音乐家互动。
  2. 系统通过脑波（EEG）和皮肤电活动（EDA）等生理信号获取用户输入，形成实时反馈闭环。
  3. 以“人机共创”的方式，促成无障碍和协作性较强的创意互动。

• 实施步骤与关键技术:

  1. 系统架构设计:
     • 系统基于AI工厂模块，整合了7个神经网络模型（例如音频信封、脑波预测等），用于生成互动中的“反应强度”流并驱动机器人动作。
  2. 闭环交互模式:
     • 系统实时采集声音、生理数据，通过神经网络进行处理，生成手势动作控制参数（例如速度、加速度等）。
     • 机器人通过物理运动（绘制图形或舞蹈手势）与音乐家建立创作关系。
  3. 协作与反复改进:
     • 研究团队通过为期4个月的迭代式工作坊，与三名音乐家合作改进Jess+系统，包括调试机器人动作、增强互动逻辑。
     • 围绕体感AI与音频反应设计了多种实验场景，以测试系统对创造性输出的支持作用。

研究成果

• 具体成果:

  1. 系统为身体障碍音乐家（Jess）提供了新的创作平台，使她能够通过生理传感器和AI表达情感。
  2. 非障碍团队成员将Jess+视为“创造性伴奏者”，增强了他们在即兴创作中的信心和自由度。
  3. 系统有效促进了音乐演奏环境中包容性和协作性的提升。

• 优势:

  1. 系统被认为是“非评判性”和“非指令性”的，这种属性激励了参与者冒险创作。
  2. 相较传统乐谱创作工具，该系统以交互和动态生成的动作而出彩，提高了创作的随机性和灵感触发。

• 实验与评估结果:

  1. 音乐家确信机器人正在“倾听”他们的音乐，并在互动中创造出一种非语言的关联关系。
  2. 实验过程中，演奏者报告系统刺激了他们的创造力，促进了音乐风险的心态和信心。
  3. 当系统被感知与其他人一样为“合奏成员”时，其参与带来了比预期丰富得多的创造性合作经验。

• 局限性与未来方向:

  • 局限性:
    1. 对音频/生理数据的依赖可能会导致因传感器故障影响用户体验。
    2. 当前系统仅局限于特定高水平音乐家，不确定其对初学者或多样需求群体的适应性。
  • 未来方向:
    1. 优化互动识别机制，增加对更广泛用户群体的适配能力。
    2. 探索更丰富的机器人表达方式（例如舞蹈等非音乐表达）以拓展其应用场景。
    3. 针对教育机构和包容性社会项目设计增强型系统迭代版本。

总结

本研究开辟了AI与机器人技术在音乐包容性与创造力领域融合的潜力。Jess+不仅是技术工具，更成为音乐创作的多元桥梁，通过其无偏见的合作方式，激励创作者突破自身限制，感受艺术创新的自由力量。这为人机协作在艺术领域的综合应用树立了重要范例。