钢琴家触键的可视化：将表达性钢琴表演从音频转录为钢琴键运动

文献标题

Visualising Pianists' Touch: Transcribing Expressive Piano Performance from Audio to Piano Key Motion

出版信息

• 研究领域: 用于分析钢琴表演表现力的音频到运动转录。
• 关键词: 钢琴键运动、表现力演奏、音频转录、音乐教育学、人机交互、运动轨迹、深度学习、音乐教育、演奏反馈、具身学习。

背景与问题

• 问题 / 挑战: 钢琴演奏的MIDI表示是离散的，缺乏表现力演奏中连续的物理手势。现有的音乐教育和创意系统依赖于MIDI或音频派生特征，这些特征无法捕捉细粒度的物理细节。
• 意义: 从音频中捕捉连续的钢琴键运动能够为音乐教育、演奏分析和具身学习提供更丰富的反馈，而无需使用专门的硬件设备。
• 动机与相关工作: 先前的研究探索了MIDI转录和使用传感器获取高分辨率钢琴键运动数据，但这些方法要么局限于离散表示，要么需要不切实际的硬件。本论文通过仅从音频预测连续键运动轨迹来填补这一空白。

解决方案

• 提出的方法: 一种新颖的转录技术，直接从音频预测连续钢琴键运动轨迹，利用最先进的MIDI转录模型进行迁移学习。
• 创新点:
  1. 引入一种无需专用传感器即可从音频转录连续钢琴键运动的技术。
  2. 对该技术的教育和实践相关性进行定量和定性验证。
  3. 展示从音频可靠推断表现力运动的能力。
  4. 发布模型权重、代码和界面以供复用和部署。
• 流程与关键技术:
  1. 调整Kong等人的MIDI转录模型以预测连续键运动。
  2. 在同步音频和键运动录音数据集上进行微调。
  3. 使用音符级和轨迹级指标进行定量评估。
  4. 用户研究比较键运动表示与MIDI，并评估表现力对比。

结果

• 具体发现:
  • 在SkillCheck和Lesson子集上分别实现了音符F1分数0.9642和0.7938。
  • 使用替换头策略重建键运动轨迹的平均绝对误差为0.05 mm。
  • 用户研究参与者对转录的键运动在反映声音生成方面的评分显著高于MIDI（平均评分：4.83 vs. 3.24）。
  • 在研究II中，表现力对比（如模糊与清晰）以81.1%的准确率被识别。
• 相较基线的优势:
  • 在捕捉钢琴演奏的物理细节方面优于类似MIDI的表示。
  • 替换头策略在轨迹重建方面优于附加头策略。
• 实验 / 评估:
  • 数据集: 来自专业钢琴教学项目的78.2小时同步音频和键运动数据。
  • 指标: 帧F1、音符F1、平均绝对误差（MAE）、均方误差（MSE）和动态时间规整距离（DTWD）。
  • 用户研究: 研究I中有32名参与者，研究II中有26名参与者，包括专业钢琴家和业余爱好者。
  • 跟进访谈: 与学生和教师进行访谈以评估教育学效用。
• 局限性与未来工作:
  • 当前模型在涉及大量踏板使用的乐曲中表现较差。
  • 偶尔出现转录伪影（如不自然的轨迹）。
  • 缺乏实时反馈能力。
  • 未来工作包括明确的踏板建模、改进轨迹平滑以及实现实时转录。

总结

本文提出了一种从音频转录连续钢琴键运动的新方法，解决了MIDI在表现力演奏表示中的局限性。该方法利用最先进的转录模型并针对键运动预测进行了调整，通过定量指标和用户研究验证了其有效性。结果表明，转录的键运动轨迹比MIDI更能捕捉表现力细节，可应用于音乐教育和演奏分析。未来工作将致力于提高转录质量，加入踏板建模，并实现实时反馈以扩大适用范围。