PianoBand：用于便携式钢琴交互的多模态腕带接口

文献标题

PianoBand: A Multimodal Wristband Interface for Portable Piano Interaction

出版信息

• 主题领域: 针对便携式钢琴交互的音乐接口。
• 关键词: PianoBand, 手腕带接口, IMU传感, 基于视觉的交互, 便携式钢琴系统, 标记点, MIDI控制器, 音乐教育, 动态表现力, 人体工学设计。

背景与问题

• 问题/挑战: 传统钢琴不可移动，限制了可及性和创造力。现有的便携式解决方案（如卷轴钢琴和基于XR的系统）存在交互质量差、范围有限、遮挡问题以及动态检测不可靠等问题。
• 重要性: 便携式钢琴系统能够将音乐练习和创造力扩展到日常场景，使音乐教育和表演更加可及。
• 动机与相关研究: 基于视觉的系统（使用外部摄像头）和硬件为中心的解决方案已被探索，但面临固定位置、八度范围有限、高延迟等限制。手腕佩戴设备在精度和空间细节方面具有潜力，但尚未以足够的精度应用于钢琴交互。

解决方案

• 提出的方法: PianoBand是一种多模态手腕带系统，结合了IMU、腕下RGB摄像头和带标记点的打印键盘纸，用于便携式钢琴交互。
• 创新点:
  1. 集成IMU传感和腕下视觉，实现准确的敲击检测和指尖定位。
  2. 轻量级多模态管道支持实时钢琴交互，包括动态力度和演奏技巧。
  3. 可扩展设计支持MIDI输出和可定制键盘布局。
• 流程与关键技术:
  • 基于IMU的敲击检测使用1D CNN。
  • 基于视觉的指尖回归采用多任务CNN进行接触分类和热图定位。
  • 通过标记点分割和黑白键分类实现键映射。
  • 提供两种使用模式：基础模式用于高效触发音符，专业模式支持高级演奏技巧。

结果

• 具体发现:
  • 敲击检测在二分类中达到99.9%的准确率，在多分类中达到98.7%的准确率。
  • 指尖回归平均像素误差为8.90像素（相对误差为0.55%）。
  • 在线评估报告敲击检测准确率为98.0%，指尖回归准确率为96.3%，端到端延迟平均为26.38毫秒。
• 相比基线的优势:
  • 音符准确率与卷轴钢琴相当（95.5% vs. 96.9%），显著高于XR钢琴（76.1%）。
  • 初学者学习时间更短（173秒 vs. 卷轴钢琴的356秒）。
  • 用户评分更高：便携性（6.3/7），表现力（5.6/7），扩展性（5.8/7）。
• 实验/评估:
  • 混合方法研究，15名参与者（5名专业人士，10名初学者）比较PianoBand与卷轴钢琴和XR钢琴。
  • 与资深钢琴教师和专业作曲家的专家访谈。
  • 在不同光照和运动模糊条件下进行鲁棒性测试。
• 局限性与未来工作:
  • 手腕带设计中的人体工学限制，包括长时间使用时的不适感。
  • 在快速节奏（>110 BPM）下，由于运动模糊导致性能下降。
  • 对双手和高级演奏技巧的评估有限。
  • 需要更大规模、长期的用户研究。

总结

PianoBand提出了一种用于便携式钢琴交互的手腕佩戴多模态系统，集成了IMU传感、腕下视觉和打印键盘纸。该系统在敲击检测和指尖定位方面表现出高精度，支持动态表现力，并作为MIDI兼容接口提供扩展性。用户研究和专家反馈验证了其可用性、便携性及在实践、教育和创意工作流程中的潜在应用。未来工作将重点改善人体工学、鲁棒性和高级功能，以进一步增强其作为轻量化、自适应音乐接口的适用性。