TunePad 演示文稿：为创意音乐编码设计计算笔记本

文献标题

TunePad Playbooks: Designing Computational Notebooks for Creative Music Coding

文献信息

• 主题领域: 人机交互（HCI）与创意计算，特别是音乐与编程的交集
• 关键词: 计算素养, 计算笔记本, 音乐, 设计, Playbooks, Python, 实时表演, 协作, 教育工具, 创意编程

研究背景与问题

• 发现的问题或挑战:
  • 音乐创作与编程的结合虽历史悠久，但目前的研究主要集中于编程语言设计，而较少考虑从HCI视角设计支持整体创作工作流的系统。
  • 针对初学者设计的音乐编程环境通常简化了音乐及编程操作，但存在不够丰富、难以进行复杂创作等不足。
  • 现有计算笔记本（如Jupyter）的设计主要服务于数据科学领域，对初学者不够友好（例如隐藏的运行时状态可能导致混乱），且没有针对音乐创作进行优化。
• 重要性:
  • 音乐作为一种人类创造力的表达形式，通过编程可以拓展其可能性。
  • 针对音乐创作设计一个易于入门同时具有高上限的计算环境，可以提升学习编程与音乐的乐趣与意义。
• 研究动机与相关工作:
  • 作者受到先前如Sonic Pi、Scratch、EarSketch等平台的启发，希望构建一种更注重创作灵活性、协作与实时编程的音乐创作工具。
  • TunePad计划不仅要简化音乐理论和编程的入门难度，还要提升平台的创造性支持、协作性以及与现实时尚音乐文化的契合度。

解决方案

• 提出的解决方案:
  • 开发一种创新的计算笔记本范式，称为TunePad Playbooks，专注于支持Python编程语言的音乐创作。
  • 设计了一个将代码、乐器、可视化和实时音频整合的浏览器平台。
• 创新之处:
  • 「Playbooks」的架构不同于传统的计算笔记本，使用了词法命名空间而非共享的运行时状态，避免隐藏状态的混乱。
  • 增加了互动性输出（如钢琴卷帘视图和波形可视化），并优化了对音乐和实时表演的支持。
  • 提供了支持协作和实时创作的特性，如多人同时编辑、与音乐同步的实时代码修改等。
• 实施步骤与关键技术:
  • 使用Python编写音乐代码，生成对应的音频和可视化。
  • 每个单元（cell）在编辑后独立运行并相互同步，错误不会影响其他单元。
  • 支持实时报告段错误，附带调试工具（例如代码与声音的精确对应）。
  • 引入“音乐库”（包括预制样本和实时录音功能），用户可直接使用或修改这些资源。
  • 构建了一个内置分享机制（如音频导出、作品上传）及协作模式，以便用户交流与学习。

研究成果

• 具体成果:
  • 开发了一个支持从初学者到高级用户的音乐创作和学习的免费线上平台，提供从音符编排到实时表演的能力。
  • 提出并实装了一个支持音乐创造的创新计算笔记本框架，通过强化可视化、可编程性和协作性弥补传统编谱工具与IDE的不足。
• 优势:
  • 相比Jupyter笔记本和Sonic Pi等系统，TunePad Playbooks更适合于教育和音乐创作，尤其在协作、实时创作与教学方面有更大的灵活性。
  • 简化安装和学习过程，并通过在线浏览器即可运行，避免了客户端安装的复杂性。
  • 为学习者提供了较高的表达自由度，既适合作为编程入门工具，也为想要进行更深入创作的用户提供支持。
• 实验或评估结果:
  • 通过访谈研究比较高级用户的创作流程，发现在不同创作者手中，TunePad能够适应并支持多样化的创作方法、目标与工作流。
  • 学生及导师通过TunePad进行作品创作时，表现出高水平的协作性，且工具的直观性帮助他们克服了一些音乐与代码的协调难题。
• 局限性与未来方向:
  • 忽略了初学者用户群体的具体研究，未来需要更进一步理解这些用户在学习过程中的表现。
  • 需要扩展协作创作的能力，例如支持更复杂的实时编程与表演。
  • 可进一步优化现有调试和代码复用的功能，提升用户体验。