Corsetto：一种用于设计、创作和体验交互式触觉声音的动觉服装

文献标题

Corsetto: A Kinesthetic Garment for Designing, Composing for, and Experiencing an Intersubjective Haptic Voice

文献信息

• 主题领域: 人机交互 (HCI)、可穿戴技术、身体语境感知
• 关键词: 机器人纺织品, 形变界面, 触觉, 机器学习, 声音, 体感交互设计, 微现象学

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 当前的触觉交互设计多集中于复制现有的人际触觉互动，例如握手、拥抱等，而缺乏对新型体验和身体知识的探索。
  • 这种设计通常未能充分考虑内外身体知觉以及与其他身体互动时的复杂现象。
  • 在现有设计中，很少从现象学角度揭示新技术带来的触觉体验。

• 为什么这个问题很重要？

  • 唱歌是一个复杂的身体语境过程，结合内部肌肉活动和外部表达。深入理解这一体验对探索身体间感知的互动具有重要意义。
  • 探讨通过技术增强身体间感知与连接的新方法可以为艺术、教育及交互设计带来广泛应用潜力。

• 研究动机与相关工作

  • 研究基于法国现象学家梅洛-庞蒂的“身体间性”概念，尝试通过设计互动技术来体验新的身体间共感。
  • 探讨如何设计能够融合身体内外感知界限的触觉体验技术，尤其是基于音乐表演的场景。

解决方案

• 作者提出了哪些方法或解决方案？

  • 开发一种名为“Corsetto”的触觉服装，使用气动驱动的纺织肌肉模块，以质感丰富的触觉手势重现和扩展歌唱过程中的肢体动作。
  • 设计了一套用于触觉手势编排与实时控制的系统架构，包含软硬件堆栈。
  • 融合机器学习技术以自动识别音乐手势，从而生成实时动态触觉响应。

• 该解决方案的创新之处是什么？

  • Corsetto不仅模仿歌者身体的动作，还通过触觉手势为音乐表演增添了一个“第四声音”，实现人类外部感知与内在感知之间的桥接。
  • 系统架构首次引入基于谱表音乐的触觉手势编曲方法，通过HCI领域开创性地结合艺术、设计和技术。
  • 气动纺织技术提供柔软、精细的响应，显著超越传统机械或振动反馈设备。

• 实施步骤是什么？使用了哪些关键技术？

  • 设计阶段: 通过歌唱训练、体感理解和解构练习提炼歌者的身体动作特性，设计并创建可穿戴气动驱动模块。
  • 编曲阶段: 使用MusicXML构建触觉手势的乐谱，并配套开发一个转换工具，从声音手势中自动生成触觉动作指令。
  • 性能阶段: 在两次沉浸式歌剧现场演出中测试Corsetto，并通过微现象学访谈记录用户体验。
  • 使用关键技术包括：气动软机械纤维（OmniFiber）、机器学习（基于CNN模型）、跨模块编程框架（FlowIO）。

研究成果

• 取得了哪些具体成果？

  • Corsetto实现了音乐表演过程中触觉与音频的同步，使听众能切实感受歌者身体动作的触觉表达。
  • 该设备促使听众体验到内外感知界限模糊的身体间互动，激发了新的审美与叙事体验。

• 与现有解决方案相比，它有哪些优势？

  • 提供了超越简单模仿的全新触觉互动体验，兼具细腻性和动态性。
  • 更加复杂的身体间交互——从被动分享歌者体验到与人工实体展开触觉对话，甚至达到感知边界融合。

• 实验或评估结果是什么？

  • 微现象学访谈显示Corsetto：
    • 支持将歌声感官转化为具体的身体触觉。
    • 提供听众与设备间的触觉对话，即时重现歌者的身体感知。
    • 在某些高强度体验中模糊了听众的主客体界限，实现声音与身体体验的一体化。
  • 在演出中，听众能够感受到穿戴表演的整体性，触觉与声音交织，且感知随时间和空间发生变化。

• 局限性与未来方向

  • 面向更广范围的受众测试需进一步开展，尤其是非专业音乐用户。
  • 探讨如何将气动纺织技术扩展到其它类型的身体间体验，例如用于体育训练或日常交互。
  • 深入分析系统框架与用户体验，将Corsetto纳入更多演出或多样化的应用场景。