体感绘画工具：3D身体图纸作为表达联觉体验的材料

文献标题

Somatic Drawing Tool: 3D Body Sheet as Material for Articulating Synaesthetic Experiences

出版信息

• 主题领域: 用于表达联觉体验的交互技术
• 关键词: 联觉, VR, 3D身体图表, 感官表达, 参与式设计, 身体设计, 多感官交互, 跨模态HCI, 沉浸式技术, 身体化

背景与问题

• 问题/挑战: 联觉者由于语言和传统感官词汇的局限性，在表达和分享他们的体验时面临挑战。现有的HCI工具通常以隐喻的方式处理联觉，而非直接关注联觉者的真实体验。
• 重要性: 理解和交流联觉体验可以促进自我意识，减少孤立感，并为多样化的感官体验提供包容性设计实践。
• 动机与相关研究: 虽然HCI领域已经探索了多感官和跨模态交互，但很少有研究专门为联觉者设计工具。此前的研究强调了表达联觉体验的困难以及VR和身体设计在感官表达中的潜力。本文基于这些洞察，开发支持联觉细腻表达的工具。

解决方案

• 提出的方法: 开发了Somatic Drawing Tool，这是一种结合3D身体图表的VR系统，旨在帮助联觉者通过身体化和沉浸式交互外化并交流他们的感官体验。
• 创新点:
  1. 引入3D身体图表，用于在VR中映射跨感官体验。
  2. 与联觉者进行迭代式协同设计，以根据不同的感官特征个性化工具。
  3. 集成多模态和身体化方法，用于表达联觉体验。
  4. 扩展身体设计实践，涵盖跨感官和多感官表达。
• 过程与关键技术:
  • 通过语言、非语言和基于VR的方法，与九位联觉者开展参与式工作坊。
  • 在定制Open Brush的基础上开发Somatic Drawing Tool，加入专属画笔、3D身体映射和环境控制功能。
  • 根据五位案例研究参与者的反馈，在两次会话中迭代优化工具。

结果

• 具体发现:
  • VR使参与者能够表达联觉体验中难以通过二维或语言形式表达的空间、动态和身体化方面。
  • 参与者报告工具在捕捉温度、运动和空间定位等细微差别方面提高了自我意识和满意度。
  • 工具支持多模态表达，但参与者指出在触觉反馈、声音集成和艺术技能要求方面存在局限性。
• 相较基线的优势: 与传统二维材料和语言描述相比，该工具能够更丰富、更精确地表达联觉体验，包括空间和身体化维度。
• 实验/评估:
  • 与九位参与者的工作坊探索了语言和非语言表达方法。
  • 与五位参与者的案例研究评估了Somatic Drawing Tool，重点关注可用性、个性化和捕捉联觉体验的有效性。
  • 数据包括VR绘图、3D身体映射、语言描述和参与者反馈。
• 局限性与未来工作:
  • 仅限于五种类型的联觉；需要探索更广泛的适用性。
  • 对某些多感官体验来说，仅视觉表达不足；未来版本应集成声音、触觉和时间动态。
  • 参与者之间的艺术技能差异突显了设计更具包容性功能的必要性。

总结

本研究开发了Somatic Drawing Tool，这是一种基于VR的系统，结合3D身体图表，帮助联觉者表达和分享他们的感官体验。通过参与式工作坊和迭代式协同设计，该工具使参与者能够外化联觉的空间、动态和身体化方面。尽管在超越语言和二维方法捕捉细微差别方面表现出色，但工具在多模态集成和艺术可访问性方面的局限性表明了未来改进的方向。研究结果通过推动感官表达和包容性设计的方法，为HCI领域做出了贡献，并在教育、治疗和创意实践中具有潜在应用价值。