InfinitePaint：使用湿画笔和物理代理画布在虚拟现实中用被动触觉绘画

文献标题

InfinitePaint: Painting in Virtual Reality with Passive Haptics Using Wet Brushes and a Physical Proxy Canvas

文献信息

• 主题领域: 人机交互与虚拟现实中的数字绘画系统
• 关键词: 数字绘画, 虚拟现实, 混合现实, 被动触觉反馈, 传统艺术, 画笔输入

研究背景与问题

• 发现的问题或挑战:

  • 传统数字画板虽然可以模拟笔触压力等参数，但无法提供类似真实湿画笔在纸上绘画的触觉体验。
  • 虽然当前模拟环境在图形与视觉效果上有所改进，但仍然缺乏能保留现实触觉感受的工具。
  • 虚拟和数字绘画往往忽略了水彩画等艺术媒介中触觉的微妙互动。

• 研究意义:

  • 填补传统艺术家在使用数字平台时缺乏真实触觉体验的空白。
  • 提供一种节约材料且可无限绘画的方式，同时结合数字化功能（如撤销、特效等）。

• 动机与相关工作:

  • 现有研究集中在画笔模拟与触觉反馈，但很少将真实湿画笔的实际物理性能融入VR系统。
  • 研究人员尝试结合水彩与数字化追踪，但大部分解决方案需依赖高成本的专业硬件设备。

解决方案

• 方法或解决方案概要:

  • 提出InfinitePaint系统，该系统结合湿画笔、特殊纸张和摄像机捕捉技术，支持在虚拟现实环境中进行数字化绘画。
  • 用户在一种特殊纸张上作画，该纸张遇水时变黑，干燥后恢复原色。
  • 摄像机捕捉画笔实时笔触，将其数字化并以选定颜色渲染在VR环境中。

• 创新之处:

  • 运用特殊湿纸（magic paper），无需额外墨水或绘画材料。
  • 即时捕捉和虚拟化湿画笔的真实触觉与视觉效果。
  • 支持无限涂画（使用纸张干燥循环空间）。
  • 系统设计成本低且不依赖特定昂贵硬件。

• 主要实施步骤和关键技术:

  1. 硬件配置:
     • 使用Azure Kinect（摄像头）捕捉用户笔触并通过Unity生成虚拟视图。
     • 采用低成本湿水变黑纸张作为现实触觉画布。
     • 用户通过VR头显（如HTC Vive）与虚拟环境交互。
  2. 实时处理:
     • 通过透视校正技术（homography）将摄像头输入转化为画布投影。
     • 实时笔触捕捉与背景差分，以提取用户画笔所生成的图像。
     • HSV空间与颜色选择器配合，允许用户实时选择数字化效果。
  3. 绘图功能:
     • 实现基础画笔功能（绘制、颜色选择）与高级功能（模糊、图层操作等）。
     • 捕捉“滴水”“吹墨”等特殊操作以支持复杂的艺术表现。

研究成果

• 主要成果:

  • 实现了InfinitePaint原型系统，用户可以通过该系统体验湿画笔在VR中的数字化绘画。
  • 提供了用户研究，证明该系统在启发性和艺术表达方面优于传统Tab绘图板。

• 优势:

  • 与传统数字工具相比，InfinitePaint提供了更自然的触觉体验。
  • 凭借消失性湿笔画布，避免了传统画布的用完即作废问题。
  • 用户可以在数字绘画中感受到“水彩意外性”等传统艺术特色。

• 实验或评估结果:

  1. 用户体验:
     • 实验邀请了14名艺术家（包括业余爱好者和专业艺术家）参与定量和定性研究。
     • 用户认为InfinitePaint在“刺激性”和“新颖性”上显著优于传统画板。
     • 多数用户认为其触觉与真实湿画笔接近，并更愿意在未来使用。
  2. 具体绘画效果展示:
     • 实验中画作展示了InfinitePaint系统如何捕捉细节，例如干刷纹理、羽化边缘。
     • 用户自由绘画环节产生了多个高度表现力的艺术作品。

• 局限性与未来方向:

  • 当前局限:
    • 虚拟画布位置的平移稍显不自然，用户认为会影响沉浸感。
    • 系统未解决湿叠湿（wet-on-wet）技术问题，无法完全支持水彩的一些特性。
    • VR头显的分辨率与重量可能影响用户舒适性。
  • 未来改进方向:
    • 进一步优化虚拟画布的“漂移”机制，例如利用触觉重新定位技术。
    • 融合现实物理和数字模拟，支持更多传统艺术技法。
    • 提高颜色混合工具和3D对象纹理投影等高级功能的用户体验。
    • 探索非VR版本和便携硬件的可能性。

总结

InfinitePaint结合了传统绘画触觉与数字技术优势，在VR环境中实现了无限绘画和高表现力艺术创作，是数字艺术领域的重要探索。通过优化用户体验和功能扩展，其可广泛适用于专业和业余艺术家。