HOICraft：基于VLM的VR中部件级手-物体交互设计原地创作工具

文献标题

HOICraft: In-Situ VLM-based Authoring Tool for Part-Level Hand-Object Interaction Design in VR

出版信息

• 主题领域: 基于AI的VR手部-物体交互设计辅助工具。
• 关键词: 手部-物体交互, 虚拟现实, 原地创作, 视觉-语言模型, 交互设计, 定制化, 用户体验, AI辅助工具, VR原型设计, 部件级交互。

背景与问题

• 问题/挑战: 在VR中设计部件级手部-物体交互（HOI）需要耗费大量精力，通常依赖手动的反复试验以匹配用户能力和设计意图。现有工具缺乏对部件级交互映射和定制的智能支持。
• 重要性: 高效的HOI设计对于构建真实且引人入胜的VR体验至关重要，但当前的工作流程耗时且不一致，限制了生产力和用户满意度。
• 动机与相关研究: 先前的研究探索了物体运动机制、基于手势的交互和AI辅助创作，但这些方法未能解决细粒度的部件级HOI设计问题。需要利用用户数据和基础模型的智能工具来简化这一过程。

解决方案

• 提出的方法: HOICraft是一种基于AI的原地创作工具，利用视觉-语言模型（VLMs）和用户偏好数据支持VR中的部件级HOI设计。
• 创新点:
  1. 引入基于VLM的系统，用于交互部件选择和HOI映射。
  2. 从形成性研究中提取五个具有代表性的HOI设计标准。
  3. 开发了基于上下文学习的用户偏好驱动HOI推荐模块。
  4. 集成了定制功能，用于在原地VR环境中微调HOI属性。
• 流程与关键技术:
  • 使用VLM分析3D物体以识别交互部件和可供性。
  • 根据用户偏好数据和设计意图提供HOI设计的排序推荐。
  • 允许设计师定制交互参数（如阻力、手势、动画）并实时测试。
  • 采用混合决策方法（基于排序和二元决策）将交互设计映射到用户体验目标。

结果

• 具体发现:
  • 与手动工作流程相比，HOICraft减少了试错迭代次数。
  • 设计师以较少的努力实现了与手动方法质量相当的结果。
  • 系统可用性评分较高（SUS得分：81.04 ± 13.75）。
• 相较基线的优势:
  • 显著减少了探索次数（试错）（p < 0.001）。
  • 决策速度与手动方法相当，但认知和体力负担较低。
  • 推荐结果与用户意图高度一致，并支持多样化的设计目标。
• 实验/评估:
  • 对3名VR开发者进行的形成性研究识别了关键挑战和HOI模式。
  • 对20名参与者的用户研究收集了关于HOI偏好和性能的实证数据。
  • 对12名VR设计师的评估将HOICraft与手动工作流程进行比较，并评估了其可用性。
• 局限性与未来工作:
  • 当前聚焦于简单的平移和旋转关节；未来将扩展到复杂运动学和多部件协调。
  • 依赖于预处理的3D物体；计划开发混合或全自动预处理管道。
  • 需要扩展到更广泛的XR环境和多样化的运行平台。

总结

HOICraft是一种基于AI的原地创作工具，旨在简化VR中部件级手部-物体交互（HOI）设计。通过利用视觉-语言模型和用户偏好数据，它提供了智能推荐、定制选项和实时测试功能。实证研究表明，HOICraft减少了试错迭代次数，支持多样化的用户意图，并以较少的努力实现了与手动工作流程相当的结果。尽管当前聚焦于简单交互，未来的工作将扩展其适用范围至复杂物体、自动化预处理以及更广泛的XR场景。