GesturAR：用于创建自由手势交互式增强现实应用的创作系统

文献标题

GesturAR: An Authoring System for Creating Freehand Interactive Augmented Reality Applications

文献信息

• 主题领域: 增强现实 (Augmented Reality, AR) 的自由手势交互及应用创作
• 关键词: 自由手交互、沉浸式创作、增强现实、动作示范、视觉编程

研究背景与问题

• 问题及挑战:
  1. 自由手势被认为是直观的增强现实用户交互方式，但开发支持定制手势的 AR 应用仍然具有很高的门槛。
  2. 许多现有研究侧重于预定义的交互方式，无法覆盖日常生活中手势交互的复杂性和多样性。
  3. 现有的 AR 开发工具（如 Unity3D 和 Unreal）具有陡峭的学习曲线，对于非专业用户来说使用繁琐。
• 问题重要性:
  • 自由手交互不仅能提升体验的沉浸感，还能让用户通过手势直觉地操控虚拟物体，为教育、工业设计、娱乐等领域提供更多可能性。
• 动机与相关工作:
  • 用体态演示方式直观生成手势数据，无需深入算法细节，从而降低用户开发门槛。
  • 结合沉浸式视觉编程，让用户即时创建并测试 AR 互动应用。
  • 融合从既有文献中归纳的手势分类，并提出一种输入（手势）和输出（虚拟物体行为）的交互模型。

解决方案

• 提出的方法:
  • 设计了一个端到端的 AR 应用创作系统 GesturAR，支持用户通过体态示范和视觉编程创建交互式自由手势 AR 应用。
  • 提出一种基于自由手势的交互模型，定义了手势输入与虚拟内容行为之间的映射规则。
  • 开发了一种基于一次性学习（one-shot learning）和时间序列分析的实时手势识别算法。
• 创新之处:
  1. 在 AR 中引入自由手势的体态演示创作方式，降低开发门槛。
  2. 提出了一种基于 AR 手势的输入输出交互模型，涵盖了多种静态、动态输入和响应类型。
  3. 以 "触发动作"（trigger-action）模型作为交互设计逻辑，允许用户通过简单的组件连接创建复杂交互。
• 实施步骤及技术:
  1. 用户在 AR 环境中通过体态演示定义手势，实时记录手部关节数据。
  2. 引入基于视觉编程的界面，用户可以通过拖拽触发器和动作图标生成交互逻辑。
  3. 使用实时手势检测算法在 Play 模式下即时测试用户创作的 AR 交互效果。

研究成果

• 具体成果:
  • 开发了 GesturAR 系统，允许用户无需专业代码开发即可创建自由手势交互的 AR 应用。
  • 构建了多种应用场景示例：如互动虚拟物体、机器人与化身、房间级互动游戏以及富有沉浸感的 AR 演示。
  • 用户研究显示系统的手势检测准确率高达 95%以上，并获得较高的用户好评和系统易用性评分（SUS 得分为 86/100）。
• 优势:
  • 支持非专业用户的个性化开发，明显降低了 AR 应用创作的门槛。
  • 实现了触发动作模型和可视化逻辑连接器，使用户可快速上手并构建复杂的手势交互逻辑。
  • 实时作者化与测试机制显著提高开发效率和用户体验。
• 实验或评估结果:
  1. 静态手势检测的 F1 分数为 95.93%，动态手势检测准确率为 91.67%。
  2. 用户测试中 94.44% 的互动创作和应用体验任务首次尝试便成功完成。
  3. 用户正面评价了创作流程的直观性及系统功能的全面性。
• 局限性与未来方向:
  1. 当前缺乏触觉反馈机制，影响自由手交互的沉浸感。
  2. 用户自定义手势和其他用户的操作倾向存在差异，增加了应用的共享复杂度。
  3. 更丰富的触发与动作映射逻辑尚待开发，如条件触发、动作延时及多步链式反应。
  4. 准确性仍受限于硬件性能改进（如手势遮挡情况下识别能力）。