用户驱动的增强现实布局优化约束

文献标题

User-Driven Constraints for Layout Optimisation in Augmented Reality

文献信息

• 主题领域: 增强现实中的布局优化与用户交互
• 关键词: 增强现实, 用户自定义约束, 布局优化, 手势交互, 人机界面, 交互设计, 自动化, 空间感知, 约束优化系统

研究背景与问题

• 问题或挑战:

  • 在增强现实（AR）环境中，虚拟内容的手动排列复杂且耗时。
  • 现有的自动布局优化方法通常缺乏用户对优化结果的直接控制。
  • 当前AR系统的用户界面（例如菜单和控件）破坏用户的自然交互流，影响沉浸式体验。

• 重要性:

  • AR技术已进入成熟阶段，并在环境跟踪、显示质量和手势识别等方面取得了进展，但用户界面仍是影响虚拟内容高效布置的瓶颈。
  • 将人机交互纳入优化系统有助于提高用户对优化结果的满意度和信任度。

• 研究动机:

  • 提供一种集成的、用户驱动的约束方案，以在增强现实布局优化中引入用户参与，简化虚拟内容排列过程，同时保留用户定义的灵活性。
  • 探讨一种不依赖传统GUI的流畅、直观的交互方式。

解决方案

• 方法或解决方案:

  • 提出了一种用户驱动约束的布局优化方法，允许用户通过直观手势在真实环境中设置约束。
  • 构建设计空间，涵盖约束类型（例如吸引边、排斥边、容纳表面等）、关注区域（点、线、面、体积）和约束参数（权重、最小距离、优先级）。

• 创新之处:

  • 首次设计并验证了用户驱动的约束框架，将用户的交互与布局优化流程无缝集成。
  • 基于用户手势的约束定义和优化，提供了一种摆脱传统GUI的增强现实交互设计方法。
  • 引入了语音输入以提供更自然的语义约束设定。

• 实施步骤及技术:

  1. 设计空间定义:
     • 用户驱动的约束：吸引边界、排斥边界、容纳表面、排斥区域、视域区域、优先级区域、用户视角、语义约束。
     • 关注区域：点、线、面、体积等。
     • 参数化：包括权重、距离、视角等动态变量。
  2. 用户手势设计与验证:
     • 通过语义手势调查研究，收集用户定义手势，避免传统GUI。
     • 验证直观性、易学性、社会接受性等。
  3. 实现与优化:
     • 基于Hololens 2和MRTK框架实现手势识别和布局优化功能。
     • 采用SolverHandler和SurfaceMagnetism进行内容参数约束和动态优化。
  4. 用户测试与评估:
     • 提供两种比较方式，手动摆放与用户驱动约束，逐步测试功能性能。

研究成果

• 具体成果:

  • 构建了一个可操作的手势交互系统，实现了多种约束类型的创建和优化。
  • 提供了一种流畅且用户可控制的增强现实内容布局优化方法。

• 优势:

  • 相较于传统手动布置或自动化优化系统，用户驱动约束显著降低了物理需求和时间需求。
  • 交互更加自然，用户可以轻松定义个性化布局。

• 实验或评估结果:

  • 平均手势直觉性和接受度较高，尤其是“吸引边”和“容纳表面”手势。
  • 用户驱动约束的时间和物理负担显著低于手动方法。
  • 用户反馈表明系统整体高效且易用。

• 局限性与未来方向:

  1. 局限性:

     • 当前实现仅支持有限数量的虚拟内容。
     • 手势识别技术受硬件（例如Hololens 2）的限制。
     • 用户仍需一定适应过程以熟悉复杂的约束交互。

  2. 未来方向:

     • 增强手势识别和区域定义的精度，如支持手掌或更大范围的操作。
     • 扩展用户驱动约束以支持3D虚拟内容和更复杂的布局，比如大型窗口或复杂交互界面。
     • 开发更鲁棒的3D优化算法以解决多约束冲突问题。
     • 探索新的交互方式（如触摸和笔交互）以满足更灵活的用户需求。