面向场景的行为合成在混合现实中的虚拟宠物

文献标题

Scene-Aware Behavior Synthesis for Virtual Pets in Mixed Reality

文献信息

• 主题领域: 虚拟宠物行为建模与混合现实场景交互
• 关键词: 虚拟宠物, 行为合成, 场景语义, 混合现实, 长短期记忆网络, 用户研究
• 会议信息: CHI '21（2021年5月，中国横滨）

研究背景与问题

• 问题背景:

  • 虚拟宠物是现实宠物的一种替代，可以缓解孤独、促进健康生活。但传统的虚拟宠物缺乏环境感知能力，行为表现较不自然。
  • 混合现实技术提供了实现更高沉浸感和自然交互的可能，但虚拟宠物如何在混合现实中理解真实场景并合理地进行行为表现仍是一个挑战。

• 研究问题:

  1. 如何生成类似真实宠物行为的虚拟宠物行为？
  2. 如何让虚拟宠物能够在现实场景中合理行动？

• 重要性:

  • 解决这些问题能够提升用户的沉浸式体验，促进虚拟宠物在教育、治疗和娱乐等领域的应用。

• 相关工作:

  • 以往研究大多依赖于硬编码规则或随机生成行为，缺少自然性。
  • 行为合成（robotics, gaming）和场景语义理解（object detection等）技术已有发展，但尚未与虚拟宠物应用深度结合。

解决方案

• 方法概述:

  • 提出一种场景感知的虚拟宠物行为生成方法，结合真实场景语义信息生成自然行为序列。
  • 包括两个主要模块：数据驱动的行为生成器和行为实例化模块（用于在实际物理场景中执行行为）。

• 创新之处:

  • 使用基于真实宠物数据训练的LSTM模型生成高层次行为序列，提高行为的自然性。
  • 引入场景语义理解（通过Mask R-CNN）使虚拟宠物能够理解真实场景对象，并将行为与对象位置关联。

• 实施步骤:

  1. 数据驱动行为生成器:
     • 收集真实宠物行为数据，标注行为与场景物体的关联。
     • 使用两层LSTM网络训练模型，通过抓取行为模式生成高层行为序列。
  2. 场景理解:
     • 使用混合现实头显（如Hololens）扫描场景，获取3D模型与对象信息。
     • 通过Mask R-CNN检测场景中的物体并生成语义信息。
  3. 行为实例化:
     • 将生成的行为序列分配到场景中的实际位置（如沙发、桌子）。
     • 使用改进的A*算法优化从一个行为位置到下一个位置的路径，使路径更符合真实宠物的行为模式。

研究成果

• 主要成果:

  • 成功实现了一种基于场景语义感知的虚拟宠物行为生成与实例化方法。
  • 提出的方法能够生成行为自然且能适应真实物理场景的虚拟宠物。

• 与现有解决方案的对比:

  • 优于传统基于规则或随机生成行为的方法，在行为切换的自然度、多样性和场景适应性方面表现更优。
  • 对路径规划的改进能更好避免障碍，并生成符合宠物偏好的开放路径。

• 实验与用户研究:

  • 在客厅、卧室和厨房场景中验证：
    • 行为生成优于基于概率采样与随机生成的方法。
    • 行为位置分配和路径规划的合理性显著高于随机方法与传统路径规划。
  • 用户对虚拟宠物行为的自然性和与场景交互的感知评价较高，多数用户用"生动"、"真实感"等词汇描述应用效果。
  • 厨房场景中由于行为较短期差异不显著，表现与对照方法无显著差异。

• 局限性:

  • 基于数据集的训练局限于室内场景，尚无法生成室外行为。
  • 混合现实设备性能限制导致某些对象检测失败（如黑色物体或动态场景）。

• 未来方向:

  1. 结合更多真实数据集，包括室外行为数据。
  2. 实现低层次动作细节的合成，提高行为表现的精细度。
  3. 增加用户语音、姿势等交互方式。
  4. 扩展至机器人宠物或电子游戏中的虚拟宠物行为建模。
  5. 处理动态场景，实现实时路径和行为更新，提高系统鲁棒性。