CamTroller：一个使用自然运动映射控制PC游戏中角色的辅助工具

文献标题

CamTroller: An Auxiliary Tool for Controlling Your Avatar in PC Games Using Natural Motion Mapping

文献信息

• 主题领域: 人机交互 (Human-Computer Interaction, HCI)、自然用户界面(Natural User Interface, NUI)、姿态识别及游戏控制
• 关键词: 自然映射, NUI, 动作追踪, 直观交互, PC游戏, RGB相机, 键鼠辅助, 体感控制器, 用户直观性, 游戏体验

研究背景与问题

• 发现的问题或挑战:

  1. 键盘鼠标在复杂游戏操作中的记忆负担、指位不足（finger shortage）和高学习成本。
  2. 动作控制（如体感设备）虽具高“直观性”，却因玩家需求与硬件嵌合度低而难以普遍适配当前的商业PC游戏。
  3. 长时间的键鼠操作可能导致身体健康问题，如肌肉疲劳和颈肩伤害。

• 问题重要性: 复杂的交互需求和传统输入设备的局限性会降低游戏体验，阻碍玩家在高强度或复杂场景中有效发挥。

• 研究动机与相关工作:

  • 探索利用自然用户界面（NUI）结合自然映射（natural mapping）设计的辅助工具，以解决复杂游戏动作与传统输入系统之间的冲突。
  • 既有研究多聚焦于外部运动设备，但其局限于特定平台或高硬件成本，难以广泛推广。本研究尝试利用低成本RGB相机和自然动作映射技术，解决这些限制。

解决方案

• 方法或解决方案:

  • 提出了一种名为“CamTroller”的辅助工具，利用自然映射技术通过玩家身体姿势（头部和手部动作）驱动游戏内虚拟角色的动作，同时以现有键鼠输入为主，CamTroller作为辅助输入。
  • 借助开源工具包 MediaPipe，实现通过RGB摄像头识别玩家头部和手部姿势。
  • 游戏实验选择 PUBG，目标验证自然映射交互概念在实际游戏中的可行性和用户直观性体验。

• 创新之处:

  1. 开创性地使用默认带有的RGB相机进行姿态追踪，实现低成本、高兼容性的动作控制；
  2. 在键鼠基础基础上，通过“增量自由度”的辅助输入解决游戏中频繁“指位不足”问题；
  3. 结合自然映射理论，为传统PC游戏中的一对一角色操控场景提供增强体验的解决方案。

• 实施步骤和关键技术:

  1. 动作选择与映射:
     • 确定CamTroller需要处理的动作（如侧身、蹲下、跳跃、自由观察、物品使用等）。
     • 分析虚拟角色动作的可检测特征（如头部角度、手部位置及手势）。
     • 根据玩家在实际物理世界中的可执行动作，找到最佳匹配（实现自然映射）。
  2. 技术实现:
     • 基于MediaPipe模块识别头部和手部关键点，估算头部位置及姿态（包括幅度、速度）。
     • 通过手势识别区分不同的加强道具使用动作（如手靠近嘴巴模拟饮用能量饮料，手靠心脏位置模拟注射肾上腺素）。
     • 系统灵敏度优化，通过设定阈值、死区范围和速度判断来避免意外触发和响应滞后。
     • 使用模拟按键和鼠标输入信号触发游戏中的动作。
  3. 硬件与验证:
     • 使用普通RGB摄像机和商业PC配置开发CamTroller，并在PUBG游戏内验证其功能与性能。

研究成果

• 具体成果:

  • 技术可行性测试表明，CamTroller在被设计的11种动作中整体动作识别成功率达到了99.33%，可以精确地将玩家动作映射到游戏角色。
  • 资源占用优势: CamTroller运行时CP占比低（5-10%），相较Kinect等成熟设备（30-40%）在PC性能需求上更友好，且响应速度更快（约0.033s至0.04s）。
  • 用户研究结果:
    • 客观性能测试中，CamTroller在“观察敌人-侧身移动”的游戏环节表现与专业玩家操作无显著差异，且优于普通玩家。
    • 在用户主观体验（QUESI问卷的操作直观性评估）上，CamTroller显著高于传统点按键和专业玩家方法。

• 与现有解决方案的优势:

  1. 相比Kinect等商品设备，硬件门槛更低，无需额外设备。
  2. 相比专业玩家操作方法，易学性提升显著，有助于初学者快速适应竞技性游戏场景。
  3. 有效缓解因键鼠输入带来的“记忆负担”、“指位不足”和“重复性操作伤害”等问题。

• 实验或评估结果:

  • 在两部分（加强道具使用和侧身移动）的实验中，CamTroller在5个直观性维度（主观工作负担、目标达成感、学习努力感、熟悉度和错误感知率）上均显著优于其他操作方法。
  • 比较测试中动作触发时间（通常<0.7秒）符合流畅游戏决策的需求。

• 局限性与未来方向:

  1. 系统无法实时感知游戏状态，可能存在被忽略的虚拟输入问题。
  2. 实验场景相对简单，未能验证复杂游戏情境中的性能优势。
  3. 用户学习曲线、情境适应性和个人化调整需求有待进一步分析。
  4. CamTroller现阶段适用于单玩家控制单角色的游戏，未来可扩展至多角色游戏或非游戏场景（如手势操控视频、文档阅读等）。