探索移动设备作为混合现实中的触觉接口

文献标题

探索移动设备作为触觉接口用于混合现实

文献信息

• 主题领域: 混合现实交互技术，触觉接口设计与用户体验
• 关键词: 移动手势, 触觉反馈, 移动设备, 混合现实, 手势引导, 触觉探索, 触觉接口

研究背景与问题

• 问题与挑战:
  • 现有的混合现实（MR）系统通常依赖于手持控制器以提供触觉体验，但随着移动MR的普及，用户在公共空间中使用专用控制器变得不便利。
  • 虽然头戴式显示设备（HMD）的手部跟踪功能减少了硬件负担，但缺少可触摸的输入设备限制了触觉探索能力和沉浸感。
• 重要性:
  • 移动MR正在改变传统家庭或专用空间的部署场景。用户在公共空间中使用触觉交互尤其关键，例如移动协作、城市规划或自动驾驶汽车。
  • 将移动设备转化为MR控制器可以提高技术的普及性和灵活性，同时提供深度触觉体验。
• 相关工作:
  • 之前研究探索了利用日常物品、智能手表和触控等设备进行MR交互，但缺乏对用户探索虚拟物品时手势需求以及实际触觉反馈需求的深入研究。

解决方案

• 方法或解决方案:
  • 提议将常规移动设备（如智能手机）作为MR控制器，同时结合触觉反馈技术，探索其在虚拟对象交互中的潜力。
  • 通过两项用户研究，包括在线问卷调查（N=50）和手势引导研究（N=18），分析用户如何通过移动设备获取虚拟物品的触觉属性。
• 创新点:
  • 确定了三种移动设备在触觉探索中的核心模式：设备作为虚拟物品的替代品（对象模式）、手的替代物（手模式）、以及作为工具（工具模式）。
  • 提供了广泛的用户定义手势集与触觉反馈设计空间，涵盖超过200种手势与11种触觉反馈类型。
• 实施步骤与技术:
  1. 在线调查评估人们基于视觉信息对虚拟物品触觉属性的期望。
  2. 通过手势引导研究深入探讨用户的自然手势与基于设备的虚拟物品触觉探索。
  3. 归纳主要手势类型与触觉反馈，大规模构建交互设计空间。

研究成果

• 具体成果:
  • 构建了包括"抓握并移动"、"双手抓握"、"捏合"、"轻拍"等在内的10种主要手势类型。
  • 设计了包括力反馈、表面变形、重量传感、温度辐射等11种触觉反馈类型。
  • 明确了移动设备在MR中可采用的三种模式：对象模式、手模式和工具模式。
• 优势对比:
  • 将日常设备转化为触觉接口，提高了硬件的灵活性与普及性。
  • 相较于专用于MR的振动反馈控制器，该解决方案提供更广泛且精确的触觉效果。
• 实验与评估结果:
  • 通过实验表明，用户偏好的手势设计与触觉反馈能够显著提升MR中的物品探索体验。
  • 用户倾向于结合多种触觉属性（如温度与重量）以获得更全面的虚拟物品体验。
• 局限性与未来方向:
  • 当前研究仅探索了手机作为触觉设备的潜力，未涉及其他设备形式（如智能手表或平板）。
  • 本研究重点在单一触觉属性的探索，未来可以扩展至多属性联合分析。
  • 在公共空间中的社会接受度以及左右手差异性仍需进一步验证。
  • 建议未来开发具备多形态变化机制与实时触觉反馈的手机，支持更精确的MR交互体验。

这项研究为构建移动设备的混合现实触觉交互界面提供了重要基础，并为设计新型移动MR设备及相关互动模式提供了理论与实践支持。