PropType：日常道具作为增强现实中的输入表面

研究背景与问题

• 作者发现了哪些问题或挑战？ 传统输入方法在增强现实（AR）环境中效率低下，例如使用头戴显示器（HMD）手持控制器或裸手输入。这些方法缺乏触觉反馈和精确性，不适合文本输入任务，且可能引发肌肉疲劳（"Gorilla arm"效应）。现有的解决方案如物理键盘或智能手机输入，虽然提升了性能，但对外部硬件依赖性较大，削弱了沉浸体验。

• 为什么这个问题很重要？ 随着AR技术的广泛应用，高效的文本输入变得至关重要，特别是用于文件写作、会议沟通和交互式游戏等场景。实现无设备、流畅的输入体验可显著提升用户的生产力和交互体验。

• 研究动机与相关工作 避免复杂的外部硬件设备，采用利用日常物品作为输入表面的方式，结合AR环境，可能成为高效、便捷的输入解决方案。作者借鉴了过去关于虚拟和物理键盘在不同环境中性能的研究，同时探讨了基于触觉反馈和物理表面的输入技术的潜力。

解决方案

• 作者提出了哪些方法或解决方案？ 提出了一种名为PropType的系统，该系统将日常物品（如杯子、水瓶、纸盒等）转化为便携、直观的打字界面。用户通过与物品表面上的虚拟键盘交互，实现文本输入。此外，开发了PropType编辑工具，用户可自定义键盘布局及视觉和音效反馈。

• 该解决方案的创新之处是什么？

  1. 日常道具转化为输入界面：无需专用硬件，选取用户周围已有物品，降低输入的交互成本。
  2. 个性化定制：允许用户根据物品形状、大小与材质自定义键盘布局、视觉效果和声音反馈。
  3. 多感官融合增强交互体验：结合视觉与音效反馈增强用户沉浸感。
  4. 支持动态交互：PropType能够实时适配不同物品和场景，增强AR环境下的灵活性与适用性。

• 实施步骤是什么？使用了哪些关键技术？

  1. 物品选型及观察研究：通过实验观察用户如何在多种日常道具（平面与曲面）上进行交互，设计贴合物品特点的键盘布局。
  2. 追踪系统与实时校准：使用高精度的光学追踪系统，通过反光标记实时捕捉道具与手指的3D位置。
  3. 键盘布局优化：根据用户的手指范围和动态性能数据设计“分隔布局”（较大物品）和“交叉布局”（较小物品）。
  4. 定制化编辑工具开发：用户通过编辑界面为不同道具创建视觉和音效反馈的互动键盘。
  5. 性能评估实验：测试输入速度、准确性及用户偏好，并与智能手机和其他AR方法进行比较。

研究成果

• 取得了哪些具体成果？

  1. PropType实现了19.90至26.13字/分钟（WPM）的打字速度，错误率较低（纠正2.77-3.10%，未纠正1.32-1.84%）。
  2. 编辑工具让用户能够自定义键盘布局及反馈效果，并提升了整体打字体验。
  3. 实验表明，用户更偏好平面和较大的道具，复杂曲面减少了输入效率。

• 与现有解决方案相比，它有哪些优势？ PropType比基于设备的AR输入系统（如智能手机投影键盘）表现相似甚至更好，同时无须依赖额外硬件，增强了便携性和沉浸感；其打字性能也超越了基于皮肤的输入方法。

• 实验或评估结果是什么？

  • 速度与学习率：盒子道具的打字速度最高，且“学习率”快，表明平面布局对用户更友好。
  • 准确性与错误率：视觉和音效反馈增强了触觉确认，从而降低了错误率。
  • 用户偏好：参与者倾向选择轻便、刚性材料及扁平道具，认为道具定制的键盘更易用、趣味性更高。

• 局限性与未来方向

  1. 局限性：实验大多数在静态环境中完成，动态场景（如步行中输入）的实验仍未深入；复杂表面（如不规则几何形状）输入的设计挑战尚未完全解决。
  2. 未来方向：
     • 探索PropType在移动环境中的可行性与稳定性。
     • 扩展至更多形状复杂的物品，包括可变形或压敏触觉输入的物品。
     • 引入AI算法以增强输入检测与键盘布局自动化设计。
     • 考察PropType在其他应用场景中的适用性，如混合现实的对象操控或多人协作。