通过用户视角手机遮挡选择真实世界对象

文献标题

Selecting Real-World Objects via User-Perspective Phone Occlusion

文献信息

• 主题领域: 人机交互，通过智能手机进行物理目标物体选择
• 关键词: 对象选择, 智能手机交互, 用户视角, ROI区域选择, 空间交互, 相机遮挡, 视觉反馈技术, 目标选择, 人机交互效率

研究背景与问题

• 发现的问题或挑战:

  1. 传统使用智能手机的方法（例如通过屏幕上显示的相机预览进行目标选择）通常需要多步骤操作，效率低下。
  2. 一些现有方法直接使用设备（例如手机相机的方向）进行目标选择，但由于缺乏视觉反馈，准确性较差，并可能导致用户不安。
  3. 对于密集场景中的目标选择，传统的基于光束或用户视角的交互方式可能难以精确定位目标，特别是在重叠或密集的对象场景中。

• 问题重要性: 智能手机作为日常交互的重要工具，使其能够快速准确地选择用户感兴趣的目标对象，对于提高用户体验和交互效率至关重要。解决视觉反馈不足导致的用户不安和使用体验下降的问题也是该研究的重要意义。

• 研究动机与相关工作:

  1. 现有基于用户视角的交互通常面临“虚像问题”（double-vision problem），用户难以自信地选择正确的目标。
  2. 设计一种简单直接的用户交互方式，能提高选择目标的实时性和效率。
  3. 结合虚拟和真实场景的物体选择研究，为未来的物联网交互提供设计意见。

解决方案

• 提出的解决方法: 作者提出了一种创新的目标选择技术，利用智能手机遮挡区域来进行目标选择。这种方式将手机转化为与真实世界交互的物理光标（physical cursor），以用户视角为基础，提供可缩放和可旋转的ROI区域来实现目标选择。

• 创新之处:

  1. 摆脱了相机画面预览的约束，通过遮挡后的视觉反馈让用户自信选择目标。
  2. 支持密集场景中的目标选择和目标去歧义，使用类似于“矩形区域光标”的思路。
  3. 利用手机摄像头的前后结合捕捉用户的眼睛位置和遮挡区域，同时分析用户的行为模型以提高目标预测准确性。

• 实施步骤:

  1. 遮挡区域估算: 通过前置摄像头使用 MediaPipe Iris算法检测用户虹膜位置，并利用手机固定特性在后置摄像头图像估算遮挡区域。
  2. 对象检测: 使用YOLOv4深度学习模型检测后置摄像头图像中的可交互对象。
  3. 目标预测算法: 基于遮挡矩形与目标物体的距离加权Jaccard索引计算目标选择概率，并结合用户行为模型实现精准匹配。
  4. 技术原型搭建: 在iPhone 12 Pro上实现原型，结合云端进行计算处理并评估性能和准确性。

研究成果

• 具体成果:

  1. 提出的遮挡区域算法准确性达1.28°±0.96°，如果针对用户校准，平均准确性可进一步提高至0.65°±0.52°。
  2. 用户研究表明，遮挡选择技术相对于传统方法在效率、准确性和用户接受度方面均表现出显著优势。
  3. 比较了多个候选方法，遮挡选择具有较低的任务负担（NASA-TLX）和较高的系统可用性（SUS）。

• 优势:

  1. 适配于一目了然的用户视角交互模式，解决了传统方法因视觉反馈不足而引起的不安感。
  2. 简化了目标选择步骤，提高了交互的即时性和连贯性。
  3. 在复杂的密集场景中通过目标去歧义确保选择结果准确。

• 实验与评估结果:

  1. 两项用户研究分别验证了遮挡区域估算算法的准确性和用户体验，结果表明遮挡选择技术可以显著提高目标选择效率。
  2. 用户调查中有多人偏好使用遮挡技术，对其简便性和舒适性给予了高度评价。

• 局限性与未来方向:

  1. 目前仅能检测预定义的对象集，未来需支持动态注册新对象。
  2. 对于形状复杂的对象，需使用更精确的分割模型来改进算法。
  3. 针对当前深度估算误差问题，智能手机的短期深度传感器（如LiDAR）可以进一步优化系统。
  4. 扩展技术应用于其他场景（如AR/VR）以解决虚像问题并提升用户体验。