EgoTouch：基于增强现实/虚拟现实头显摄像头的身体触觉输入

视频

DOI

在增强现实和虚拟现实体验中，用户的手臂和手可以提供便捷且具有触觉感的触摸输入表面。先前研究表明，身体输入相比当今常见的空中手势界面具有显著的速度、准确性和人体工程学优势。在本工作中，我们展示了使用普通RGB摄像头（如已集成到所有现代XR头显中的摄像头）实现高精度的裸手（即用户无需特殊装备）皮肤输入的高精度方法。我们的结果表明，该方法可以准确且在多样化的光照条件、肤色和身体运动（如行走时输入）下保持鲁棒。此外，我们的管道还提供丰富的输入元数据，包括触摸力度、手指识别、攻击角度和旋转。我们相信，这些是解锁皮肤界面所必需的技术要素，而此类界面在HCI文献中有充分动机但缺乏稳健实用的方法。