SonoHaptics：基于注视的XR对象选择的音频触觉光标

视频

DOI

本文提出SonoHaptics，一种用于基于注视的3D对象选择的音频触觉光标。SonoHaptics解决了在扩展现实(XR)中基于注视选择时提供准确视觉反馈的挑战，例如无显示或有限显示智能眼镜缺乏世界锁定显示以及视觉不一致问题。为使能够在无视觉反馈情况下区分对象，SonoHaptics采用人类感知中跨模态对应的概念，将对象的视觉特征(颜色、大小、位置、材质)映射到音频触觉属性(音高、振幅、方向、音色)。本研究贡献了用于确定视觉特征到音频和触觉特征跨模态映射的数据驱动模型，以及自动为用户环境中对象生成音频触觉反馈的计算方法。SonoHaptics提供场景中每个对象独特的全局反馈，以及增强附近对象之间差异的局部反馈。我们的比较评估表明，SanoHaptics能在无视觉反馈的杂乱场景中实现准确的对象识别和选择。