HindSight: 通过实时360度视频中检测到的对象声化来增强空间意识

我们对周围环境的感知受到人类生物学限制的约束。增强感知领域探讨了如何通过计算手段有效地扩展我们的感官能力。我们认为，可以通过利用计算机视觉领域的最新进展来增强空间意识，这些进展使得在日常环境中进行高精度、实时的对象检测成为可能。我们介绍了HindSight，这是一种可穿戴系统，通过在实时360度视频中检测相关对象，并通过骨传导耳机将它们的位置和类别声音化来增强空间意识。HindSight使用深度神经网络通过佩戴在头上的全景相机来定位用户周围的对象并赋予它们语义信息。然后，它使用保留自然听觉敏锐度的骨传导耳机传输检测到的感兴趣对象的音频通知。我们开发了一个使用HindSight的应用程序，以警告骑车人注意其视野之外接近的车辆，并通过一项有15名用户参与的探索性研究对其进行了评估。参与者报告说，在使用HindSight时，他们感觉到的安全性和对接近车辆的意识有所提高。