RealityReplay：利用混合现实原地检测和回放时间变化

由于有限的短时记忆和视野，人类很容易错过周围环境中的事件。例如，在观看教练的机器维修演示或体育比赛期间的交谈时就会发生这种情况。我们提出RealityReplay，这是一种新颖的混合现实（MR）方法，无需修改物理空间即可跟踪和可视化这些重要事件。它仅需要一个头戴式MR显示器和一个360度相机。我们贡献了一种基于语义分割和显著性预测相结合的用户周围重要运动事件的自我中心跟踪方法，并生成原地MR视觉摘要以总结时间变化。这些摘要可视化内容叠加在物理世界上，以显示哪些物体移动了、以何种顺序移动以及它们的轨迹，使用户能够观察先前隐藏的事件。可视化效果基于一项形成性研究，该研究比较了不同风格对用户感知时间变化的影响。我们的评估表明，与基于记忆的回忆相比，RealityReplay显著增强了对时间运动事件的理解。我们展示了在指导、教育和观察方面的应用场景，并讨论了通过技术增强扩展人类时空能力的影响。