一幅图胜过千言万语？研究图像辅助对AR日常任务记忆唤起的影响

DOI

记忆增强一直是人机交互研究的核心领域。最近兴起的 multimodal 大型语言模型（MLLMs）通过自由形式查询检索存储在多种格式（如文本和图像）中的信息，拓展了记忆增强研究。然而，文献集中于基于文本的记忆辅助，尽管人类处理视觉信息的效率更高，但关于基于图像的辅助的研究却出人意料地有限。因此，在本工作中，我们探索图像辅助对记忆增强的影响。为此，我们首先设计和实现了一个增强现实（AR）记忆增强系统，该系统基于对MLLM性能（GPT-4o、LLaVA和Mini-Gemini）的人类评估和用户界面（UI）设计工作坊的见解。结果发现GPT-4o最适合我们的系统，带有文本补充的图像（Image+text）是最受欢迎的记忆辅助格式。我们还确定了AR记忆增强的最佳UI设计参数。在系统原型最终版本固定后，我们进行了一项用户研究（N=20），包括两个模拟现实生活记忆相关挑战的任务。我们发现Image+text显著增强了回忆表现和记忆生动性。此外，从用户体验角度看，Image+text被认为是最有帮助且最易于使用的记忆辅助方式。我们的研究表明，图像是增强记忆回忆的强大模态，超越了传统的基于文本的方法。我们预期这项工作所获得的见解将有助于开发实用的日常记忆增强系统。