MemPal：利用多模态人工智能和大型语言模型在老年人家中实现语音激活的物体检索

DOI

老年人越来越难以进行回顾性记忆，这阻碍了他们执行日常活动的能力，并给护理人员带来压力，确保他们的健康。人工智能（AI）和大型上下文感知多模态模型的最新发展提供了创建记忆支持系统的机会，帮助老年人解决常见问题，如寻找物体。本文讨论了一款基于AI的可穿戴记忆助手MemPal的开发，该助手帮助老年人解决一个常见问题——在家中寻找丢失的物体，并展示了在其自身家中进行系统测试的结果。系统使用可穿戴摄像头的视觉上下文，创建实时自动文本日记，记录人的活动以提供记忆支持，并通过基于语音的界面提供物体检索辅助。该系统旨在支持额外的用例，如基于上下文的主动安全提醒和过去行为的回忆。我们报告了在老年人自身家中进行的N=15人的定量和定性研究，结果显示，与没有辅助相比，音频辅助下的物体查找性能有所改善，并且对所设计系统有积极的整体用户感知。我们进一步讨论了MemPal作为多功能记忆辅助工具的设计应用，并为将记忆助手适应老年人的独特需求提供了未来的设计指南。