ReMap：通过多模态搜索降低寻求帮助的门槛

视频

DOI

人们在使用复杂软件时经常在线寻求帮助。目前，信息搜索通过创建独立的搜索任务导致用户注意力偏离当前任务。本文研究了如何通过多模态交互使任务内寻求帮助更加便捷和快速。我们推出了 ReMap，这是一种多模态搜索界面，帮助用户在桌面和 Web 应用程序中使用时查找视频帮助。用户可以 speak Search 查询，通过指示方式添加特定应用程序术语（例如「如何擦除这个」），并通过语音导航搜索结果，整个过程无需将手（或鼠标）离开当前任务。实验室中 13 名使用 ReMap 的参与者发现，它帮助他们在同时搜索和学习视频时保持专注于任务。用户使用 ReMap 的体验也提出了实施系统级上下文感知多模态辅助的若干重要挑战。