理解户外城市空间中的时空感知多模态对话搜索

文献标题

Understanding Spatiotemporal-Aware Multimodal Conversational Search in the Outdoor Urban Space

出版信息

• 主题领域: 动态城市环境中的多模态对话式搜索。
• 关键词: 多模态对话式搜索，时空感知，城市出行，人机交互，移动信息检索，情境调查，人工智能伦理，空间推理，用户体验，隐私。

背景与问题

• 问题/挑战: 现有的对话式搜索工具主要集中于静态的室内环境，缺乏对时空感知的强大整合。在动态的户外城市空间中，用户如何与这些工具交互的实证研究仍然有限，而此类环境中的动态背景和分散注意力带来了独特的挑战。
• 意义: 填补这些空白可以改善城市环境中的实时信息检索、决策和导航，从而提升用户体验和安全性。
• 动机与相关研究: 先前的研究探讨了城市空间中的对话式搜索和人工智能系统，但对时空感知交互及其对用户行为、需求和关注点的影响研究不足。

解决方案

• 提出的方法: 开发UrbanSearch，这是一种整合时空感知（如地理位置、时间戳、视觉环境）的多模态对话式搜索（MCS）工具，用于支持城市空间中的实时信息检索。
• 创新性:
  1. 提供用户在户外城市环境中与时空感知MCS工具交互的实证见解。
  2. 识别未满足的需求，例如空间推理和多信息源透明整合。
  3. 为未来MCS系统设计提供启示，包括紧凑的多轮对话和可视化的空间推理。
  4. 探讨用户对外围感知、社交互动和隐私的关注。
• 程序与关键技术:
  1. 开发了UrbanSearch，结合了视觉-语言模型、GPS和网络搜索功能。
  2. 在芬兰坦佩雷市对23名参与者进行了情境调查，包括步行会话和半结构化访谈。
  3. 使用主题分析和数据三角化（探针日志、屏幕录制、访谈记录）分析用户交互、查询模式和反馈。

结果

• 具体发现:
  • 参与者每次会话平均提交26.2个查询和19.0张图片，UrbanSearch的响应准确率达到94.7%。
  • 交互线程遵循“观察–决策–行动”流程，大多数线程在“观察”或“决策”阶段结束。
  • 参与者重视低成本的查询表达和高度相关的情境响应。
• 相较基线的优势:
  • UrbanSearch通过利用共享的时空上下文减少了认知和手动操作的负担，在移动查询的相关性和可用性上优于传统搜索引擎。
  • 作为一个集中的信息门户，减少了在多个应用之间切换的需求。
• 实验/评估:
  • 在真实城市环境中对23名参与者（涵盖多样化的人口统计和AI熟悉度）进行实验。
  • 通过定性和定量方法评估响应准确性和用户信任。
• 局限性与未来工作:
  • 仅在一个欧洲城市进行的单次会话研究；未来需包括纵向研究和跨文化背景。
  • 对智能眼镜等新兴设备的探索有限。
  • 需要进一步研究用户信任校准和减负分类法。

总结

本研究通过UrbanSearch技术探针，调查了城市空间中的时空感知多模态对话式搜索（MCS）。该工具整合了GPS、时间戳和视觉输入，研究发现MCS工具能够减少认知和手动负担，支持环境学习、现场决策和个性化导航，并作为集中信息门户。然而，研究也发现了对空间推理、多信息源透明性以及隐私和社交感知的未满足需求。研究提出了关于紧凑多轮对话、空间推理可视化和外部工具整合的设计启示，为更具适应性、情境感知和社会敏感性的MCS系统铺平了道路。