PlaceWeave：通过社交视频叙事与图增强本地知识理解地方

文献标题

PlaceWeave: Understanding Place Through Social Video Narratives and Graph-Enhanced Local Knowledge

出版信息

• 研究领域: 基于人工智能和社交视频叙事的人性化旅行规划。
• 关键词: 本地性, 社交视频, 知识图谱, 旅行规划, AI助手, Graph-RAG, 社区媒体, 本地探索, 行程系统, 空间意义构建。

背景与问题

• 问题/挑战: 现有的地点工具将地点的丰富关系性特征简化为评分和坐标等简单指标，无法捕捉地点的“本地性”，迫使用户在多个工具之间进行分散的工作流操作。
• 重要性: 理解本地性对于创建真实、符合社区敏感性的行程至关重要，尤其是对于寻求非旅游化体验的旅行者而言。目前的系统无法将社交媒体中的体验线索整合为可操作的计划。
• 动机与相关研究: 以往的研究强调了地点的社会和文化维度，但在将这些概念转化为计算系统时面临困难。像TikTok这样的短视频提供了关于本地实践的丰富多模态洞察，但这些信号在旅行规划中仍然是非结构化且未被充分利用的。

解决方案

• 提出的方法: PlaceWeave，一个以人为中心的旅行规划系统，利用增强图谱的AI管道从TikTok视频中提取和表示本地性，并将这些信息整合到一个统一的规划界面中。
• 创新点:
  1. 基于框架的方法，从短视频中构建地点知识图谱，将本地性编码为关系性、基于证据的属性。
  2. 一个本地性感知的Graph-RAG管道，将对话式辅助、地图覆盖和路线规划基于相同的证据进行整合。
  3. 一个统一的界面，结合地图、对话式AI和行程工具，减少工作流的分散性并增强空间意义构建。
  4. 用户研究表明，PlaceWeave能够支持具有本地感的计划，并与基线工具链相比减少了分散的工作流。
• 流程与关键技术:
  • 从TikTok视频中进行多模态实体提取，包括视觉、音频和文本特征。
  • 构建一个包含地点、活动、氛围和时间节奏节点的地点知识图谱，并与支持证据相链接。
  • 利用Graph-RAG管道检索和综合本地性属性，支持AI驱动的推荐和行程规划。
  • 用户界面集成了交互式地图、对话助手、洞察面板、心理地图画布和路线规划工具。

结果

• 具体发现:
  • SUS得分：74.2（高于可用性阈值）。
  • 对本地性感知（4.00/5）、推荐质量（4.22/5）、创造力支持（4.19/5）和满意度（4.10/5）的评分较高。
  • 知识图谱：28,341个节点和96,507条边，对于具体属性如“隐藏宝藏”的虚假率较低（≤0.11）。
• 相较基线的优势:
  • 与使用ChatGPT、TikTok、Google Maps和Draw.io的基线工作流相比，统一界面减少了分散性。
  • 参与者发现了更多真实的本地感地点，并创建了具有更高本地性和真实性的行程。
  • 对话式AI与地图和行程的紧密结合提升了信任度和可用性。
• 实验/评估:
  • 18名参与者在两种条件下（PlaceWeave与基线）进行旅行规划的组内研究。
  • 测量指标包括SUS、自定义Likert量表（用于本地性和满意度），以及对思考过程和访谈的定性分析。
• 局限性与未来工作:
  • 由于依赖TikTok，年轻人口和热门场所的过度代表性问题。
  • 界面信息密度较高，偶尔导致用户不堪重负。
  • 未来工作包括扩展数据来源、改进视觉层次结构，以及对真实世界旅行结果进行实地评估。

总结

PlaceWeave通过利用TikTok视频和增强图谱的AI管道提取和表示本地性，为旅行规划引入了一种新颖的方法。其统一界面整合了地图、对话式AI和行程工具，使用户能够创建真实、符合社区敏感性的计划，同时减少工作流的分散性。用户研究表明，与基线工具相比，该系统在可用性、本地性感知和规划效率方面具有显著优势。未来工作将解决代表性偏差、界面复杂性和真实世界验证问题，以进一步增强其适用性和社区契合度。