时间关键性失踪人员调查中的人机交互：AI支持感知决策研究

文献标题

Human-AI Interaction for Time-Critical Sensemaking in Missing Persons Investigations

出版信息

• 主题领域: 基于人工智能的工具，用于失踪人员调查中的高风险信息整合。
• 关键词: 人机交互，失踪人员，信息整合，参与式设计，大型语言模型，数据可视化，警务，高风险环境，总结，信息提取。

背景与问题

• 问题/挑战: 失踪人员调查需要快速整合分散的数据，但现有工作流程耗时且容易导致信息过载。现有的人工智能工具，尤其是大型语言模型（LLMs），面临诸如幻觉、缺乏可追溯性以及领域适应性有限等问题，使其在高风险环境中不可靠。
• 重要性: 提高失踪人员调查的效率可以挽救生命，因为延迟整合关键信息可能会阻碍搜救工作。
• 动机与相关研究: 之前的研究探索了人工智能在警务中的应用，例如面部识别和多模态数据整合，但很少有研究关注失踪人员调查中的语言处理。现有工具通常忽视用户需求，导致采用率低且实用性有限。

解决方案

• 提出的方法: 提出一种混合型人工智能辅助系统，将基于LLM的总结和提取与基于规则的方法及数据驱动的可视化相结合，并通过与苏格兰警察的迭代设计过程开发。
• 创新点:
  1. 确定了失踪人员调查中的五类高价值信息：弱点、当前事件情况、关联网络、地点和失踪模式。
  2. 开发了一种混合系统，通过源链接、基于规则的方法和数据驱动的可视化来降低幻觉风险。
  3. 采用参与式设计过程，与警务人员合作确保系统符合实际工作流程和需求。
  4. 使用合成数据评估LLM的可行性，以测量幻觉率和提取准确性。
• 程序和关键技术:
  1. 与苏格兰警察进行形成性研究以确定用户需求和工作流程要求。
  2. 根据设计轴（模态、抽象水平、精度）开发并优化三个原型概念。
  3. 通过与警务人员的研讨会和调查评估原型，并将反馈纳入最终设计。
  4. 使用合成数据评估LLM性能，测量幻觉率和提取可靠性。

结果

• 具体发现:
  • 最终原型获得警务人员高度评价，17名参与者中有16人表示该系统将改善现有实践。
  • 基于LLM的实体提取表现出高可靠性（例如，关联网络匹配率达到87%），但抽象任务如模式提取的幻觉率较高。
  • 可视化元素（例如地图、时间轴）在快速决策中尤为重要。
• 相较基线的优势:
  • 混合方法相比仅使用LLM的解决方案显著降低了幻觉风险。
  • 源链接确保了可追溯性和责任性，解决了高风险环境中的关键问题。
• 实验/评估:
  • 与6名警务人员进行形成性研究，确定关键需求。
  • 与2名警务搜查顾问进行概念优化研讨会，评估三个原型。
  • 最终原型通过在线调查测试，17名警务人员提供了关于实用性和完整性的反馈。
  • 合成数据评估量化了界面各部分的幻觉率和提取准确性。
• 局限性与未来工作:
  • 由于隐私限制，参与者数量有限且无法访问真实数据。
  • 评估依赖于感知的实用性，而非在实际调查中的现场测试。
  • 未来工作可探索多模态数据整合（例如交通、社交媒体），并将工具扩展到其他司法辖区。

总结

本文提出了一种用于失踪人员调查的混合型人工智能辅助系统，通过与苏格兰警察的参与式设计过程开发。该系统结合了基于LLM的总结和提取、基于规则的方法以及可视化技术，以满足用户需求并降低幻觉风险。评估显示该系统在视觉元素和实体提取任务方面的高感知实用性，但抽象任务如模式识别仍存在挑战。研究强调了用户中心设计、源链接以及轻量化、本地化解决方案在高风险环境中的重要性。未来工作可扩展系统范围并评估其实际影响。