DroidRetriever：一个透明且可操控的协作式移动信息检索自动化系统

文献标题

DroidRetriever: A Transparent and Steerable Automation System for Collaborative Mobile Information Seeking

出版信息

• 主题领域: 基于多LLM系统的移动信息检索与自动化。
• 关键词: 移动代理、多LLM协作、信息检索、任务分解、UI自动化、报告合成、透明性、用户干预、隐私感知系统。

背景与问题

• 问题/挑战: 移动信息检索因孤立的应用生态系统而支离破碎，用户需要手动切换上下文并重新输入数据。现有解决方案（如基于LLM的代理和基于API的工具）缺乏透明性、跨源整合能力以及有效的用户干预机制。
• 重要性: 解决这些挑战可以减少认知负担，提高工作流效率，并增强用户对移动自动化系统的信任。
• 动机与相关工作: 先前的研究包括基于LLM的网页搜索代理和移动任务执行系统，但它们在处理登录限制内容、动态应用内数据以及透明性方面存在困难。现有工具缺乏结构化的进度监控、可验证的证据以及有效的干预机制，难以实现可靠且用户可控的移动信息检索。

解决方案

• 提出的方法: DroidRetriever，一个用于透明且可控的移动信息检索的多LLM系统。
• 创新点:
  1. 包含任务分解、UI协作助手和报告合成模块的多LLM架构。
  2. 提供实时任务进度和探索轨迹的透明仪表盘，支持用户干预。
  3. 具有隐私感知机制，在高风险屏幕上暂停并提示用户确认。
  4. 提供带有引用链接的报告，用于可验证的结构化信息合成。
• 流程与关键技术:
  • 任务分解: 将任务分解为特定应用的子任务，选择相关应用，并确定搜索模式（聚焦模式、列表视图或多页面）。
  • UI协作助手: 使用基于视觉的UI理解、动作规划和滚动截图自动化导航，并在隐私敏感操作时主动暂停。
  • 报告合成: 处理截图以生成结构化报告（如表格、摘要），并附带引用链接以确保可追溯性。
  • 用户干预: 提供仪表盘和小部件，用于任务监控、手动修正以及导航过程中的接管。

结果

• 具体发现:
  • 在22个任务中，应用级任务分解准确率达到96%，页面级分解准确率达到82%。
  • 在研究1中，报告覆盖率显著提高（p = .0096），准确性与人类参与者相当（p = .77）。
  • 与手动和基线系统相比，在多应用任务中减少了用户工作量，并提高了感知确定性和信心。
• 相较基线的优势:
  • 在覆盖率、准确性和用户信任方面，优于LLM驱动的搜索引擎（Qwen、ChatGPT）和移动代理（Claude、Mobile-Agent-v2）。
  • 通过进度可视化和带引用链接的报告提供更好的透明性和控制。
  • 每任务的Token使用量减少（19,459 tokens/task），显著低于Claude（210,128 tokens/task）。
• 实验/评估:
  • 研究1: 比较DroidRetriever的报告合成与人类在13个任务上的表现，评估覆盖率、准确性和冗余性。
  • 研究2: 评估任务分解、UI协作助手以及系统整体在22个单应用和多应用任务中的性能，并与基线工具进行比较。
  • 研究3: 通过定性访谈和案例研究评估用户体验、信任以及干预机制。
• 局限性与未来工作:
  • 在处理动态内容（如视频流）和突发屏幕变化时存在困难。
  • 依赖于通用LLM，导致延迟和偶发不准确。
  • 未来工作包括增强对动态界面的支持，并探索多模态模型以实现更快的端到端导航。

总结

DroidRetriever是一个利用多LLM协作的透明且可控的移动信息检索系统。它实现了任务分解、UI导航和报告合成，并通过实时进度仪表盘和带引用链接的报告为用户验证提供支持。实验表明，与现有工具相比，该系统在覆盖率、准确性和用户信任方面表现优越。尽管在处理动态内容和优化LLM导航方面仍有改进空间，该系统非常适合需要可操作和可验证信息的日常跨应用任务。