表征网页浏览 GUI 智能体的非预期后果

文献标题

Characterizing Unintended Consequences of GUI Agents For Web Browsing

出版信息

• 主题领域: 用户报告的问题以及GUI代理在网页浏览自动化中的意外后果。
• 关键词: GUI代理，网页自动化，意外后果，用户体验，安全风险，缓解策略，LLMs，人机交互，操作失败，设计影响。

背景与问题

• 问题/挑战: 基于LLMs的网页浏览GUI代理在理解抽象用户意图、适应动态界面以及避免错误操作方面面临重大挑战。这些问题导致操作失败、安全风险以及用户不满，而这些问题在现有文献中尚未得到充分研究。
• 重要性: 解决这些挑战至关重要，因为GUI代理正越来越多地被集成到电子商务、社交媒体管理和信息检索等任务的工作流程中。这些系统的失败可能导致经济损失、安全漏洞以及信任的丧失。
• 动机与相关研究: 尽管已有研究关注技术基准和其他领域（如物联网漏洞）中AI引发的危害，但针对GUI代理的用户中心研究仍然匮乏。本文旨在通过系统分析用户投诉及其后果来填补这一空白。

解决方案

• 提出的方法: 采用两阶段混合方法研究，结合社交媒体分析（N=221条帖子）和半结构化访谈（N=21）来表征用户报告的投诉、其影响及GUI代理在网页浏览中的缓解策略。
• 创新性:
  1. 开发了一个以用户为中心的GUI代理投诉分类法，重点关注在理解、适应和操作负担方面的失败。
  2. 分析了这些失败的多层次影响，包括操作、安全和社会层面的后果。
  3. 综合用户提出的缓解策略和设计建议，以实现更安全、更可靠的GUI代理。
• 过程与关键技术:
  • 阶段1: 社交媒体分析，用于识别自然发生的关于GUI代理的投诉。
  • 阶段2: 半结构化访谈，用于情境化和深入理解用户体验。
  • 主题分析，用于分类投诉并提取其后果和缓解策略的见解。

结果

• 具体发现:
  • 识别了三类失败：(1) 理解和意图对齐（如任务分解错误、指令误解），(2) 适应和执行（如GUI操作错误、UI适应性差），(3) 摩擦和负担（如高操作成本、系统响应缓慢）。
  • 突出了多层次影响，包括任务放弃、安全漏洞（如不受控的文件系统访问）以及信任丧失等社会问题。
  • 记录了用户的缓解策略，如生态沙盒、光标阴影和手动监督。
• 相较基线的优势: 与以往关注技术基准的研究不同，本研究提供了用户中心的视角，强调了真实世界交互失败及其更广泛的影响。
• 实验/评估:
  • 社交媒体分析: 审查了1,850条帖子，筛选出221条相关帖子，获得25,366个点赞和9,370条评论。
  • 访谈: 针对21名参与者进行了访谈，涵盖电子商务、社交媒体管理等多种任务，以验证和扩展研究发现。
• 局限性与未来工作:
  • 范围仅限于网页浏览任务，发现可能无法推广到其他领域。
  • 参与者群体偏向于中国的技术熟练用户；未来工作应包括技术水平较低的用户和其他文化背景。
  • 需要针对不同代理平台和任务复杂性的比较研究。

总结

本文系统研究了GUI代理在网页浏览中的意外后果，识别了理解、适应和操作负担方面的失败。这些失败导致了显著的操作、安全和社会影响，包括任务放弃、安全漏洞以及信任的丧失。目前，用户依赖于生态沙盒、光标阴影等临时缓解策略。研究提出了面向后果感知代理的设计建议，强调交互对齐的干预、风险感知操作以及生态沙盒。这些发现为改进GUI代理在实际应用中的可靠性和安全性提供了可操作的见解。