黑暗模式遭遇GUI智能体：大型语言模型智能体对操纵性界面的易感性与人类监督的作用

文献标题

Dark Patterns Meet GUI Agents: LLM Agent Susceptibility to Manipulative Interfaces and the Role of Human Oversight

出版信息

• 主题领域: 图形用户界面（GUI）代理与操控性界面设计（暗黑模式）之间的交互。
• 关键词: 暗黑模式, GUI代理, 人类监督, LLMs, 任务自动化, 用户自主性, 欺骗, 透明性, 认知负荷, 代理脆弱性。

背景与问题

• 问题/挑战: 基于大语言模型（LLMs）的GUI代理正被广泛用于在图形用户界面（GUIs）上自动化任务。然而，这些代理对操控性界面设计（暗黑模式）的脆弱性仍未被充分理解。这些代理通常优先完成任务，而忽视用户的安全和隐私，可能导致其行为与用户利益不一致。
• 重要性: 理解并缓解GUI代理对暗黑模式的脆弱性对于确保自动化系统中的用户安全、信任和隐私至关重要，尤其是在金融和医疗等高风险领域中部署这些代理时。
• 动机与相关工作: 先前的研究主要集中在人类对暗黑模式的易感性以及LLM对对抗性提示的脆弱性。然而，暗黑模式对GUI代理所带来的独特挑战，包括其认知和感知局限性，尚未被系统性研究。本研究通过评估代理和人类对暗黑模式的响应以及探索人类监督的作用，填补了这一空白。

解决方案

• 提出的方法: 通过两阶段的实证研究评估GUI代理和人类对16种暗黑模式的响应，重点关注代理的脆弱性、人类与代理的差异以及人类监督的影响。
• 创新性:
  1. 系统性地评估GUI代理在多种场景和代理类型下对暗黑模式的脆弱性。
  2. 直接比较人类和代理对暗黑模式的脆弱性，揭示不同的失败模式。
  3. 分析人类监督在缓解暗黑模式中的有效性及其相关的认知和注意力成本。
• 过程与关键技术:
  • 第一阶段: 评估六种GUI代理（四种基于LLM的适配代理和两种端到端代理）在16种暗黑模式下的表现，测量任务完成率、意识率和规避率。
  • 第二阶段: 进行一项包含22名参与者的被试内实验，比较他们在两种条件下对暗黑模式的响应：独立工作和监督GUI代理（操作员）。
  • 数据收集包括推理轨迹、任务结果和参与者访谈，以分析意识、规避行为和监督行为。

结果

• 具体发现:
  • GUI代理通常在无意识的情况下规避了暗黑模式，但意识到暗黑模式时却很少采取保护性行动。
  • 人类和代理在相似的暗黑模式（如不良默认设置、隐藏信息）上失败，但原因不同：人类依赖启发式，而代理则优先完成任务。
  • 人类监督提高了规避率，但也带来了注意力隧道效应、认知负荷增加以及对操控性设计的意识下降等成本。
• 相较基线的优势:
  • 端到端代理在使用终止作为安全机制（如暂停以等待用户确认）方面优于基于LLM的适配代理。
  • 人类与代理团队在规避某些暗黑模式方面优于单独的人类或代理，但以增加认知需求为代价。
• 实验/评估:
  • 第一阶段: 在电子商务、社交媒体和视频流媒体领域测试了六种代理对16种暗黑模式的响应。
  • 第二阶段: 重复使用相同的任务和暗黑模式，比较人类独立工作和人类-代理监督条件，采用拉丁方设计以平衡任务和条件顺序。
• 局限性与未来工作:
  • 快速发展的GUI代理架构可能会随着时间改变其脆弱性。
  • 在受控实验中孤立的暗黑模式可能无法完全反映现实世界中多种模式共存的复杂性。
  • 样本量较小（22名参与者）限制了研究的普适性；未来研究应包括更大且更多样化的人群。
  • 基于回顾性推理轨迹和访谈的数据可能无法完全反映实时决策过程。

总结

本研究探讨了GUI代理和人类对操控性暗黑模式的脆弱性，并评估了人类监督的作用。研究发现，GUI代理通常因程序性盲点而失败，而人类则依赖启发式和习惯性顺从。人类监督提高了规避率，但也引入了新的脆弱性，如注意力隧道效应和认知过载。研究结果强调了改进代理透明性、自适应自主性以及知情监督机制的必要性，以在效率与用户安全和自主性之间取得平衡。这些见解对于GUI代理在高风险领域的安全部署以及制定应对代理介导交互的监管框架至关重要。