LLM驱动的GUI代理的行为结构：人类价值观与交互结果

大型语言模型（LLM）驱动的网络GUI代理正日益自动化日常在线任务。尽管它们很受欢迎，但人们对用户偏好和价值观如何影响代理的推理和行为知之甚少。在本工作中，我们研究了显式和隐式用户偏好以及潜在用户价值观如何影响代理决策和行为轨迹。我们构建了一个包含14个常见交互式网络任务的受控测试平台，涵盖购物、旅行、餐饮和住宿领域，每个任务都从真实网站复制并集成低保真LLM推荐系统。我们将12个人类偏好和价值观作为人物角色注入到四个最先进的代理中，并系统地分析他们的任务行为。我们的结果显示，偏好和价值观注入的提示始终引导代理走向反映这些偏好和价值观的结果。虽然缺乏用户偏好或价值观引导导致代理表现出强烈的效率偏见并采用最短路径策略，但它们的存在通过更充分地使用相应过滤器和交互式网络功能来引导代理的行为轨迹。尽管具有影响力，但主导界面线索（如折扣和广告）经常超越这些效果，缩短代理的行为轨迹并诱导合理化，掩盖而非反映与价值观一致的推理。本文的贡献有二：（1）一个用于研究价值观对代理行为影响的开源测试平台；（2）用户偏好和价值观如何塑造网络代理行为的实证研究。