SusBench：评估计算机使用agent暗模式敏感性的在线基准

随着基于LLM的计算机使用agent(CUA)开始自主与现实世界界面交互，了解其对操纵性界面设计的脆弱性变得越来越重要。我们引入SusBench，这是一个在线基准，用于评估CUA对UI暗模式的敏感性——即旨在操纵或欺骗用户采取非预期行为的设计。我们从现有分类法中提取九种常见暗模式类型，开发了一种通过代码注入在真实消费者网站上构建可信暗模式的方法，并设计了跨越55个网站的313项评估任务。我们与29名参与者的研究表明，我们的暗模式注入被人类高度认可为真实，绝大多数参与者没有注意到这些是由研究团队注入的。我们在该基准上评估了五种最先进的CUA。我们发现，人类参与者和agent特别容易受到预选、欺骗性措辞和隐藏信息这三种暗模式的影响，而对其他明显的暗模式具有韧性。我们的发现为开发更可信的CUA、将其用作评估欺骗性设计的潜在人类代理，以及监管日益被自主agent导航的在线环境提供了信息。