从交互到影响：通过理解与评估移动端UI操作影响构建更安全的AI智能体

DOI

随着生成式AI的发展，越来越多的研究致力于创建能够通过操作用户界面（UI）来管理日常任务的自主智能体。先前的研究探讨了AI智能体如何导航UI并理解UI结构，但智能体及其自主操作的影响——尤其是那些可能存在风险或不可逆的操作——仍未得到充分探索。本研究调查了AI智能体执行移动端UI操作的真实世界影响和后果。我们首先通过与领域专家的一系列研讨会开发了移动端UI操作影响的分类法。随后，我们进行了一项数据综合研究，收集用户认为有影响的真实移动端UI屏幕轨迹和操作数据。然后，我们使用影响分类法对收集的数据以及从现有移动端UI导航数据集重新利用的数据进行标注。我们对不同大型语言模型（LLM）及其变体进行了定量评估，以展示不同LLM理解智能体可能采取的移动端UI操作影响的能力。我们的分类法增强了这些LLM理解移动端UI操作影响的推理能力，但研究结果也揭示了它们在可靠分类更细微或更复杂的影响类别方面存在显著差距。