VisionTasker：基于视觉UI理解与LLM任务规划的移动端任务自动化

视频

DOI

移动任务自动化是一个新兴领域，利用AI简化和优化移动设备上常规任务的执行，从而提高效率和生产力。传统方法（如编程演示PBD）因依赖预定义任务且易受应用更新影响而存在局限性。最近的研究利用视图层级收集UI信息并采用大语言模型（LLM）增强任务自动化。然而，视图层级存在可访问性问题，可能出现对象描述缺失或结构错位等问题。本文提出VisionTasker，一个结合基于视觉的UI理解和LLM任务规划的两阶段框架，用于逐步执行移动任务自动化。VisionTasker首先使用基于视觉的UI理解方法将UI截图转换为自然语言描述，从而无需视图层级。其次，它采用逐步任务规划方法，一次向LLM呈现一个界面，然后识别相关元素并确定下一步操作，从而提高准确性和实用性。大量实验表明，VisionTasker优于先前方法，在四个数据集上提供有效的UI表示。此外，在Android智能手机上自动化147个真实世界任务时，VisionTasker在人类不熟悉的任务中表现出优势，并与PBD机制集成时显示出显著改进。