Log2Plan：集成任务挖掘方法的自适应 GUI 自动化框架

DOI

GUI 任务自动化可简化重复性任务，但现有的基于 LLM 或 VLM 的规划器-执行器智能体存在泛化脆弱、高延迟和长时域连贯性有限等问题。它们对单次推理或静态计划的依赖使其在界面变化或复杂任务下表现脆弱。Log2Plan 通过将结构化双层规划框架与用户行为日志的任务挖掘方法相结合，解决了这些局限性，实现了稳健且适应性强的 GUI 自动化。Log2Plan 通过将用户命令映射到结构化任务字典来构建高层计划，实现一致且可泛化的自动化。为支持个性化和重用，它采用来自用户行为日志的任务挖掘方法，识别用户特定模式。这些高层计划随后通过解释实时 GUI 上下文被落地为低层动作序列，确保在各种界面上的稳健执行。我们在 200 个真实世界任务上评估了 Log2Plan，展示了任务成功率和执行时间的显著提升。值得注意的是，即使在长时域任务序列上，它也能保持超过 60.0% 的成功率，凸显了其在复杂多步骤工作流中的稳健性。