GPTVoiceTasker：通过动态界面探索与学习提升多步骤移动任务效率

视频

DOI

虚拟助手在帮助用户完成各类任务方面具有重要潜力，但这些系统在现实可用性方面面临挑战，表现为效率低下和难以理解用户意图。借助大型语言模型（LLM）的最新进展，我们推出了GPTVoiceTasker，这是一款能够增强移动设备用户体验和任务效率的虚拟助手。GPTVoiceTasker擅长智能解析用户命令并执行相关的设备交互以简化任务完成。对于前所未有的任务，GPTVoiceTasker利用上下文信息和屏幕内容持续探索并执行任务。此外，系统不断从历史用户命令中学习，以自动执行后续任务调用，进一步提高执行效率。实验表明，GPTVoiceTasker在将人类命令解析为可执行动作方面达到84.5%的准确率，在自动化多步骤任务方面达到85.7%的准确率。在用户研究中，GPTVoiceTasker将实际场景中的任务效率提升了34.85%，并获得了积极的参与者反馈。我们将GPTVoiceTasker开源，邀请进一步研究通过提示工程将LLM用于多样化任务，并利用用户使用数据提高效率。