ILuvUI：通过机器对话进行UI的指令微调语言-视觉建模

DOI

多模态视觉-语言模型（VLMs）因其融合的图像和语言理解能力而支持强大的应用，但许多模型由于缺乏UI训练数据而在UI任务上表现不佳。本文通过将现有的基于像素的方法与大语言模型（LLM）相结合，为VLMs生成配对的文本-图像训练数据适应到UI领域。与现有方法不同，我们的方法不需要人工提供的注释，并且可以应用于任何UI截图数据集。我们生成了一个包含35.3万对话示例与UI配对的数据集，涵盖问答、UI描述和规划，并使用它来微调用于UI任务的对话VLM。为了评估我们模型的性能，我们在UI元素检测任务上进行了基准测试，评估了响应质量，并展示了其在UI验证中的适用性。