与图形用户界面的对话

视频

DOI

应用图形用户界面的标注数据集包含可用于多种目的的丰富信息，从为设计师提供灵感、为开发者提供实现细节，到在日常使用中协助最终用户。然而，用户通常难以用计算机能可靠理解的方式表达其需求。为了解决这一问题，我们研究了人们如何使用自然语言与此类GUI数据集进行交互。我们在三项目标群体（设计师、开发者、最终用户）的调查（N=120）中收集用户需求，以了解哪些功能会有用以及用户如何表述查询。我们贡献了一个包含1317个用户查询的标注数据集，并演示了一个对话式助手的应用，该助手可以解释这些查询并从大规模GUI数据集中检索信息。它可以：（1）为设计构思建议GUI截图，（2）突出显示特定GUI功能的开发细节，（3）揭示关于应用程序的进一步洞见。我们的发现可以为与GUI数据集直观交互的智能系统的设计和实现提供信息。