语义自动化中GUI会话控制的实证研究

本研究探索将大型语言模型(LLM)微调以会话方式控制用户界面(UI)用于语义自动化层(SAL)。我们从先前工作中整合SAL能力，并通过Kano模型与业务分析师和数据工程师进行优先排序，随后实现原型UI。我们使用会话引擎增强UI，并提出原地提示工程(In-situ Prompt Engineering)与人类反馈学习，以简化通过自然语言命令与UI的交互。为评估各种用例场景中会话控制的有效性和可用性，我们进行并报告了一项实证交互设计用户研究。我们的发现提供了支持增强用户参与度和 satisfaction 的证据。我们还观察到在使用我们的会话UI后，对AI的信任度显著提高。这项工作为进一步改进和研究更智能、高度集成的会话UI产生了领域，甚至超越了我们 在语义自动化中的应用。我们讨论我们的发现并指出为未来研究和开发更直观和自适应用户界面的下一步。