生成性和可塑性用户界面与生成性和演进的任务驱动数据模型

研究背景与问题

• 问题与挑战: 当前用户界面（UI）设计大多以固定模型为基础，难以灵活地响应用户不断变化的信息需求。虽然生成式 UI 可以通过用户提示生成代码，但生成代码的方法使最终用户难以迭代定制以适应动态需求。
• 重要性: 支持动态任务和个性化需求的界面是未来人机交互发展的方向。传统应用程序无法满足这种需求，而现有生成式技术的局限性进一步限制了用户的定制化体验。
• 研究动机与相关工作: 作者参考了模型驱动开发（Model-Based UI Development）、规范驱动 UI 生成（Specification-Based UI Generation）以及用户最终编程（End-User Programming）的相关研究，提出一种能够动态生成并演化的界面设计方法。

解决方案

• 方法概述: 提出一个基于任务驱动数据模型（Task-Driven Data Model）的技术管道，将大语言模型（LLM）生成的任务驱动数据模型作为 UI 生成和演化的基础，通过自然语言提示和直接操作动态调整模型和界面。
• 创新点:
  1. 使用任务驱动数据模型来建模用户任务的核心实体、关系和属性。
  2. 将数据模型与 UI 规范映射，形成标准化的组件生成规则，确保一致性。
  3. 支持用户通过自然语言和直接操作灵活调整模型与界面。
• 实施步骤:
  1. 数据模型生成: 使用 LLM分析用户提示，生成对象关联数据模型（例如实体、属性关系和结构化数据）。
  2. UI规范生成: 基于数据模型生成UI规范，包括组件映射和状态管理规则。
  3. UI渲染: 按照UI规范，通过预定义规则渲染界面。
  4. 用户定制化交互: 用户通过持续提示或直接操作更新数据模型和UI。

研究成果

• 具体成果:
  1. 开发了一个原型系统“Jelly”，能够动态生成用户界面并支持持续定制。
  2. 技术评估表明，LLM生成的数据模型在任务相关性和准确性方面表现良好。
  3. 用户研究显示，生成式和可塑性界面有助于用户更高效地处理开放性信息任务，提供流畅且个性化的互动体验。
• 优势与对比: 与传统GUI和LLM驱动的聊天界面相比，Jelly提供了持续个性化定制的结构化信息空间，允许用户根据具体任务动态扩展界面。
• 实验与评估结果:
  1. 技术评估结果显示，LLM能够生成高质量的实体和属性（超过94%的属性被认为是必须且有意义的）。
  2. 用户研究发现，Jelly能够帮助用户完成任务并动态适应不断变化的需求。用户对系统在消化信息和定制界面的灵活性和透明度表示满意。
  3. 失败案例主要集中在无法处理高度定制的UI请求或复杂的属性操作，这指向当前规格的范围局限性。
• 局限性与未来方向:
  1. 当前界面设计规格限制了信息表达的多样性（如缺乏高级可视化选项）。
  2. 用户交互效率可以通过更高效的模型扩展机制和直接操作加强。
  3. 下一步包括引入外部数据源支持、更复杂任务依赖建模，以及基于用户上下文的界面个性化。

通过本文研究，作者为未来生成式和可塑性界面的发展提供了一个清晰框架，并展示了如何实现动态任务驱动的数据模型和UI生成的有效实践。