单元、生成器与透镜：面向大型语言模型面向对象交互的设计框架

文献标题

Cells, Generators, and Lenses: Design Framework for Object-Oriented Interaction with Large Language Models

文献信息

• 主题领域: 人机交互与大语言模型（LLMs）的设计与应用
• 关键词: 大语言模型, 生成模型, 写作辅助工具, 重现化, 人机交互设计

研究背景与问题

• 问题或挑战:

  • LLMs对写作任务的支持已显著减少用户的写作负担，但现有的写作界面限制了用户针对生成配置（如输入和模型参数）的实验与迭代能力。
  • 用户的生成配置通常被覆盖，难以追踪、比较以及组合多种配置，这阻碍了用户的灵活探索与实验。
  • 黑箱化和非确定性的模型特质使用户缺乏“纠正”模型结果的有效性，必须耗费额外精力进行实验。

• 研究重要性:

  • 在创意任务中，迭代与实验对于探索设计空间至关重要。通过改善写作界面从而支持多配置的并行原型设计，可以显著提升用户的工作效率及创造力。

• 研究动机与相关工作:

  • 现有研究（如GANSliders、PromptMaker等工具）虽提升了生成模型的某些组件的配置能力，但缺乏对跨组件的定制支持。
  • LLM研究关注了输入配置（如提示工程）与生成输出的部分优化，但仍未解决整体生成过程的调试与综合配置问题。
  • 人-AI写作工具展示了AI对写作的补充功能，但未全面考虑支持用户的迭代与实验需求。

解决方案

• 提出的方法或解决方案:

  • 作者提出“细胞（Cells）、生成器（Generators）、透镜（Lenses）”框架，将生成配置的主要组件（输入、模型、输出）具象化为交互对象。
  • 设计框架中的交互对象是持久化、可复用、可组合的。通过这些对象，用户可创建多种配置的变体，同时进行并行原型设计。

• 创新之处:

  • 提出了一种面向对象的交互设计框架，使得用户能灵活组合输入、模型及输出组件，从而支持生成配置的多样化与实验性。
  • 在设计中结合了“对象重现化”的概念，将任务元素（如文本片段、模型参数）转化为直观易用的交互对象。

• 实施步骤与关键技术:

  1. 细胞（Cells）：
     • 输入单元的物化表示，如句子或短语。
     • 用户可创建、修改、复制并组合多个细胞以构建生成输入。
  2. 生成器（Generators）：
     • 模型设置的物化表示，包括模型类型与参数。
     • 用户可以独立修改每个生成器的配置，并链接其与细胞以生成输出，同时跟踪其配置历史。
  3. 透镜（Lenses）：
     • 生成输出的物化表示，用于输出的组织与可视化（如列表、散点图）。
     • 用户可灵活组装透镜以同时查看相同输出的多种表现形式。

研究成果

• 具体成果:

  • 应用框架重新设计了三个界面：用于广告撰写、邮件编撰和故事创作。每个界面展示了框架在不同任务中的适用性。
  • 实验结果显示，基于框架设计的界面显著鼓励用户生成更多输出、使用更多输入进行实验，并在最终生成中更高频率地接受模型的建议。
  • 设计工作坊发现，该框架不仅为设计师提供了具体的交互设计组件，同时启发他们进一步模块化生成过程。

• 与现有解决方案的优势:

  • 提供了对用户生成过程的全面控制与个性化的支持，能够显著改进用户的迭代与实验体验。
  • 弥补了现有生成工具仅支持单组件定制的不足，整合了输入、模型设置与输出的综合交互支持。

• 实验与评估结果:

  • 用户实验比较了基于框架的界面与传统配置界面的效果，发现用户在前者中的生成次数更多（M=9.78 vs M=6.33, p=0.006），使用的唯一输入数更高（M=5.89 vs M=3.06, p<0.000）。
  • 使用框架的参与者在生成输出中的采用率显著更高（BLEU得分分析：M=0.884 vs M=0.768, p=0.045）。

• 局限性与未来方向:

  • 局限性包括模型参数难以预测其影响，而生成配置的修改缺乏智能建议。
  • 作者建议未来研究重点改进生成器的参数解释性，开发能够平衡输出广度与检阅效率的新型透镜，以及优化细胞的自动生成与推荐功能。

开放资源

• 作者发布了一个开源ReactJS库，用于快速集成“细胞、生成器、透镜”组件，方便开发者进行界面设计（网址: https://github.com/kixlab/llm-ui-objects）。