交互增强指令：建模人-GenAI协作中提示与交互的协同作用

文献标题

Interaction-Augmented Instruction: Modeling the Synergy of Prompts and Interactions in Human-GenAI Collaboration

出版信息

• 主题领域: 通过整合文本提示与图形用户界面（GUI）交互来增强人类与生成式人工智能（GenAI）的沟通。
• 关键词: 生成式人工智能，人机协作，交互设计，增强指令，GUI交互，文本提示，界面范式，人机交互，多模态通信，设计框架。

背景与问题

• 问题/挑战: 当前的生成式人工智能系统过度依赖文本提示，而文本提示通常存在模糊性，难以表达细粒度或指向性的意图。现有的交互范式缺乏统一的模型来系统性地捕捉和比较结合文本提示与GUI交互的设计。
• 重要性: 解决这一问题对于提高生成式人工智能系统的精确性、透明性和可用性至关重要，从而促进设计、教育、数据分析等多领域的人机协作。
• 动机与相关工作: 之前的研究探讨了交互范式的分类和人类与生成式人工智能沟通的原则，但这些研究往往是零散的、描述性的或在生成能力上有限。本文在这些研究的基础上提出了一个正式模型，以统一和扩展设计空间。

解决方案

• 提出的方法: 交互增强指令（IAI）模型，一个正式的实体关系图，用于捕捉文本提示与GUI交互如何协同形成生成式人工智能系统的增强指令。
• 创新点:
  1. 引入IAI模型，包括六个核心实体（人类、交互、文本提示、增强指令、人工制品、生成式人工智能）及其关系。
  2. 提炼出12种常见的原子交互范式，根据交互时机和用户资源进行分类。
  3. 通过使用场景和设计应用展示模型的描述性、区分性和生成能力。
• 流程与关键技术:
  1. 通过迭代和演绎分析开发IAI模型，定义实体和关系以捕捉人类与生成式人工智能的工作流程。
  2. 对66个生成式人工智能系统界面进行注释，以识别和分类12种原子交互范式。
  3. 应用该模型指导生成式人工智能界面的设计、优化和创新，涵盖四个使用场景。

结果

• 具体发现:
  • IAI模型成功捕捉并区分了多样化的生成式人工智能交互工作流程。
  • 识别了12种原子范式，涵盖调用前后交互以及仅文本提示与基于人工制品的场景。
  • 使用场景展示了模型在扩展、优化和生成新界面设计中的适用性。
• 相较于基线的优势:
  • 与之前的分类法相比，具有更强的描述性和区分性，通过明确建模文本提示、交互和人工制品之间的关系。
  • 具备生成能力，可激发新的范式和界面设计，填补现有框架中的空白。
• 实验/评估:
  • 分析66个生成式人工智能工具以验证模型的描述性和区分性。
  • 四个使用场景说明模型和范式的实际应用。
• 局限性与未来工作:
  • 关注单用户、单代理交互，未涉及多代理工作流程。
  • 所提范式基于66个工具的有限语料，可能无法完全捕捉不断发展的生成式人工智能生态系统。
  • 未来工作包括扩展模型的细粒度，扩大范式集合，并开展实证评估。

总结

本文提出了交互增强指令（IAI）模型，一个用于整合文本提示与GUI交互的人类与生成式人工智能沟通的正式框架。通过定义六个核心实体及其关系，该模型能够系统性地表征、比较和创新界面设计。识别了12种原子范式，为多样化的设计场景提供了可重复使用的抽象。四个使用场景展示了模型在优化现有工具和创建新交互范式方面的生成能力。IAI模型为推进人类与生成式人工智能协作提供了坚实的基础，未来工作将致力于扩展其范围并验证其实际影响。