AI处理延迟如何促进创造力：探索与基于LLM的代理共同创建研究问题

文献标题

CoQuest: Exploring Research Question Co-Creation with an LLM-based Agent

文献信息

• 主题领域: 人机交互 (HCI) 中基于大语言模型（LLM）的系统设计与应用
• 关键词: 科学发现、大语言模型（LLMs）、共创系统、混合主动性设计、人机协作

研究背景与问题

• 发现问题与挑战: 开发创新性的研究问题需要广泛的文献阅读，特别是在跨学科领域中。这一过程往往耗时且需要迭代地将初始想法不断精炼，然而当前的研究手段面临效率低、创造性有限等问题。
• 研究的重要性: 生成研究问题是一项学术创作中的关键步骤，这不仅帮助研究者挖掘新的方向，还提高了学术成果的质量。在使用大语言模型生成内容的过程中，存在生成质量（例如幻觉内容和可靠性）的挑战，同时需要研究者的知识与模型能力的结合。
• 研究动机: 现有研究表明，小型语言模型在生成新研究问题方面具有潜力，但缺乏实证研究来理解研究者如何评价人工智能生成的问题。解决这些问题具有理论和实践意义，能够推动人机协作创意工具的发展。

解决方案

方法与系统设计

• 系统简介: 提出了一个基于LLM的人工智能系统——CoQuest，其支持用户与AI共同生成研究问题（RQ）。该系统由三个核心面板组成：

  1. RQ流程编辑器（RQ Flow Editor）: 协助用户生成、反馈和编辑研究问题。
  2. 文献图谱可视化器（Paper Graph Visualizer）: 展示与研究问题相关的文献网络。
  3. AI思路（AI Thoughts）: 为生成的研究问题提供逻辑解释。

• 交互设计:

  • 提供两种交互模式以实现对AI主动性的控制：
    1. 广度优先生成（Breadth-first generation）: 一次生成多个主题相关的研究问题并行探索。
    2. 深度优先生成（Depth-first generation）: 连续生成一系列相关问题以深入探索某个方向。

• 技术架构:

  • 系统基于AutoGPT框架，通过链式思维（Chain-of-Thought）提示技术组织生成逻辑。
  • 文献检索模块使用公开的HCI领域论文数据集，结合语义嵌入和边缘多样性优化方法进行相关论文推荐。

• 实施步骤:

  1. 用户在编辑器中提供初始研究想法。
  2. AI根据预设逻辑生成系列研究问题，同时提供生成理由。
  3. 用户通过反馈和迭代，探索潜在的研究方向。

研究成果

• 实验设计:

  • 邀请了20名HCI领域研究者通过两个实验任务评估系统设计，任务主题为“AR/VR在教育中的应用”和“AI与众包研究”。
  • 提供广度优先和深度优先两种条件，采用平衡实验设计以控制任务顺序对结果的影响。

• 关键发现:

  1. 用户体验: 用户总体更偏好广度优先模式，认为其交互更具创造性并且更信任系统。
  2. 生成成果: 深度优先模式生成的研究问题被评价为更具新颖性和深度，但用户体验较差。
  3. 用户行为: 生成等待期间用户倾向于探索已有研究问题并提供反馈。系统设计有意延长AI生成时间可以激发用户反思与多任务探索。
  4. 用户个性化需求: 用户的学术背景、任务熟悉度会显著影响对系统结果的评价和交互偏好。例如，熟悉任务的用户更多关注系统输出的技术细节。

• 优势:

  • 提供了一种整合LLMs和人类反馈的研究共创模型。
  • 系统设计提升了用户的参与感，同时促进了研究创造性的提升。

• 局限性与未来方向:

  1. 数据集有限：系统依赖于固定的文献库，难以覆盖广泛的学术领域，未来可接入更大规模的在线数据库。
  2. 使用长期影响：研究未探索系统长期使用对用户研究习惯和创意思维的变化。
  3. 个性化设计不足：未来应进一步挖掘用户个性化需求，并结合更高适应性的动态设计优化系统输出。

总结

该研究通过理论模型与实践评估，提出并验证了一种新颖的人机共创研究问题生成系统，为未来探索生成式AI工具在学术领域的应用提供了基础设计原则与实证参考。同时研究也突出了学术伦理、偏见与人工智能依赖等潜在问题，为设计更具道德责任的系统指明了方向。