AI增强的头脑风暴：研究LLM在团队创意生成中的应用

文献标题

AI-Augmented Brainwriting: Investigating the use of LLMs in Group Ideation

文献信息

• 主题领域: 人机协作、群体创意生成、教育技术
• 关键词: LLM, Brainwriting, 人机协作, 群体创意生成, 教育技术, 创造性思维, 大语言模型, 学生设计实践

研究背景与问题

• 作者发现的问题或挑战:

  1. 群体头脑风暴方法由于同行评判、自由搭车、生产阻滞等因素，其产生高质量创意的效率受到限制。
  2. 大语言模型（LLM）作为一种生成式AI工具，如何在“发散性阶段”（生成创意）和“收敛性阶段”（评价创意和选择最佳方案）中提高群体合作的效率和效果。

• 问题重要性: 创造性实践是设计教育与实践的核心，大语言模型能够为群体设计带来新的协作方式。例如，设计教育中对生成式AI的有效使用能够扩展学生的创造性思维，使团队能够更深入地探索创新性解决方案。

• 研究动机与相关工作:

  1. 研究动机: LLM的大规模采用对创意工作具有重要启发性，需要评估其整合进群体创意生成过程的潜力。
  2. 相关工作: 文献中探讨了LLM如何支持互动设计、原型制作、编程等，但尚缺乏关于将LLM集成到群体创意生成过程的系统性研究。

解决方案

• 作者提出的方法与解决方案: 一个整合LLM的群体脑写作（Brainwriting）框架，分为两个主要阶段：创意生成的发散阶段和创意评价的收敛阶段。在发散阶段，该框架通过LLM生成新创意以扩展群体创意空间；在收敛阶段，通过LLM设计一个评价工具为创意评分。

• 该解决方案的创新之处:

  • 发散阶段: 提供了一种增强型脑写作方法，利用LLM产生更广泛且有深度的创意想法，同时在第一次人为生成想法后扩展创意空间。
  • 收敛阶段: 提出了一个LLM驱动的评价引擎，为创意赋予三个评价维度：（1）相关性，（2）创新性，（3）深刻洞察性，解决了早期创意筛选评价的效率问题。

• 实施步骤与使用技术:

  1. 发散阶段:
     • 使用在线脑写作工具（Conceptboard）让团队成员生成初步创意。
     • 提供LLM（GPT-3）的支持，通过用户与AI的交互，生成新创意并整合初步方案。
  2. 收敛阶段:
     • 组织团队讨论选择最佳创意。
     • 实施一个GPT-4评价引擎，基于定义明确的标准对创意进行评分，并与人类专家及新手评价者的评分进行比较。

研究成果

• 具体成果:

  1. 开发了一个结合LLM的群体脑写作框架，证明其在发散和收敛阶段都有效提升了创意生成及评价效率。
  2. 实验结果表明LLM能够提供补充视角并生成更多具体、创新性想法。
  3. 证明了设计一个GPT-4驱动的评价引擎以支持创意评估的可行性。

• 对现有解决方案的优势:

  • 通过LLM增强传统脑写作方法，减少群体创造力中的阻滞问题。
  • 提供更高一致性、更低偏好噪声的早期创意筛选工具，能够节省时间并优化资源分配。

• 实验或评估结果:

  1. 发散阶段: 在一项由16名大学生参与的用户研究中，学生选择的绝大多数最终项目创意都结合了LLM生成的方案。
  2. 收敛阶段: 基于专家与GPT-4的评分对比，发现LLM的评分与人类专家和新手的评价呈现适度正相关关系。
  3. LLM生成的想法在细节上更加具体，而人类生成的想法倾向于抽象化。

• 局限性与未来方向:

  1. 局限性:
     • 实验范围仅限大学教育环境中的初级设计师，缺乏涵盖更专业团队或跨领域的研究。
     • LLM因培训数据的限制可能存在偏见，未来工具设计需要进一步过滤可能带有社会偏见的创意。
  2. 未来方向:
     • 开发定制化的LLM界面以增强创意生成过程，特别是通过更复杂的提示工程技术提高AI生成创意的创造性。
     • 探索使用LLM进行多次分领域问题的聚焦创意生成，进一步提升发散阶段的效果。
     • 做长期追踪以观察整合LLM的设计教育对学生创造力的影响。

总结

该研究展示了LLM在支持群体创意生成和评价过程中的潜力，为HCI设计实践的未来创造了可能的方向。通过创新性的脑写作框架和评价工具，LLM能够不仅有效补充设计团队的创建力，还能够提高创意筛选的精度。这些成果为生成式AI在设计中的广泛应用奠定了基础，同时彩现了未来团队与AI协作的新方式。