黑客松如何激发创造力？迈向大规模创造力的自动化评估

研究背景与问题

• 发现的问题或挑战: Hackathons 被认为是一种快速生成创造性想法和开发原型的活动。然而，当前大多数关于 Hackathons 的研究多聚焦于特定案例或单一情境，缺乏大规模的定量分析来探讨 Hackathons 如何激发创造力。评价创造力的有效方法也成为一大难题。
• 重要性: 了解 Hackathons 的组织形式如何影响创造性结果，对于改进教育、企业创新以及科研工作具有重要意义。此外，自动化大规模评估创造力的方法还可广泛应用于其他领域，例如专利和创意写作。
• 研究动机与相关工作: 作者尝试填补现有研究缺口，通过构建方法论来对创意产物进行大规模分析，并探索如何采用大语言模型（LLMs）辅助创造力评估。

解决方案

• 提出的解决方案:

  1. 将创造力操作性定义为新颖性和实用性，利用客观数据对 193,353 个 Hackathons 项目进行大规模分析。
  2. 使用 LLM（如 GPT 等）作为补充评估工具，以验证其在大规模数据评估中的表现。

• 创新之处:

  1. 提出了一种结合统计建模和 LLM 的双管齐下评估方法，一方面通过数据分析识别创造性项目，另一方面引入 AI 方法对创新项目进一步甄别。
  2. 在 Hackathons 的实际数据中探索以前仅在实验室测试场景中研究的创造力评估方法。

• 实施步骤与关键技术:

  1. 数据处理: 从 Devpost 数据库收集 193,353 个项目数据并进行预处理，筛选出包含 GitHub 代码库的项目，最终缩小到 10,363 个项目用于分析。
  2. 定义新颖性: 仿照相关研究，定义基于代码中引入的异常编程包组合。
  3. 定义实用性: 通过项目是否赢得比赛（winner 标签）以及其在 GitHub 上的开放性作为代理指标。
  4. 统计分析: 使用混合效应回归模型，分析团队大小、竞争程度、参与者经验等变量对创造力的影响。
  5. LLM 辅助评估: 引入四种大语言模型（如 Llama 和 Prometheus）对选定项目描述进行新颖性和实用性评分，并将其与人工评分对比。

研究成果

• 取得的具体成果:

  1. 小型 Hackathons（60-80 名参与者）与更高的创造力产出正相关。
  2. 较大的团队数量（4-5 名成员）和高竞争压力能促进创造性成果，但对于个人来说竞争可能会带来负面影响。
  3. 项目团队长期合作历史能显著增强创造力输出。
  4. 项目偏好获得更多社区认可（如“点赞”），表明参与者间的洞察力可用于预测创造力。

• 相较现有方法的优势:

  1. 提供了从过程（团队动态、主题等）到结果（成果具体表现）的全方位分析，超越了局限于单独案例研究。
  2. 将 LLM 集成到评估框架中，探讨了有潜力的“人-机合作”模式。

• 实验或评估结果:

  1. 结合 LLM 和人工的评估显示，用 AI 补充人类判决存在显著潜力，但模型容易给出过度乐观评分。
  2. 创新模型（如 Prometheus）生成的输出在代表性和专业评估中的可用性上得分较高。

• 局限性与未来方向:

  1. 由于研究依赖于已公开的 Devpost 数据， Hackathons 中定义“创造力”的标准可能随上下文而改变。
  2. 当前的 LLM 评估仍面临一致性问题，未来需要更广泛的定制化训练及人机协同优化。
  3. 未来的研究可扩展至其他领域（如专利、资助提案等）以检验不同情境下方法的适用性。

通过上述成果和发现，本文在 Hackathons 的大规模创造力评估与方法论探索方面做出了重要贡献，同时为进一步研究阐明了方向。