领域专家参与 LLM 设计和评估的关键考量：一项民族志研究

大语言模型越来越多地被开发用于复杂的专业领域，但人们对团队在实践中如何设计和评估这些系统知之甚少。本文通过为期12周对一个开发教育聊天机器人的团队进行民族志研究，考察了 LLM 开发中的挑战和权衡。研究人员观察了设计和评估活动，并对开发者和领域专家进行了访谈。分析揭示了四个关键实践：为数据收集创建变通方案、在专家输入受限时转向增强、与专家共同开发评估标准、采用混合专家-开发者-LLM 评估策略。这些实践展示了团队如何在约束下做出战略决策，并展示了领域专业知识在塑造系统中的核心作用。挑战包括专家动机和信任、难以组织参与式设计，以及围绕专业知识所有权和整合的问题。我们为未来 LLM 开发工作流提出设计机会，强调 AI 素养、透明同意和认可不断演变的专家角色的框架。