没有证据表明大语言模型在问题重构中是有用的

研究背景与问题

作者发现了哪些问题或挑战？

• 问题重构（Problem Reframing）是设计人员必须面对的一项挑战，这要求他们创造新的、更有效的视角以重新定义设计问题。然而，这一过程复杂且费力，即使对于经验丰富的设计师也是如此。
• 作者提出，生成式大语言模型（LLMs）可以作为工具帮助设计师重构问题，但尚未有明确的实证研究表明其能显著提高问题框架的质量。
• 问题还包括经验丰富的设计师和不具有经验的设计师在使用 LLM 时的能力差距，以及 LLM 的使用可能影响设计师的感知代理性和创意所有权。

为什么这个问题很重要？

• 问题重构是设计实践的重要组成部分，缺乏有效问题框架会导致设计解决方案低效或甚至无用。因此，提升问题重构的质量是设计领域的关键。
• LLM 的普及和使用迅速增加，但设计人员并未完全了解其对创意潜能的影响，这可能导致误用或低效使用。
• 探明 LLM 对设计师是否有助益，对于人机协作和增强设计师能力具有重要意义。

研究动机与相关工作

• 当前研究表明，生成式 AI 可通过提供灵感或扩展想法来支持创意活动。然而，有关 LLM 在问题重构中的具体影响鲜有研究。
• 相关研究提出 LLM 在生成灵感方面有潜力，但也存在生成内容低质量或过于重复的问题。
• 作者提议结合设计师与 LLM 的协作研究，填补这一领域的知识空白，以探讨 LLM 是否能有效提升问题重构质量。

解决方案

作者提出了哪些方法或解决方案？

• 作者设计并比较了三种使用 LLM 的问题重构方法：
  1. 自由形式交互（Free-form Approach）： 设计师通过自由对话与 LLM 进行交互。
  2. 直接生成框架（Direct Approach）： LLM直接生成问题框架，设计师可以基于这些框架创建解决方案。
  3. 结构化流程（Structured Approach）： 根据 Kees Dorst 的九步问题重构流程，通过逐步生成中间内容帮助设计师深入理解问题。

该解决方案的创新之处是什么？

• 独特地比较了自由交互、直接生成与结构化方法的效果，同时衡量 LLM 对设计师不同层次的专业能力和认知代理性的影响。
• 引入了结构化方法，将 Dorst 的问题重构九步流程与 LLM 结合，以支持设计师从更深层次分析问题。
• 将专家评估与大规模实验相结合，全面审视问题框架的质量和设计师的感知体验。

实施步骤是什么？使用了哪些关键技术？

1. 构建实验设计： 随机分配参与者至四个条件（手动、直接生成、自由交互及结构化流程），确保研究方法的科学性。
2. 生成设计问题： 准备三个具有适当重构难度的设计问题，确保参与者可以生成低质量和高质量的框架。
3. 设计交互界面： 使用 LLM 的直接和结构化方法设计用户接口，通过按钮触发 LLM 生成内容，避免因参与者提示技术差异而导致结果偏差。
4. 两阶段实验流程： 第一阶段收集问题框架，第二阶段由专家评估框架的质量。
5. 数据分析： 包括框架的新颖性和实用性评分、LLM 的创造力支持指数（CSI），以及设计师的代理性和所有权感知。

研究成果

取得了哪些具体成果？

• 使用 LLM 并未显著提升问题框架在新颖性或实用性上的表现，其生成的框架质量与手动方法没有显著差异。
• 使用 LLM 增加了经验丰富设计师与非经验设计师之间的能力差距：前者生成了更具新颖性的问题框架，并具有更高的代理性感知。
• 自由交互方法和结构化方法的可靠性相近，未表现出显著的优势。
• 所有方法在 LLM 的创造力支持指数（CSI）中都被参与者评价为“良好支持”水平。

与现有解决方案相比，它有哪些优势？

• 提供了对 LLM 在复杂设计任务（如问题重构）中影响的首次系统性评估。
• 深入分析了设计师在与 LLM 交互时的感知体验，为未来设计透明且可靠的人机协作框架铺平了道路。

实验或评估结果是什么？

• 在新颖性和实用性评分上，LLM 方法与手动方法的框架得分没有显著差异。
• 专家评估发现经验丰富的设计师在使用 LLM 时创造出了更具新颖性的问题框架，较少经验的设计师则更容易受到低质量框架的影响。
• 使用结构化方法的设计师增加了感知代理性，尤其是设计专家。

局限性与未来方向

局限性：

1. 实验仅限于 GPT-4o，可能不全面反映其他 LLM 模型的表现。
2. 研究方法未覆盖所有可能的 LLM 使用场景，如将自由交互与结构化流程的结合。
3. 评价指标聚焦于框架的新颖性和实用性，未考虑框架的其他潜在价值（如可操作性或多方共识）。

未来方向：

1. 研究设计师如何具体利用 LLM 生成的框架，进一步寻找优化交互的方法。
2. 探讨 LLM 影响问题框架其他质量特性的潜力，例如框架的说服力或适用性。
3. 通过纵向研究，观察 LLM 在实际设计实践中对问题重构全生命周期的影响。
4. 扩展研究样本至其他专业领域，以验证研究结果在不同上下文中的普适性。

总结

本文为设计领域提供了关于生成式 AI 在问题重构中的首次深入实证研究，明确了其优势和局限性。通过分析多种问题重构方法和设计师感知体验，本研究揭示了 LLM 使用同时带来的潜力与风险，也为进一步有效整合生成式 AI 的实际应用提供了新的方向。