从答案给予者到设计导师：用认知学徒模型引导大型语言模型

文献标题

From Answer Givers to Design Mentors: Guiding LLMs with the Cognitive Apprenticeship Model

出版信息

• 主题领域: 人工智能辅助设计反馈与指导
• 关键词: 大型语言模型, 认知学徒模型, 设计反馈, 可视化, 支架式教学, 指导, 结构化提示, 反思性实践, 用户研究, 人工智能与人类协作

背景与问题

• 问题 / 挑战: 当前的人工智能聊天机器人提供的设计反馈通常是通用的、一刀切的，这限制了用户的反思性参与，无法促进更深层次的设计推理。
• 重要性: 有效的设计反馈对于改进设计作品和促进从业者的认知发展至关重要，但由于资源限制，人类导师往往难以获得。
• 动机与相关研究: 先前的研究表明，大型语言模型在设计批评方面具有潜力，但也指出其反馈具有交易性，缺乏互动性和推理驱动的特性。人类导师提供的动态反馈实践与认知学徒模型（CAM）一致，而本文旨在将该模型应用于人工智能系统。

解决方案

• 提出的方法: DesignMentor 是一个基于认知理论的人工智能反馈系统，通过结构化提示将 CAM 原则应用于大型语言模型，使其转变为以过程为导向的设计导师。
• 创新点:
  1. 基于 CAM 和人类专家实践开发设计指导手册。
  2. 实现七项设计指导原则，以将 CAM 原则应用于人工智能反馈。
  3. 通过实证评估证明 DesignMentor 在促进设计推理和反思性实践方面的有效性。
• 流程与关键技术:
  • DesignMentor 使用结构化提示引导用户完成三个反馈阶段：阐明目标、诊断设计和反思解决方案。
  • 提示结合了 CAM 方法，如建模、指导、支架式教学、表达、反思和探索。
  • 基于与可视化从业者的试点测试对提示进行迭代优化。
  • 通过对比实验评估 DesignMentor 与基线聊天机器人的效果。

研究结果

• 具体发现:
  • 与基线相比，DesignMentor 显著提高了用户的参与度、推理表达能力和互动动态。
  • 反馈涵盖了更广泛的可视化设计层面，包括领域问题表征和任务抽象。
  • 参与者在反馈完整性、元认知、动机和交付质量方面对 DesignMentor 的评价更高。
• 相较基线的优势:
  • DesignMentor 促进了更深入的推理，并提供了更结构化、上下文相关的反馈。
  • 用户在探索性和开发性设计阶段更倾向于使用 DesignMentor，而在评估性任务中更偏好基线系统。
• 实验 / 评估:
  • 对 24 名使用其自身设计作品的可视化从业者进行混合方法研究。
  • 定量指标包括反馈完整性、对话动态和用户评分。
  • 定性分析考察了用户偏好和反馈特征。
• 局限性与未来工作:
  • 缺乏多模态反馈（例如视觉示例）。
  • 研究持续时间较短；未来应探索长期部署。
  • 对可视化以外设计学科的普适性有待验证。

总结

本文介绍了 DesignMentor，这是一种通过结构化提示将认知学徒模型应用于大型语言模型的人工智能系统。DesignMentor 促进了反思性设计推理，并提供了上下文定制的反馈，在用户参与度和反馈质量方面优于基线聊天机器人。尽管在探索性和开发性阶段表现尤为突出，其结构化方法对用户提出了更高的认知要求。未来研究应关注自适应系统、多模态反馈集成以及跨设计领域的广泛适用性。