ClearFairy：通过决策结构化、即时提问与推理推断捕获创意工作流

文献标题

ClearFairy: Capturing Creative Workflows through Decision Structuring, In-Situ Questioning, and Rationale Inference

出版信息

• 主题领域: 使用人工智能辅助工具捕捉创意工作流中的知识。
• 关键词: 创意工作流、认知决策步骤、推理推断、思维大声法、生成式人工智能、UI/UX设计、知识共享、工作流分段、Figma插件、设计推理。

背景与问题

• 问题/挑战: 现有方法在捕捉创意工作流中的决策时，往往留下不完整的推理，未能显现隐性决策，并可能干扰创意过程。
• 重要性: 捕捉和记录决策推理对于自我反思、协作、知识共享以及训练支持创意工作流的人工智能工具至关重要。
• 动机与相关工作: 先前的方法（如回顾性访谈和现场自我解释）能够捕捉部分决策信息，但未能有效整合多模态信号（如操作、工件）。这些方法还会增加认知负担或遗漏隐性决策。本文在这些方法的基础上进行改进，以解决上述问题。

解决方案

• 提出的方法: ClearFairy 是一个以 Figma 插件形式实现的人工智能助手，通过将自我解释、操作和工件链接起来捕捉认知决策步骤，检测推理不足之处，并通过生成式人工智能推断缺失的推理。
• 创新点:
  1. 引入 Clear，一种将工作流结构化为“认知决策步骤”的工作流分段方法。
  2. 开发 ClearFairy，利用现场提问和推理推断来捕捉和澄清决策推理。
  3. 创建了一个包含 417 个认知决策步骤的数据集，为未来研究提供支持。
  4. 展示了 ClearFairy 在改进推理捕捉和支持生成式人工智能应用方面的实用性。
• 流程与关键技术:
  1. 使用 Clear 将工作流分段为认知决策步骤，动态链接解释、操作和工件。
  2. 评估推理的充分性，并对薄弱或空白的解释提出澄清性问题。
  3. 基于用户先前的回答，利用生成式人工智能推断缺失的推理。
  4. 将决策步骤记录为结构化格式，以便重用和分析。

结果

• 具体发现:
  • ClearFairy 将强解释的比例从 13.9%（基线）提高到 83.2%。
  • 85% 的推断推理被用户接受（60.8% 原样接受，24.2% 经小幅修改后接受）。
  • 捕捉的决策步骤提升了生成式人工智能应用中的一致性，专业人员在 66.7% 的情况下更偏好 AI 推断的操作。
• 相较基线的优势:
  • ClearFairy 在不增加认知负担的情况下，显著捕捉了更多强解释，相较于思维大声法基线表现更优。
  • 系统帮助用户表达隐性决策，并通过推理推断减少了持续解释的负担。
• 实验/评估:
  • 针对 12 位界面设计专业人员的用户研究，他们在两种条件下（ClearFairy vs. 基线）完成网页设计任务。
  • 使用 6 位设计师的数据对工作流分段和推理评估模块进行技术评估。
  • 探索性应用测试了使用捕捉的决策步骤进行下一步操作预测和设计工件生成。
• 局限性与未来工作:
  • 提问类型有限；未来工作可探索更广泛的问题类型（如苏格拉底式提问）。
  • 当前依赖于口头解释；未来版本可能专注于基于操作的推断以减少用户负担。
  • 扩展支持跨多个软件平台和领域的工作流。

总结

ClearFairy 是一个通过将创意工作流结构化为认知决策步骤来捕捉和澄清决策推理的人工智能助手。它利用现场提问和推理推断显现隐性决策，并减少知识共享的认知负担。在一项针对 12 位专业人士的研究中，ClearFairy 显著提高了强解释的捕捉率，并改善了生成式人工智能应用中的一致性。该系统在记录工作流和推断推理方面的能力对学习、协作和增强人工智能代理具有重要意义。未来工作将专注于扩展其适用性并减少对口头解释的依赖。