可解释的导向多样性：利用模型解释进行迭代众包创意

文献标题

Interpretable Directed Diversity: Leveraging Model Explanations for Iterative Crowd Ideation

文献信息

• 主题领域: 人机交互、可解释性人工智能、集体创造力
• 关键词: 可解释性人工智能，集体创造力，多样性，群体众包，创意支持工具

研究背景与问题

• 问题与挑战: 现有的创意支持工具依赖人为评估反馈（如专家或同行评估），这种方式难以在大规模人群中扩展，并且无法实时提供反馈。同时，许多工具重点提高创意质量，但忽视了增加创意多样性的问题。
• 重要性: 在集体创意场景中，避免创意重复性并提高整体的多样性尤为重要，因为社会更强调H型创意（真正新颖的创意）而非P型创意（个人创造性）。
• 研究动机: 需要一种可扩展且实时的自动反馈方法，以提高创意质量和创意多样性。此外，还需解释性反馈机制，让用户理解为什么特定创意评分较低，以及如何改进。

解决方案

• 方法和解决方案: 作者提出了一种称为“Interpretable Directed Diversity”的方法，通过可解释性人工智能（XAI）技术预测创意质量和多样性评分，并生成多维度的解释性反馈，包括归因（Attribution）、对比归因（Contrastive Attribution）和反事实建议（Counterfactual Suggestions）。
• 创新之处:
  1. 提供自动化的多维度反馈，包括评分预测、问题高亮、对比分析以及替代术语建议。
  2. 支持多次迭代，允许用户根据反馈逐步改进其创意，提高整体质量和多样性。
  3. 实现了一个交互式众包系统，为大规模实时创意提供支持。
• 实施步骤与关键技术:
  1. 使用机器学习模型预测质量评分（Quality Score）和通过启发式方法计算多样性评分（Diversity Score）。
  2. 提供解释性反馈：
     • 归因解释: 高亮创意文本中对评分产生显著负面影响的词语，指导改进。
     • 对比归因解释: 在不同迭代间比较词语变动对评分提升或下降的贡献。
     • 反事实建议: 基于知识图谱（ConceptNet）生成替代词汇建议，有助于加强质量或多样性。
  3. 通过交互式系统实时呈现反馈，支持用户逐步迭代创意。

研究成果

• 具体成果:
  1. 证明了提供归因和对比归因反馈能够显著提高创意的多样性。
  2. 多样性的提升通过计算指标（例如MST总边权重和成对距离的均值）以及人工评估得到验证。
  3. 解释性反馈总体上易于理解且对创意有价值。
• 与现有方案的比较:
  1. 本研究方法的可扩展性优于依赖专家或同行评估的传统方法。
  2. 提供实时反馈和多种解释类型，解决了评分难以理解的问题。
• 实验或评估结果:
  1. 用户实验结果显示，包含解释性反馈的方案在提升创意多样性方面效果最显著，特别是对比归因反馈（SAX）。
  2. 研究发现，通过反事实建议提升创意质量的效果较弱，可能存在语法和语义相关性问题。
  3. 验证研究表明，用户更倾向于质量评分，但大多数反馈类型都能有效提升创意质量和多样性的计算评价指标。
• 局限性与未来方向:
  1. 局限性: 反事实建议有时提供的不相关词汇可能会干扰创意过程。质量评分解释较缺乏语义解释，可能限制用户对质量的理解。
  2. 未来方向: 改进反事实建议的语法和相关性；探索更多高级解释类型；将本方法推广到其他创意领域，例如故事写作和图像设计；在复杂任务中开发领域特定的解释性模型。

通过提出一种集成多种解释性反馈技术的AI驱动方案，文献展现了方法在支持集体创造中的潜力，并为未来扩展到其他领域和任务提供了研究基础。