导向多样性:利用语言嵌入距离提高人群创意集思广益的集体创造力
作者
生成式AI(文本、图像、音乐、视频)众包任务设计与质量控制Amazon Mechanical Turk 工作者
文献标题
Directed Diversity: Leveraging Language Embedding Distances for Collective Creativity in Crowd Ideation
文献信息
- 主题领域: 人机交互、群体创新、自然语言处理
- 关键词: 多样性, 集体创造力, 众包, 创意想法, 激励信息, 集体智能, 创造性支持工具
研究背景与问题
-
作者发现了哪些问题或挑战?
- 众包任务通过个体提示人收集创意的过程中,经常会出现许多冗余的想法。
- 当前减少冗余的研究方法(例如展示同行想法或由同行提出的提示)需要大量人为协调,效率低下且不具备可扩展性。
-
为什么这个问题很重要?
- 众包任务的目标是高效地收集多样性高的创意,来支持设计、决策和行为激励等领域的实际应用。
- 如何帮助群体在有限时间内创造出更多新颖想法,具有广泛的实际意义。
-
研究动机与相关工作:
- 现有研究强调多样性会促进集体创造力,但缺乏自动化方法来支持规模化的多样性提示。
- 人工智能(如语言模型)在处理自然语言和建模多样性上提高了可能性,且已经在推荐系统和生态等领域显示出效果。
解决方案
-
方法或解决方案: 作者提出了一种名为“Directed Diversity”的方法,利用语言模型的嵌入距离来自动选择最具多样性的提示,以此引导参与者生成新颖的创意。
-
该解决方案的创新之处是什么?
- 使用预训练语言模型(如 Universal Sentence Encoder)嵌入来量化提示的多样性。
- 提出了一套新的多样性评估框架(Diversity Prompting Evaluation Framework),结合不同学科的多样性度量指标,系统分析提示多样性与创造力的传播过程。
- 通过最小生成树(MST)方法选择距离最大化的提示,平衡了提示的内容新颖性与扩展性。
-
实施步骤与关键技术:
- 提示提取: 从域相关的文档中提取短语,进行清理和语法分析。
- 短语嵌入: 使用 Universal Sentence Encoder 获得短语的向量表示。
- 短语选择: 使用最小生成树算法选择语义上最远离的短语,最大化多样性。
- 评估框架: 开发了一系列多样性和创造力的度量指标,并通过实验测试框架的有效性。
研究成果
-
取得了哪些具体成果?
- 提出的 Directed Diversity 方法有效提高了提示多样性和减少冗余。
- 提示的多样性直接促进了参与者生成的创意在内容和形式上的多样性。
- 实验验证了使用该方法收集到的创意不仅更具灵活性和原创性,还能覆盖更广范围的主题。
-
与现有解决方案相比,它有哪些优势?
- 相较于人工方法,该解决方案完全自动化,能够显著扩展创意生成的规模和效率。
- 更敏感地检测和量化多样性传播的过程,同时显著减少重复创意的生成。
-
实验或评估结果是什么?
- 在多实验评估中,Directed Diversity 提示方法的创意多样性评分显著高于随机选择或无提示的基线方法。
- 实现提示多样性后,参与者生成的创意在灵活性(Flexibility)和原创性(Originality)上均得分更高。
-
局限性与未来方向:
-
局限性:
- 使用 Directed Diversity 选择的短语有时不易理解,需投入更多的参与者努力。
- 方法目前主要针对文本任务,对其他类型(如图像、设计)的创意生成的适应性需进一步验证。
-
未来方向:
- 使用领域特定的嵌入模型提升短语提示的质量和语义相关性。
- 将机制推广到非文本领域的创意生成任务,例如产品设计或概念建模。
- 测试如何在减少参与者认知负担的同时,保持提示的多样性和有效性。
-
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
help
研究问题
3lightbulb
现实痛点
1- 众包创意中,参与者生成的想法冗余度高,缺乏多样性。分类: 创作灵感与发散思维同类问题arrow_forward
- 67%
在众包微任务中使用工人自我评估进行基于能力的预选
CHI '18· 众包任务设计与质量控制
- 67%
承诺工作:通过众包进行在线志愿服务
CHI '19· 众包任务设计与质量控制
- 67%
HistoryTracker: 在棒球比赛标注中最小化人类互动
CHI '19· 众包任务设计与质量控制
- 67%
两个工具优于一个:工具多样性作为提高聚合众包性能的手段
IUI '18· 众包任务设计与质量控制
- 60%
众包机器教学的感知
CHI '20· 生成式AI(文本、图像、音乐、视频) +2
- 60%
可解释的导向多样性:利用模型解释进行迭代众包创意
CHI '22· 生成式AI(文本、图像、音乐、视频) +2
- 60%
如果在众包数据标注流水线中,GPT-4
CHI '24· 生成式AI(文本、图像、音乐、视频) +1
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
广告推荐
学习 AI 编程到 CodeNow
open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3411764.3445782
一眼看懂
fact_check论文快照
dataset
来源
CHI
calendar_month
年份
2021
emoji_events
奖项
未标记奖项
group
作者
5 位作者
sell
研究子方向
生成式AI(文本、图像、音乐、视频)、众包任务设计与质量控制
work
职业/产业
Amazon Mechanical Turk 工作者
article
内容状态
已索引正文
hub
相关论文
7 篇相关论文