Bolt:通过即时培训实现即时众包
众包任务设计与质量控制计算方法在HCI中的应用Amazon Mechanical Turk 工作者
实时众包使得在几秒钟内解决超出人工智能(AI)范围的问题成为可能,而不是像传统众包技术那样需要数小时或数天。虽然这导致了众包和人类计算潜在应用领域的增加,但需要机器级速度的问题——以毫秒为单位,而不是秒——由于人类感知和响应时间的基本限制,仍然无法实现。在本文中,我们展示了通过结合人类和机器智能可以超越这些限制。我们介绍了前瞻方法,这是一种混合智能工作流程,使即时众包系统(即那些能够在毫秒内返回众包响应的系统)成为可能。前瞻方法通过探索在短时间内(例如,几秒钟后)可能遇到的可能未来状态,并预取这些状态的众包工作者响应来工作。我们在Bolt系统上验证了我们方法的有效性并探讨了其局限性,该系统由一个街机风格的游戏(闪电躲避者)组成,我们将其正式建模为马尔可夫决策过程(MDP)。当MDP奖励函数未指定时——就像许多现实任务一样——前瞻方法能够实现即时(JIT)训练代理的策略函数。通过一系列众包工作者实验,我们证明了前瞻方法可以比最快的个体工作者快大约两个数量级。我们的工作为混合智能系统开辟了新的途径,这些系统与人类一样聪明,但速度也远远超过人类可能的速度。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
当前问题库还没有收录这篇论文的问题与痛点。
- 75%
动员众包工作:对HITs移动可用性的系统评估
CHI '22· 众包任务设计与质量控制 +2
- 67%
在众包微任务中使用工人自我评估进行基于能力的预选
CHI '18· 众包任务设计与质量控制
- 67%
承诺工作:通过众包进行在线志愿服务
CHI '19· 众包任务设计与质量控制
- 67%
HistoryTracker: 在棒球比赛标注中最小化人类互动
CHI '19· 众包任务设计与质量控制
- 67%
两个工具优于一个:工具多样性作为提高聚合众包性能的手段
IUI '18· 众包任务设计与质量控制
- 67%
TiiS:基于众包对聚类搜索结果的评估与优化
IUI '19· 众包任务设计与质量控制 +1
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
一眼看懂
fact_check论文快照
dataset
来源
CHI
calendar_month
年份
2018
emoji_events
奖项
未标记奖项
group
作者
4 位作者
sell
研究子方向
众包任务设计与质量控制、计算方法在HCI中的应用
work
职业/产业
Amazon Mechanical Turk 工作者
article
内容状态
仅摘要
hub
相关论文
6 篇相关论文