《我有一些空闲时间》:研究移动众包任务中的任务执行和任务努力度量
作者
众包任务设计与质量控制通知与中断管理Amazon Mechanical Turk 工作者
文献标题
“I Got Some Free Time”: Investigating Task-execution and Task-effort Metrics in Mobile Crowdsourcing Tasks
文献信息
- 主题领域: 移动众包中的任务执行和用户反应
- 关键词: 手机众包, 中断, 通知, ESM (经验采样法), 混合效应逻辑回归, 定性分析
研究背景与问题
-
问题与挑战:
- 如何在移动端找到用户对众包任务的接收性最高的时刻仍不清楚。
- 用户选择什么时间和类型的任务及其受活动上下文和个人条件(如压力和能量水平)的影响尚未得到深入研究。
- 商业移动众包中的任务驱动机制仍有待优化。
-
问题的重要性:
- 移动众包是一种高效的数据采集方式,在改进导航、事件监测和机器学习模型等诸多领域有应用潜力。
- 为提高任务完成率,理解用户何时最有可能执行任务至关重要,尤其对商业众包平台而言。
-
研究动机与相关工作:
- 受到以往关于接收性的研究启发,研究发现用户在活动转换点上的接收性较高。
- 当前研究尚未覆盖任务上下文(如活动特点、切换类型)和个人条件对商业移动众包中任务选择的具体影响。
解决方案
-
方法与解决方案:
- 通过为期六周的混合方法(定量数据结合经验采样问卷与定性访谈)研究,分析用户在两种商业移动众包平台上的行为。
- 利用屏幕录制和随机任务提醒收集用户的任务行为数据。
- 使用混合效应逻辑回归模型分析活动上下文和个人状态对任务选择与执行的影响。
-
创新之处:
- 将活动切换细分为多个子情境(如当前活动中、活动之间、前有活动但后无活动等)。
- 综合用户的压力水平与能量水平分析其对任务行为的影响。
- 定量数据与定性访谈相结合,全面揭示不同因素如何影响用户的任务选择和执行。
-
实施步骤与关键技术:
- 开发适配安卓系统的研究应用,追踪用户众包任务的执行和中断。
- 基于经验采样法,通过用户任务后即时问卷获取活动上下文与心理状态数据。
- 完成数据清洗、编码,并用混合回归模型分析收集的任务执行与努力投入数据。
- 对参与者定性访谈并结合图示分组分析归纳其主要观点。
研究成果
-
主要发现:
- 用户更倾向于在活动切换期间(如活动之间的过渡时间)主动执行众包任务,而非长时间空闲期或当前活动内。
- 个人压力水平与任务的主动完成显著负相关,能量水平则更显著影响任务的努力程度(如持续时长与操作次数)。
- 任务的选择受到当前及前序活动的主要属性(如复杂性、注意力要求)影响,尤其是用户倾向选择与当前活动属性相似的任务。
-
与现有解决方案的比较:
- 在活动切换角度的粒度划分(如划分为具体五种情境)优于传统研究。
- 将重点由仅分析中断可接受性拓展至任务类别选择与耗时等的细致考察。
-
实验或评估结果:
- 定量部分:3,603 份有效经验采样问卷数据,其中 68.8% 的情况下,用户完成了至少一个移动任务。任务会话平均时长 113.1 秒,用户操作次数 35.13 次。
- 定性部分:综合归纳用户为何选择特定任务的原因,包括是否心情放松、任务时间短等。
-
局限性:
- 任务提醒的强度可能提高了总体主动任务完成率,未能完全模拟真实场景。
- 未能直接测量用户贡献的任务质量。
- 数据样本主要来自台湾用户,用户行为可能不具有全球普适性。
-
未来方向:
- 探讨任务上下文对任务完成质量的影响。
- 在更广泛文化背景下验证任务上下文和个人条件的通用性。
- 优化基于用户的个性化任务提醒设计,为不同任务创建更精准的匹配机制。
设计启示
- 任务平台应优先选择在活动间隙发送提醒,而非长时间的空闲段。
- 提醒设计需减少用户感知的中断感,例如静默推送以便用户自发启动任务。
- 根据用户的压力和能量水平动态调整推送内容和任务推荐。
- 构建任务选择的机器学习模型,综合考虑用户的当前活动及心理状态。
总结: 本研究探讨了用户执行移动众包任务的理想时间,以及任务上下文与个人条件对任务选择的影响,为商业平台优化用户任务提醒机制提出了设计建议。这为移动人机交互与众包研究提供了理论和实践参考。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
help
研究问题
3- 用户在移动众包平台上执行任务的最佳时机是什么?分类: 移动通知、时机管理与提醒设计同类问题arrow_forward
- 活动过渡、任务上下文和个人状态如何影响任务选择和执行?分类: 移动通知、时机管理与提醒设计同类问题arrow_forward
- 哪些任务通知设计能有效提高任务完成率而避免打扰用户?分类: 移动通知、时机管理与提醒设计同类问题arrow_forward
lightbulb
现实痛点
1- 用户难以在繁忙的日常生活中找到合适的时机完成众包任务。分类: 移动通知、时机管理与提醒设计同类问题arrow_forward
- 67%
在众包微任务中使用工人自我评估进行基于能力的预选
CHI '18· 众包任务设计与质量控制
- 67%
承诺工作:通过众包进行在线志愿服务
CHI '19· 众包任务设计与质量控制
- 67%
HistoryTracker: 在棒球比赛标注中最小化人类互动
CHI '19· 众包任务设计与质量控制
- 67%
两个工具优于一个:工具多样性作为提高聚合众包性能的手段
IUI '18· 众包任务设计与质量控制
- 60%
休闲微任务:在Facebook中嵌入微任务
CHI '19· 众包任务设计与质量控制 +2
- 60%
单任务处理或多重任务处理:设计符合众包工作者偏好的系统
CHI '19· 众包任务设计与质量控制 +2
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
广告推荐
学习 AI 编程到 CodeNow
open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3411764.3445477
一眼看懂
fact_check论文快照
dataset
来源
CHI
calendar_month
年份
2021
emoji_events
奖项
未标记奖项
group
作者
8 位作者
sell
研究子方向
众包任务设计与质量控制、通知与中断管理
work
职业/产业
Amazon Mechanical Turk 工作者
article
内容状态
已索引正文
hub
相关论文
6 篇相关论文