CrowdSurfer:无缝集成众包反馈任务到日常网络浏览中
众包任务设计与质量控制原型设计与用户测试Amazon Mechanical Turk 工作者
文献标题
CrowdSurfer: Seamlessly Integrating Crowd-Feedback Tasks into Everyday Internet Surfing
文献信息
- 主题领域: 人机交互 (Human-Computer Interaction, HCI), 网络众包与用户反馈系统
- 关键词: Crowd-feedback系统, 众包, 设计反馈, 浏览器扩展, 人机交互, 工作灵活性, 用户体验, 工作条件, 反馈质量, 软件设计
研究背景与问题
-
关键问题或挑战:
- 传统的用户在网站上提供实时反馈(in situ feedback)方法冗长且被认为打扰用户,导致参与度和反馈质量下降。
- 众包用户反馈(crowd feedback)尽管是可扩展的解决方案,但存在以下局限:
- 缺乏实际使用情景的沉浸感,反馈可能失去真实性。
- 人工构建使用情境(如虚拟人格或场景)增加了参与者的负担。
- 传统的众包反馈仅限于某个特定时间点,难以实现连续性。
- 众包工作者的工作条件(如低薪酬、不灵活工作环境等)往往被忽视。
-
研究的重要性:
- 为用户与设计者建立更高效的反馈渠道,有助于改进交互式网站设计。
- 探索提升众包工作者的工作体验与提升反馈质量的整合方案,平衡两者之间的冲突。
-
研究动机与相关工作:
- 现有研究表明,背景化的设计反馈能提升反馈质量。
- “随性微任务”(casual microtasking)的概念说明将小任务嵌入日常用户活动具有可行性。
- 众包工人倾向于将工作与其他非工作活动混合,但现有工具未充分利用这一特点。
解决方案
-
研究方法与方案:
- 提出了CrowdSurfer,这是一个集成式Chrome浏览器插件,允许众包工人在日常浏览互联网的过程中完成反馈任务。
- CrowdSurfer通过弹窗呈现反馈任务,链接主流众包平台(如Prolific),并支持实时反馈。
-
创新之处:
- 无缝集成:将任务嵌入众包工作者的日常Internet冲浪之中,减少任务切换的中断感。
- 提供透明性和用户控制:工人可以随时开启或关闭扩展程序,增加隐私及工作灵活性。
- 实现现场(in situ)反馈收集,同时减少了工人对沉浸的额外时间需求和隐形劳务。
-
实施步骤与技术实现:
- 浏览器插件下载:用户通过Prolific注册,并学习使用教程。
- 任务呈现:特定网站的页面元素发布反馈任务,呈现简单的星级评价和文字反馈方式。
- 数据管理与支付:收集任务反馈并通过众包平台支付报酬,数据集中存储。
研究成果
-
主要成果:
- 反馈过程及体验:
- CrowdSurfer简化了反馈提供的流程,降低了工人工作负担。
- 工人报告其支付更公平,任务灵活性更高。
- 反馈内容分析:
- CrowdSurfer反馈质量在“具体性”“可操作性”“相关性”等维度上,普遍较传统问卷反馈更低。
- CrowdSurfer的反馈更短,且更多表达即时反应。
- 用户行为:
- 多数用户仅在正常网络冲浪过程中被动完成任务,小部分用户主动搜索任务。
- 反馈过程及体验:
-
与现有方案比较的优势:
- 提供了更真实和自然的用户反馈。
- 极大改善了工人对隐形工作(如搜索和接受任务等)的抱怨,同时提升了工作体验。
-
实验结果:
- CrowdSurfer用户认为任务更简单且体验更愉快,薪资公平性高于传统方法。
- 然而,其反馈详细度和深入性低于基于调查的反馈。
-
局限性与未来方向:
- 反馈范围的拓展:
- 需要探索跨越不同任务类型的通用性,例如标签、配对等。
- 长期用户研究:
- 当前研究仅持续7天,需扩展至长期监测情境以验证方法可持续性。
- 个性化与激励策略:
- 研究如何增加反馈任务的多样性和个性化设计以提升反馈质量。
- 支持鲜少访问网站:
- 增加不常见网站的任务曝光可提升对低流量站点的反馈收集能力。
- 反馈范围的拓展:
总结
CrowdSurfer成功验证了将反馈任务无缝嵌入用户日常互联网活动的可能性,尽管反馈质量略低,但其为提升众包工人的工作条件带来新的方向。未来研究应进一步完善系统设计,并扩展至更广的任务类型以服务更多应用场景。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
help
研究问题
3- 如何将众包反馈任务无缝嵌入用户的日常网络浏览中?分类: 标签体系设计与众包反馈优化同类问题arrow_forward
- 这种嵌入式反馈系统如何影响用户的反馈质量与工作体验?分类: 标签体系设计与众包反馈优化同类问题arrow_forward
- 比起传统方法,这种系统在用户参与度和反馈真实性上表现如何?分类: 标签体系设计与众包反馈优化同类问题arrow_forward
lightbulb
现实痛点
1- 用户反馈任务打断性强,参与度低,反馈不真实。分类: 标签体系设计与众包反馈优化同类问题arrow_forward
- 75%
Sprout:众包任务设计的群体赋能任务设计工具
UIST '18· 众包任务设计与质量控制 +1
- 67%
在众包微任务中使用工人自我评估进行基于能力的预选
CHI '18· 众包任务设计与质量控制
- 67%
承诺工作:通过众包进行在线志愿服务
CHI '19· 众包任务设计与质量控制
- 67%
HistoryTracker: 在棒球比赛标注中最小化人类互动
CHI '19· 众包任务设计与质量控制
- 67%
两个工具优于一个:工具多样性作为提高聚合众包性能的手段
IUI '18· 众包任务设计与质量控制
- 60%
通过众包GUI实验的任务前参与者筛选提升数据质量
CHI '26· 众包任务设计与质量控制 +2
- 60%
众包相似性判断用于终端用户诱导研究中的协议分析
UIST '18· 众包任务设计与质量控制 +2
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
广告推荐
学习 AI 编程到 CodeNow
open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3544548.3580994
一眼看懂
fact_check论文快照
dataset
来源
CHI
calendar_month
年份
2023
emoji_events
奖项
未标记奖项
group
作者
4 位作者
sell
研究子方向
众包任务设计与质量控制、原型设计与用户测试
work
职业/产业
Amazon Mechanical Turk 工作者
article
内容状态
已索引正文
hub
相关论文
7 篇相关论文