CrowdSurfer:无缝集成众包反馈任务到日常网络浏览中

众包任务设计与质量控制原型设计与用户测试Amazon Mechanical Turk 工作者

文献标题

CrowdSurfer: Seamlessly Integrating Crowd-Feedback Tasks into Everyday Internet Surfing

文献信息

  • 主题领域: 人机交互 (Human-Computer Interaction, HCI), 网络众包与用户反馈系统
  • 关键词: Crowd-feedback系统, 众包, 设计反馈, 浏览器扩展, 人机交互, 工作灵活性, 用户体验, 工作条件, 反馈质量, 软件设计

研究背景与问题

  • 关键问题或挑战:

    1. 传统的用户在网站上提供实时反馈(in situ feedback)方法冗长且被认为打扰用户,导致参与度和反馈质量下降。
    2. 众包用户反馈(crowd feedback)尽管是可扩展的解决方案,但存在以下局限:
      • 缺乏实际使用情景的沉浸感,反馈可能失去真实性。
      • 人工构建使用情境(如虚拟人格或场景)增加了参与者的负担。
      • 传统的众包反馈仅限于某个特定时间点,难以实现连续性。
    3. 众包工作者的工作条件(如低薪酬、不灵活工作环境等)往往被忽视。
  • 研究的重要性:

    • 为用户与设计者建立更高效的反馈渠道,有助于改进交互式网站设计。
    • 探索提升众包工作者的工作体验与提升反馈质量的整合方案,平衡两者之间的冲突。
  • 研究动机与相关工作:

    • 现有研究表明,背景化的设计反馈能提升反馈质量。
    • “随性微任务”(casual microtasking)的概念说明将小任务嵌入日常用户活动具有可行性。
    • 众包工人倾向于将工作与其他非工作活动混合,但现有工具未充分利用这一特点。

解决方案

  • 研究方法与方案:

    • 提出了CrowdSurfer,这是一个集成式Chrome浏览器插件,允许众包工人在日常浏览互联网的过程中完成反馈任务。
    • CrowdSurfer通过弹窗呈现反馈任务,链接主流众包平台(如Prolific),并支持实时反馈。
  • 创新之处:

    1. 无缝集成:将任务嵌入众包工作者的日常Internet冲浪之中,减少任务切换的中断感。
    2. 提供透明性和用户控制:工人可以随时开启或关闭扩展程序,增加隐私及工作灵活性。
    3. 实现现场(in situ)反馈收集,同时减少了工人对沉浸的额外时间需求和隐形劳务。
  • 实施步骤与技术实现:

    1. 浏览器插件下载:用户通过Prolific注册,并学习使用教程。
    2. 任务呈现:特定网站的页面元素发布反馈任务,呈现简单的星级评价和文字反馈方式。
    3. 数据管理与支付:收集任务反馈并通过众包平台支付报酬,数据集中存储。

研究成果

  • 主要成果:

    1. 反馈过程及体验:
      • CrowdSurfer简化了反馈提供的流程,降低了工人工作负担。
      • 工人报告其支付更公平,任务灵活性更高。
    2. 反馈内容分析:
      • CrowdSurfer反馈质量在“具体性”“可操作性”“相关性”等维度上,普遍较传统问卷反馈更低。
      • CrowdSurfer的反馈更短,且更多表达即时反应。
    3. 用户行为:
      • 多数用户仅在正常网络冲浪过程中被动完成任务,小部分用户主动搜索任务。
  • 与现有方案比较的优势:

    • 提供了更真实和自然的用户反馈。
    • 极大改善了工人对隐形工作(如搜索和接受任务等)的抱怨,同时提升了工作体验。
  • 实验结果:

    • CrowdSurfer用户认为任务更简单且体验更愉快,薪资公平性高于传统方法。
    • 然而,其反馈详细度和深入性低于基于调查的反馈。
  • 局限性与未来方向:

    1. 反馈范围的拓展:
      • 需要探索跨越不同任务类型的通用性,例如标签、配对等。
    2. 长期用户研究:
      • 当前研究仅持续7天,需扩展至长期监测情境以验证方法可持续性。
    3. 个性化与激励策略:
      • 研究如何增加反馈任务的多样性和个性化设计以提升反馈质量。
    4. 支持鲜少访问网站:
      • 增加不常见网站的任务曝光可提升对低流量站点的反馈收集能力。

总结

CrowdSurfer成功验证了将反馈任务无缝嵌入用户日常互联网活动的可能性,尽管反馈质量略低,但其为提升众包工人的工作条件带来新的方向。未来研究应进一步完善系统设计,并扩展至更广的任务类型以服务更多应用场景。

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/papers/chi/96430/2023

广告推荐

学习 AI 编程到 CodeNow

open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3544548.3580994
一眼看懂

论文快照

fact_check
dataset
来源
CHI
calendar_month
年份
2023
emoji_events
奖项
未标记奖项
group
作者
4 位作者
sell
研究子方向
众包任务设计与质量控制、原型设计与用户测试
work
职业/产业
Amazon Mechanical Turk 工作者
article
内容状态
已索引正文
hub
相关论文
7 篇相关论文