动态补偿机制通过触发对财务损失的敏感性来增强众包研究中的用户参与度

文献标题

Dynamic Compensation Can Enhance User Engagement by Triggering Sensitivity to Financial Losses in Crowd-sourced Studies

出版信息

• 主题领域: 众包用户研究中的财务补偿策略及其对参与度和任务质量的影响。
• 关键词: 众包、财务激励、用户参与度、责任感、损失规避、动态补偿、行为框架、任务表现、伦理考量、人机交互。

背景与问题

• 问题/挑战: 众包研究中的标准补偿方案通常无法充分激励参与者或确保高质量的响应。目前的方法缺乏有效强化责任感的机制。
• 重要性: 低参与度和数据质量差会削弱研究的生态效度，并限制其在现实场景中的适用性。
• 动机与相关研究: 先前的研究探讨了静态激励方案和基于表现的支付，但尚未充分研究动态补偿策略或损失规避在塑造参与者行为中的作用。本文通过研究补偿框架如何影响参与度和任务结果来填补这些空白。

解决方案

• 提出的方法: 动态补偿策略，通过操控参与者对财务责任的预期，包括在任务中途引入或移除与表现挂钩的扣款。
• 创新点:
  1. 引入动态补偿方案以调节参与者行为。
  2. 提供损失框架责任感对参与度和任务质量影响的实证证据。
  3. 比较静态与动态补偿策略对参与者努力和结果的影响。
  4. 探讨在补偿框架中使用欺骗的伦理问题。
• 程序和关键技术:
  • 在 Prolific 平台上对 106 名参与者进行组间实验。
  • 参与者在四种补偿条件下编辑 AI 生成的图像标题：标准（隐含风险）、持续强化责任感、从标准到强化责任感（RA）的动态补偿、从 RA 到标准的动态补偿。
  • 测量任务努力（编辑距离、编辑时间）和任务表现（人工评分的准确性和细节、CLIP 分数）。
  • 使用统计分析（ANOVA、Kruskal-Wallis）评估补偿策略对参与度和结果的影响。

结果

• 具体发现:
  • 在任务中途引入与表现挂钩的扣款（从标准到 RA 的动态补偿）增加了编辑距离（M = 0.29, SD = 0.62）和编辑时间（M = 0.08, SD = 0.12），并显著提高了人工评分的准确性（M = 0.14, SD = 0.25）和细节（M = 0.19, SD = 0.28）。
  • 在任务中途移除责任感（从 RA 到标准的动态补偿）降低了编辑距离（M = −0.36, SD = 0.83），但对编辑时间或人工评分质量无显著影响。
  • 持续强化责任感与标准补偿在大多数指标上无显著差异。
• 相较基线的优势: 动态补偿策略，特别是在任务中途引入责任感的方式，在提升参与者参与度和任务质量方面优于静态方案。
• 实验/评估:
  • 任务: 参与者编辑 12 张图像的标题，中途引入干预。
  • 指标: 编辑距离、编辑时间、CLIP 分数、人工评分的准确性和细节。
  • 样本: 主实验中有 106 名参与者（Prolific），另有 325 名评估者对标题质量进行评分。
• 局限性与未来工作:
  • 仅限于单一任务类型（图像标题编辑）和特定参与者群体（美国的 Prolific 用户）。
  • 动态补偿策略中的欺骗行为引发伦理担忧。
  • 未来研究应探索非货币激励、个性化策略以及更广泛的参与者样本。

总结

本研究表明，动态补偿策略，特别是在任务中途引入与表现挂钩的扣款，可以显著提升众包研究中参与者的参与度和任务质量。研究结果突出了损失规避和责任感框架在塑造行为中的作用。然而，使用欺骗策略引发了伦理问题，强调了透明和公平补偿实践的必要性。未来研究应探讨替代的激励策略及其对伦理和有效研究设计的影响。