人机交互中参与者补偿报告的标准化：元回顾及对该领域的建议

文献标题

Standardizing Reporting of Participant Compensation in HCI: A Systematic Literature Review and Recommendations for the Field

文献信息

• 主题领域: 人机交互 (HCI) 中参与者补偿策略的研究与标准化
• 关键词: meta-review, participant payment, HCI, CSCW, UBICOMP/IMWUT, UIST

研究背景与问题

• 发现的问题或挑战:

  • 参与者补偿在HCI研究中缺乏标准化和透明度。
  • 补偿策略的报告存在显著的差异并且信息不充分。
  • 不一致的参与者补偿报告可能加剧科学中现存的伦理和可复制性问题。

• 重要性:

  • 参与者补偿是定义伦理研究实践和确保科学可复制性的关键，而目前HCI领域缺乏系统性的指导。

• 研究动机与相关工作:

  • HCI领域研究补偿策略大多集中在微激励方案和激励机制上，缺乏对补偿水平的系统性分析。
  • 医学和心理学领域已经建立了补偿的最佳实践，HCI领域可以从这些领域借鉴经验。

解决方案

• 方法或解决方案:

  • 系统性文献回顾：对2018-2019年四大HCI会议（CHI、CSCW、Ubicomp/IMWUT和UIST）中涉及使用者研究的论文进行分析。
  • 使用PRISMA方法结构化评估文章。
  • 定性分析补偿的理由和框架。

• 创新之处:

  • 缺乏标准化的参与者补偿报告框架，研究提供了建议和模板以规范这种方法。
  • 提出了参与者补偿决策的常见因素、伦理分析以及文化语境的考虑。
  • 为研究社区呼吁建立统一的补偿报告结构以促进透明性和标准化。

• 实施步骤和关键技术:

  • 确定和分类补偿数据：开发17项类别（包括参与者数量、活动类型、补偿金额与支付方式等）。
  • 数据提取和编码：通过多次迭代分析提取补偿的信息并生成分类表。
  • 数据分析：定量分析补偿结构、金额与支付方式；定性分析补偿理由。

研究成果

• 具体成果:

  • 文献回顾显示，57.9%的论文未报告是否提供补偿，有84.2%的研究未充分报告补偿相关信息。
  • 参与者补偿的金额范围从$0.05到$700，时薪范围从$2.86到$240，补偿方式包括现金、礼品卡、众包平台等。
  • 定性分析发现补偿理由可归纳为6个主要类别，包括受过去研究影响、遵循最低工资标准、参与者专业知识、外部组织建议等。

• 现有解决方案的优势:

  • 本研究首次系统性地分析HCI领域参与者补偿的报告情况并提供决策建议。
  • 提供补偿策略决策时考虑的综合性因素（如文化背景、最低工资标准），增强了补偿设计的合理性与可复制性。

• 实验或评估结果:

  • 不同补偿模型（如固定金额、按任务补偿、按时间计算）被列出，并与具体研究案例展示。
  • 发现补偿水平在不同的研究地点、参与者特性（如弱势群体）中存在显著差异。

• 局限性与未来方向:

  • 局限性：仅涵盖2018-2019年的数据，可能无法全面反映历史的长时间趋势；手动提取数据可能引入错误。
  • 未来工作建议：
    • 标准化补偿报告方法以提升透明性。
    • 增强参与者对补偿决策的参与。
    • 评估补偿方法对参与者行为及研究目标的影响。

总结

本文为HCI领域贡献了一份全面的系统文献回顾，分析了参与者补偿策略的现状，提出了规范化和标准化建议。研究的结果不仅揭示了补偿方式的多样性，也强调了补偿在伦理设计和研究透明性上的重要性。通过标准化实践，HCI社区可以更好地增强补偿决策的透明性，并提升整体研究质量。