以乐趣换准确？数据质量与玩家体验在数据收集游戏中的关系

文献标题

Trading Accuracy for Enjoyment? Data Quality and Player Experience in Data Collection Games

文献信息

• 主题领域: 数据质量与游戏化的用户体验研究
• 关键词: 数据收集游戏、游戏化、数据质量、人类参与研究、玩家体验、实验设计、效度威胁、语言学实验

研究背景与问题

• 发现的问题或挑战: 传统的调查问卷或实验通常乏味，导致较差的参与者保留率以及数据质量问题；数据收集游戏被提出作为解决方案，旨在提高参与者的兴趣并获得与传统方法同样可靠的数据。然而，这种假设缺乏实证验证。
• 重要性: 数据收集的可靠性直接影响到人类参与研究的质量和研究结果的可信度。游戏化作为一种可能提高动机并改善用户体验的手段，其潜在价值很大，但目前尚不清楚是否能够在提高参与度的同时保证数据质量。
• 研究动机与相关工作:
  • 游戏化已被用于民间科学研究等领域，但多集中于数据量的增加，而对数据质量验证较少。
  • 当前关于数据收集游戏的研究缺乏随机实验对照手段，且现存研究结果之间存在矛盾。
  • 作者提出了特定的设计框架（Intrinsic Elicitation），旨在减少游戏中的效度威胁，为验证这一设计框架的实际效果提供实验数据。

解决方案

• 提出的方法或解决方案:

  • 开发了名为 Adjective Game 的数据收集游戏，通过游戏收集人类语言学数据（特别是形容词顺序的使用模式）。
  • 设计了一项对比实验，分别比较游戏条件和标准语言实验条件下的参与者体验和数据质量。
  • 使用两个不同的操作化方式定义准确性：第一研究基于英语语法规则，第二研究基于参与者自身的主观判断。

• 创新之处:

  • 使用独有设计框架（Intrinsic Elicitation）来避免效度威胁。
  • 首次对数据收集游戏的假设进行了严格的实验验证：游戏是否既提高了参与者的兴趣又保持了数据质量。

• 实施步骤及关键技术:

  1. 游戏设计:
     • 游戏中定义核心机制，要求玩家通过选择三个词（两个形容词、一名词）描述屏幕中的形状，从而清除屏幕上的方块，实现语言数据的收集。
     • 遵循 Intrinsic Elicitation 的三个原则：必要性、中心性、真实性。
  2. 实验设计:
     • 设置两种实验条件：数据收集游戏和传统实验任务。
     • 进行两项实验，比较玩家的自我报告享受程度以及数据的准确性。
  3. 数据分析:
     • 使用统计学方法（如 Mann-Whitney U检验）分析两个条件下的参与者体验与数据准确性差异。

研究成果

• 具体成果:

  • 游戏条件显著提高了参与者的兴趣和体验（当前研究中 d 值分别为 .70 和 .73，表现出中到高的效应量）。
  • 游戏收集的数据显著低于传统实验任务的数据质量，尽管仍比随机回答的数据更准确（当前研究中 d 值分别为 -.68 和 -.40）。
  • 时间效率方面，游戏任务每个输入平均需要更多时间。

• 与现有解决方案相比的优势:

  • 数据收集游戏能够吸引参与者，从而缓解传统实验中因无聊而导致的弃试和选项遗漏问题。
  • 游戏内融入了语言数据收集机制，且具有参与者输入数据随机化等优化设计。

• 实验或评估结果:

  • 游戏条件下玩家的享受程度显著高于对照实验条件，支持游戏化能改善体验的主张。
  • 然而，数据质量因效度威胁而受到影响，表明数据收集游戏存在显著的享受与质量之间的权衡。

• 局限性与未来方向:

  • 局限性:
    • 游戏相关的框架（Intrinsic Elicitation）虽然有效限制部分效度威胁，但仍不能完全消除问题。
    • 游戏操作中的复杂认知负担可能引发不准确的行为反应。
  • 未来方向:
    • 测试其他类型的数据和不同游戏设计的泛化结果。
    • 研究框架对参与者行为和数据质量影响的具体机制，特别是“实验任务”与“游戏任务”背景下的需求特性。
    • 探索通过设计改进分离高享受与高数据质量的具体因素。

通过这项研究，作者提出了有关数据收集游戏的重要启示，即选择游戏化方法时需要谨慎权衡用户体验与数据质量间的取舍，同时呼吁进一步实验研究以定义更为可靠的设计方法与游戏化实施策略。