通过众包GUI实验的任务前参与者筛选提升数据质量

文献标题

Improving Data Quality via Pre-Task Participant Screening in Crowdsourced GUI Experiments

出版信息

• 主题领域: 通过任务前参与者筛选提升众包GUI实验中的数据质量。
• 关键词: 众包, GUI实验, 数据质量, 参与者筛选, 尺寸调整, 移动时间, 错误率, 预测模型, 人机交互, 指向任务。

背景与问题

• 问题/挑战: 众包GUI实验常因参与者不专心或不遵守规则而导致数据质量问题，从而降低了性能模型的有效性。
• 重要性: 提升数据质量对于可靠的模型评估及在GUI交互研究中得出有效结论至关重要，尤其是在众包环境中。
• 动机与相关工作: 先前研究探讨了数据质量管理技术，如注意力检查和黄金标准任务，但未具体针对基于GUI的性能模型。本研究在这些工作的基础上，提出了一种与任务相关的预筛选机制以提升数据质量。

解决方案

• 提出的方法: 通过尺寸调整任务进行任务前筛选，以识别并排除不合规的参与者，从而在主要GUI实验前提高数据质量。
• 创新点:
  1. 引入基于GUI的任务前筛选任务，生成连续错误信号以评估参与者质量。
  2. 系统评估任务前阈值和未通过参与者比例对模型拟合和预测准确性的影响。
  3. 在多种设备（PC和智能手机）和错误处理策略下验证该方法。
• 流程与关键技术:
  1. 参与者执行尺寸调整任务，将屏幕上的卡片调整为与实际卡片匹配的大小。
  2. 错误超过阈值的参与者被排除在主要指向任务之外。
  3. 主要任务使用既定性能模型（如Fitts定律）评估移动时间（MT）和错误率（ER）。
  4. 通过模拟系统性地改变任务前阈值、未通过比例和样本量，评估模型拟合和预测准确性。

结果

• 具体发现:
  • 更严格的任务前阈值和较低的未通过参与者比例系统性地改善了模型拟合度（R²）和预测准确性。
  • 对于错误率（ER）模型，在更严格的阈值和较小的未通过比例下，R²提高了最多98%。
  • 在智能手机设置中，相较于PC设置，MT和ER模型均显示出更显著的优势。
• 相较基线的优势:
  • 提议的方法有效筛选出不专心的参与者，改善了模型拟合并降低了数据噪声。
  • 相较传统排除方法，该方法通过提供与任务相关的连续错误信号表现更优。
• 实验/评估:
  • 进行了三项实验：
    1. 基于PC的鼠标交互，包含错误后的重新瞄准。
    2. 基于智能手机的触摸交互，包含重新瞄准。
    3. 基于智能手机的触摸交互，不包含重新瞄准。
  • 度量指标包括模型拟合度（R²）和预测准确性（通过留一交叉验证）。
• 局限性与未来工作:
  • 该方法可能会排除存在运动或视觉障碍的参与者，从而可能引入偏差。
  • 确定最佳阈值T较为复杂，因为需要权衡样本量和招募成本。
  • 未来工作将探索替代任务前筛选任务、更广泛的任务泛化，以及改进阈值选择的指导。

总结

本文提出了一种通过尺寸调整任务进行任务前筛选的方法，以提升众包GUI实验中的数据质量。通过基于任务前错误排除不合规参与者，该方法提高了GUI性能模型（特别是错误率ER和移动时间MT）的拟合度（R²）和预测准确性。该方法在涉及PC和智能手机设置的三项实验中得到了验证，无论设备或错误处理策略如何，均表现出一致的有效性。尽管该方法具有广泛适用性，但未来工作需要解决潜在偏差问题并优化阈值选择。此筛选方法为确保GUI交互研究中的可靠数据收集提供了一个实用工具。