QButterfly：非技术型研究人员用于在线用户交互研究的轻量级调查扩展

文献标题

QButterfly: Lightweight Survey Extension for Online User Interaction Studies for Non-Tech-Savvy Researchers

文献信息

• 主题领域: 人机交互 (HCI)
• 关键词: 在线用户交互研究, 在线实验, Qualtrics, LimeSurvey, 开源, HCI 工具包

研究背景与问题

• 发现的问题或挑战:

  1. 在线用户交互研究，虽然流行，但存在技术难点，如需要多个工具的同步、多平台间数据匹配。
  2. 技术不熟练的研究者在设计大规模用户研究、尤其是涉及实验条件分配和用户行为跟踪时面临诸多困难。
  3. 现有工具需要编程技能，且难以与标准调查平台（如 Qualtrics 和 LimeSurvey）无缝整合。

• 重要性:

  • 大规模在线实验（如众包参与者实验）能够提供真实的用户行为数据，有助于理论驱动的研究，也是在人机交互领域逐渐增长的需求。
  • 有效整合现有工具并降低技术门槛，可以加速研究进展，提高用户研究效率。

• 研究动机与相关工作:

  • 当前许多工具（如 psiTurk、oTree 等）在理论上支持在线研究，但需要强大的编程背景，对非技术人员构建用户交互研究存在较高门槛。
  • HCI 研究领域的工具开发（如 AWARE 和 QRTEngine）表明，高效的工具能为学术研究创造深远的贡献，但仍需要结合实际需求优化新方法。

解决方案

• 方法或解决方案:

  • 提出了 QButterfly，一个轻量级、开源的 HCI 工具包，可帮助技术不熟练的研究者使用广泛的调查平台（Qualtrics 和 LimeSurvey）设计在线用户交互研究。
  • 工具包包括：
    1. 嵌入 JavaScript 的预制调查模板，用于管理网页展示和采集数据。
    2. 嵌入网页的 QButterfly JavaScript 库，用于跟踪用户点击并记录到调查平台。
    3. 数据分析 Excel 模板，结合正则表达式支持数据处理。

• 创新之处:

  1. 无需编程技能即可构建复杂的在线用户研究。
  2. 支持用户行为跟踪（如点击流）并实时存储数据于调查平台中。
  3. 无需复杂数据整合，数据分析和实验配置流程更加便捷高效。

• 实施步骤与关键技术:

  1. 实验设计：引入 QButterfly 调查模板，嵌入 JavaScript 库至目标网站和 HTML 元素。
  2. 数据采集：
     • QButterfly 可完整记录用户点击及时间戳，并实时传输至调查平台。
     • 利用 iframe 实现网页与调查平台的无缝嵌套展示。
  3. 数据分析：通过标准的 Excel 模板调用分析函数处理用户行为数据。

研究成果

• 具体成果:

  1. 通过两项验证研究（实验室研究和众包参与者的字段研究）证明了 QButterfly 的可靠性：
     • 实验室研究显示工具的数据记录准确，可接受时间延迟在 20 毫秒以内。
     • 字段研究验证了工具在真实环境中的跨平台兼容性和数据采集的一致性。
  2. 相较其他工具，QButterfly 显著减小了用户研究的技术复杂性，研究者无需跨平台匹配数据，也不受制于外部依赖。

• 实验或评估结果:

  • 实验室研究: 在两大主流浏览器（Chrome 和 Safari）中，所有用户事件均被正确记录，数据延迟毫秒级别，满足在线用户研究时效性需求。
  • 字段研究:
    • 总计 6045 参与者，由用户设备导致的问题仅占记录的 1.3%。
    • 部分数据丢失（如 JavaScript 阻断）被归因于个别用户的浏览器设置。

• 与现有解决方案的优势:

  1. 将主流调查平台与用户行为跟踪工具整合，简化数据管理。
  2. 完全开源，可自由调整至其他平台和用户案例。
  3. 无需复杂的编程，提供入门友好的用户指南。

• 局限性与未来方向:

  1. 局限性:
     • 在用户实验中仍存在较少因设备差异引起的数据异常。
     • 不完全支持 Internet Explorer 等老旧浏览器。
     • 工具高度依赖于调查平台技术更新，若调查平台发生重大改动，工具需更新。
  2. 未来方向:
     • 扩展更多分析功能（如与 Python 和 R 兼容）。
     • 增强对更多交互事件的支持（如鼠标轨迹追踪）。
     • 加强用户样本前期设备环境测试，以提高数据收集的可靠性。

总结

• QButterfly 的意义: 本研究通过一个用户友好且开源的工具，为非技术用户提供了设计在线用户交互研究的全新机制。研究表明其能够在实验室和真实环境中采集可靠的用户数据，未来可进一步支持大规模和复杂研究。

• 研究潜力: QButterfly 的发布和验证不仅降低了研究的技术门槛，还为科学研究提供了更快、更广泛的可行性，为 HCI 和其他研究领域开辟了新机会。

• 补充支持: 开发与应用受到了 Hasler Foundation 和 DIZH 项目的资助。