众包出声思考研究

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 传统的 Think-Aloud (TA) 方法高度依赖面对面的同步设置，这导致实验人员需要实时参与，这种高时间成本限制了TA研究的规模和参与者数量。
  • 异步TA研究在技术实现和数据质量上存在挑战，阻碍了其采用。
  • 分析TA数据是耗时的流程，包括语音转录、错误修正和屏幕录制的复审，这限制了实验规模的扩大。

• 为什么这个问题很重要？

  • TA是评估用户界面和数据可视化中用户交互行为的重要工具，能够揭示用户的思考过程，用于提高设计质量。
  • 扩展TA的规模和参与者代表性可以增加研究的效能，帮助更加全面地理解用户行为模式，同时降低成本。

• 研究动机与相关工作

  • 作者通过分析67篇TA研究论文发现，几乎所有TA研究都是面对面或远程视频会议形式，只有1篇采用异步设置，这表明异步TA存在巨大潜力。
  • 前人的工作表明，异步方法在其他场景中（如文本反馈）有所成效，但其在TA中的适用性欠缺系统研究。

解决方案

• 作者提出了哪些方法或解决方案？

  • 开发了CrowdAloud平台，支持异步的TA方法，通过自动捕捉并转录参与者语音和记录应用交互日志（行为溯源数据）。
  • 提供分析接口，将语音数据、转录文本、交互事件以及状态重现综合呈现，简化数据分析流程。

• 该解决方案的创新之处是什么？

  • 融合了语音转录与应用交互的溯源数据，使研究者能够准确地同步查看用户的行为和其言语过程。
  • 支持异步实验，大幅降低实验人员参与的技术与时间成本，同时允许扩展用户规模。
  • 提供基于文本块和行为事件的编码系统，支持定性分析，提升了分析的效率。

• 实施步骤是什么？使用了哪些关键技术？

  1. 实验设置: 使用CrowdAloud在实验配置中启用语音录制和事件记录功能。
  2. 录音与溯源: 通过ReVISit平台设置页面和任务，捕获网站互动日志和用户语音。
  3. 数据分析:
     • Replay View：通过溯源记录回放用户交互行为相当于屏幕视频回放。
     • Analysis View：转录处理和内容编码，支持对用户行为和言语内容的定性分析。
  4. 验证研究: 分别设计两个实验，验证CrowdAloud的适用性并比较同步和异步的效果。

研究成果

• 取得了哪些具体成果？

  • 实验1：验证了异步TA方法的可靠性，与实验室TA方法相比，异步参与者产生的言语和洞见数量相近，且质优。
  • 实验2：将异步TA与传统文本响应方法进行对比，发现异步TA能产生更多洞见，且更能揭示用户的思维过程。

• 与现有解决方案相比，它有哪些优势？

  • 异步TA实验能显著降低研究成本和实验人员参与需求。
  • CrowdAloud平台的Replay和Analysis View结合了语音转录与交互行为数据，优化了分析效率。
  • 异步方式鼓励参与者提供更加坦诚和独立的反馈，与实验室设置相比反映了更真实的用户体验。

• 实验或评估结果是什么？

  • 异步与同步TA的言语数量相近，平均值分别为1088词（异步）和868词（同步）。
  • 用户洞见生成的质量及特点在两种方法之间基本一致，但异步参与者更多时间是“小步探索”，有更精心的详细说明。
  • Crowdsourcing TA与文本反馈相比，洞见数量增加了约1.5倍。

• 局限性与未来方向:

  • 异步TA研究可能受限于参与者所在环境（如硬件、背景噪音）的干扰和多样性。
  • 当前的研究主要集中于学生和在线受众；未来需要扩展至专家群体的使用场景以了解方法的更广泛适用性。
  • 面向复杂交互环境的系统溯源需求可能增加技术实施难度，优化方法仍需探索。

整体来看，CrowdAloud显著降低了异步TA的技术壁垒，并首次系统性验证了异步TA的可行性和效用，为研究者提供了一种更灵活、高效的工具来探索大规模用户行为数据。未来的研究可以进一步改进平台功能以及扩展使用群体和场景。