非同步测试允许参与者自选时间,但无法追加提问
别名: 非主持远程测试 · 异步可用性 · 无法追问
概念解释
非同步、无主持测试(unmoderated asynchronous testing)把任务脚本、成功条件和结束问题预先封装进平台,参与者在自己方便的时刻打开链接完成。时间灵活性是它被采用的原因:跨时区、班次不规律、以及不愿预约的人都能参加。对应的硬限制是:当场追问不可能。参与者走了脚本没料到的路、在某屏停了很久、或写下一句含糊的话,研究者不能在那一秒问“你当时想做什么”。事后问卷补不回那个时刻,因为提问窗口已经随会话关闭。
机制
主持场次里,意外行为是继续收集证据的入口:停顿、改路、自语都可以立刻被转成具体问题。非同步平台只能执行已写好的分支,分支之外的行为被记录为时间戳和点击,却没有配套的澄清权。结束时的开放题面对的是已经完成的结局,参与者会按结果重组原因,而不是回到停顿发生的那一帧。自选时间还带来另一层关闭:研究者甚至不知道参与者当时是否被打断、是否把设备给了别人。灵活性换来的是问题集合在发布时被冻结。
怎么研究
把同一脚本分别做成有主持与无主持版本,统计意外路径、长停顿和含糊评论之后,主持场次追问能新增多少可编码解释,无主持场次只能留下多少未澄清事件。自变量包括脚本分支覆盖和结束问题的时机;因变量包括未澄清事件比例、事后解释与时间线错位次数。预测试应专门投放“脚本未覆盖的合法做法”,检查平台是记录了行为,还是把人逼回主路径。
边界
目标仅是完成率、路径频率或明显的界面阻塞时,追问缺失的代价较低。目标是误解类型、目标形成或“为什么放弃”时,非同步只能提供候选,不能提供已澄清的原因。分支极全、几乎每种偏离都有即时追问项的脚本,会接近有主持的澄清力,但编写成本急剧上升,且仍无法覆盖尚未想象到的偏离。对需要翻译、识字支持或临时授权的参与者,自选时间帮不上忙,缺少当场提问反而使任务中途报废。
怎么落地
- 发布前列出“若出现 X 行为,我必须问什么”;凡是没有对应追问项、又会改变结论的 X,不要放进非同步场次。
- 在关键屏插入针对该屏的即时短问(当时看见了什么、下一步打算做什么),不要把所有问题堆到任务结束后。
- 将“未澄清事件”单独计数;超过事先阈值就改用同步场次补做,而不是用猜测填满报告。
- 用预测试中真实出现、脚本未写到的行为验收:若只能写下“停了 40 秒”而不能写下原因,该任务不适合非同步。