Q3.07.1Success-conditioned completion time设计研究
只在成功任务上计算才有意义
别名: 条件完成时间 · 失败时间删失 · time on successful tasks
概念解释
任务完成时间度量的是从开始到到达既定终点所耗的时长。失败、放弃和超时没有这个终点:时钟停在主持人介入、参与者放弃或到时被切断之处,那段数字不是“完成得慢”,而是未完成的截断。把失败时间与成功时间混进同一个平均数,比较的是不同事件。时间作为效率指标,只有在已经完成的尝试上才有定义。
机制
完成时间以终点事件为锚。没有锚,观测到的是删失或截断:有人在两分钟时走错并停止,有人被十二分钟上限截住,两者的读数都小于他们若继续可能用掉的时间,却被当作短或长的完成。混入失败还会把“很快失败”的设计算成更快,把“慢慢找到路”的设计算成更慢。另一方面,只保留成功时间是以成功为条件的选择样本:难用的界面上,留下的可能是更熟练的人,他们的时间不能代表全体。因此成功率与条件时间必须成对出现,单独的条件时间会把被筛选掉的人藏起来。
怎么研究
每条尝试先判定成功与否,再在成功子集上计算时间。失败与超时单独报告次数、停止原因和停止时刻,可用生存分析处理删失,但不把它们填进完成时间均值。比较设计时同时看成功率和成功者时间;若某方案成功率更低而成功者更快,检查是否把慢的人筛成了失败。预注册时间的起止事件(首屏可操作到成功状态出现),避免有的场次从阅读任务开始、有的从第一次点击开始。
边界
练习任务、熟悉阶段的时间通常不进入效率结论。对专家日常操作,失败极少,条件化几乎不改变样本;对新手和高难度任务,条件化会大幅改写谁被保留。若研究问题就是“到停止为止花了多久”,应改称尝试时长或放弃前时长,不要叫完成时间。无法观察到成功状态的现场日志,只能得到代理时长,需标明终点事件。
怎么落地
- 时间表只统计标记为成功的尝试;失败行留空或标“未完成”,不填停止时刻冒充完成。
- 汇报格式固定为“成功率 + 成功者时间”,禁止只甩一张平均时长。
- 若新方案成功者更快但成功人数明显变少,先查被排除的是谁,再决定能不能宣称效率提升。
- 统一计时点:从参与者开始操作到成功状态出现;任务朗读和闲聊不计入。