Q2.16.3Device and network confounds in remote testing设计研究

网络与设备差异会引入与产品无关的干扰

别名: 远程测试环境混杂 · 设备碎片化 · 网络干扰

概念解释

远程场次发生在参与者自己的网络、操作系统、浏览器、屏幕缩放和输入装置上。这些条件是真实使用的一部分,但当研究问题问的是产品界面是否可用时,它们是环境混杂(environmental confounds):卡顿、误触、布局错位、字体被系统放大后按钮被挤出屏幕,看起来像产品失败,原因却在传输或设备层。把混杂计成缺陷,会改错地方;把真实设备上的失败一律开除,又会漏掉只在某类硬件上出现的产品问题。需要先分开“与产品无关的干扰”和“产品在该环境下的真实表现”。

机制

实验室通常固定机型、分辨率、网络和权限状态,把界面当作几乎唯一变化的东西。远程样本把这些参数重新变成随机变量。丢包会把一次点击显示成迟滞,参与者接着连点,产生重复提交。旧版 WebView 不支持某 CSS,栅格塌掉。辅助功能里的显示放大把固定定位的底栏盖住主按钮。蓝牙键盘缺少触控目标的触觉,误触率上升。同一套界面代码在这些条件下会产出不同的可观察失败,而失败的近因并不在交互稿里。若不记录环境,编码者只能在“难用”和“人不会用”之间选,第三种答案——通道和设备——进不了表。

怎么研究

每场次记录机型、OS 与浏览器版本、视口、缩放、网络类型和会话中的重连。把失败事件先分成环境可解释、产品可解释、无法分离三类,再报告各类比例。可做分层:在受控网络的基准设备上跑同一任务,与远程自带设备对比,看哪些失败在基准上消失。自变量是环境簇(机型世代、带宽档、缩放是否开启);因变量是失败归因一致率和“去掉环境事件后仍存在的问题集合”。

边界

研究问题若正是“产品在现有设备生态里是否可用”,设备差异就不是该剔除的噪音,而是目标总体的一部分,仍应标注近因。高带宽、公司发的标准笔记本上的远程测试,会低估公共 Wi-Fi 和老旧安卓上的干扰。原生安装包与纯网页的脆弱点不同:前者少受浏览器版本影响,仍受存储、权限和后台杀进程影响。实验室基准也不能代表所有环境;它只提供一个用于分离的对照,不是“真实”。

怎么落地

  • 任务开始前自动或口头采集设备、OS、浏览器、缩放和网络类型,写入每条失败记录的固定字段。
  • 编码时先问“若同一操作发生在稳定网络和标准视口上,失败是否还在”;只在“不在”时标为环境干扰。
  • 对疑似环境事件做一次基准设备复现;能复现则回到产品,不能复现则不要写进界面改动列表。
  • 报告同时给出环境事件清单与去掉它们之后的问题清单,避免把掉线写成导航缺陷。

延伸

  • 同组Q2.16.1 远程同步测试省去差旅但丢失部分肢体线索 · Q2.16.2 非同步测试允许参与者自选时间,但无法追加提问 · Q2.16.4 非同步录屏工具收集的是操作过程而非动机
  • 相邻Q2.06 可用性测试 · Q3.11 日志与埋点分析
  • 站内检索environmental confound · device fragmentation · remote testing noise

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q2.16.3