U10.04.5Check whether the conclusion changes under another reasonable rendering设计

检查同一数据换一种合理画法后结论是否改变

别名: 画法敏感性检查 · 稳健性测试

概念解释

诚实性检查的第五项是呈现稳健性:如果换一种同样合理的画法(换个时间窗口起点、换个分组方式、换个图形类型、换个轴标度),同一个结论还成立吗?这个检查是针对"结论依赖呈现选择"这类隐性误导的直接测试——如果结论只在某一种特定画法下成立,它就更可能是呈现的产物而非数据的性质。

机制

画法敏感性检查把散布在各处的稳健性思想(窗口平移测试、分箱敏感性、纵横比测试)整合成一个通用动作:识别结论所依赖的呈现选择(起点、分箱、比例、图形类型),逐一替换为同样合理的选择,核对结论方向是否稳定。它有效的原因是分离了两个自由度:数据决定结论的能力与制图者选择决定结论的能力——前者是信号的稳健性,后者是操纵的空间。结论对合理画法的变化稳定时,操纵空间被证明接近于零,图表的可信度获得最强形式的支撑;结论随画法翻转时,翻转本身成为必须披露的信息("结论依赖 3 月起的窗口"),或结论需要降级。这个检查也是前三项检查的元检查:轴、范围、标注都合格但结论仍依赖画法的情况确实存在(比如数据本身的特征就是不稳健的),画法检查是唯一能捕捉它的。

边界

"合理画法"的界定是检查的模糊点:替换的选择必须是无偏向的常规选项(等宽分箱的另一宽度、标准窗口长度),而不是为了翻转结论而特意构造的画法——用不合理画法翻转结论不能证明原结论有问题。检查的成本也应与结论的重要性成比例:核心业务结论做完整的替换矩阵(起点 × 分箱 × 图形类型),日常图表做一两个关键替换即可。结论在部分替换下翻转时,处理方式不是简单放弃,而是报告翻转的边界条件("3 个月窗口显示上升,3 年窗口显示持平"),把不稳健性本身作为结论的一部分呈现。

怎么落地

  • 检查动作:列出结论依赖的 2-3 个关键呈现选择,各替换为一个合理选项,重画并核对结论方向;方向翻转即记录为"结论依赖画法"并在图中披露。
  • 核心指标的季节性报告执行完整替换矩阵;常规图表至少做窗口平移测试。
  • 翻转的结论按边界条件形式改写("短窗口与长窗口结论不同"),不隐藏。
  • 验证:检查最近一次重要汇报的图表是否附有画法敏感性记录;没有记录即该项检查未执行。

延伸

  • 同组U10.04.1 检查轴是否从零起、是否被截断或断开 · U10.04.2 检查数据范围、筛选条件与排除项是否被说明 · U10.04.3 检查标题与注释的断言是否被图形本身支撑 · U10.04.4 检查不确定性、缺失比例与样本量是否已标注 · U10.04.6 清单应在发布前执行,而非在被质疑后补做
  • 相邻U10.02.1 时间窗口的选取决定趋势方向 · U8.06.2 分组方式改变结论方向
  • 站内检索robustness check · sensitivity analysis · alternative rendering

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/U10.04.5