调查多重比较问题在视觉分析中的影响

可视化系统的目的是促进基于数据集的洞察发现。但如果这些洞察是虚假的呢？可视化中的特征或模式可能被视为相关洞察，即使它们可能是由噪声引起的。我们经常将可视化与我们感兴趣的某个趋势、分布或异常模式的思维图像进行比较。随着检查的可视化越来越多，比较也越来越多，发现虚假洞察的概率也会增加。这个问题在统计学中被称为多重比较问题（MCP），但在可视化分析中却被忽视了。我们提出了一种通过在具有已知真实标签的合成数据集上测量用户报告的洞察的准确性来评估可视化工具中的MCP的方法。在我们的实验中，超过60%的用户洞察是错误的。我们展示了如何采用一种确认性分析方法，该方法考虑了所有视觉比较、洞察和非洞察，以达到与需要验证数据集的方法相似的结果。