更多预测，更多（决策）问题：多重预测的不确定性表示如何影响决策

研究背景与问题

• 问题或挑战: 当前，用户在决策中常常面临多个对同一事件的预测，这些预测可能基于不同的模型和假设，进而包含不确定性（quantifiable "probabilistic uncertainty" 和 epistemic "incertitude"）。在处理复杂不确定性时，人们在决策中如何合并这些预测存在挑战，且没有明确的指导准则。
• 重要性: 随着多种预测在天气、疫情、选举等领域的普及，如何帮助用户在多预测不确定性下做出更好的决策显得尤为重要。这不仅影响实际决策效果，还涉及信息可视化领域关于不确定性表达的设计问题。
• 研究动机与相关工作: 虽然以往研究对单一预测的不确定性表达有不少讨论，但涉及多预测的研究较少。本文探索了如何用两种不同的图表（ensembles 和 p-boxes）表达不确定性，并测量这些表达对决策策略的影响。

解决方案

• 提出的方法: 文章对比了两种不确定性可视化方式：1) Ensemble 图直接表现多个预测的分布；2) P-box 图只展示均值分布的上下边界。这两种方式以累积分布函数（CDFs）为基础。
• 创新之处:
  • 探讨了两种可视化方法如何影响用户决策策略的保守性，例如是否偏向于基于“最坏情况”（worst-case）的决策。
  • 针对如何分布和聚类的预测对用户决策行为的影响进行了细化分析。
• 实施步骤:
  1. 实验设置: 三个实验分别检验了 p-boxes 和 ensembles 对用户决策策略的影响（实验 1）、预测分布聚焦对 ensembles 显示形式影响（实验 2）、以及统一 phrasing 对决策结果的稳健性（实验 3）。
  2. 建模与分析: 通过逻辑回归模型估计参与者对概率的权重参数，从中捕捉决策者的倾向（如重视“最坏情况”概率）。
  3. 质性分析: 收集用户的策略自述，用编码的方式分析用户更偏向哪种信息（如边界、中位数）。

研究成果

• 具体成果:
  1. 实验 1: 当预测是均匀分布时，p-boxes 和 ensembles 的效果相似，用户倾向于对最坏情况（lower bound）的预测赋予较高权重。
  2. 实验 2: 如果预测聚集在分布的一侧，用户的决策偏向于聚集区域，而不是单纯看“最坏情况”。
  3. 实验 3: 词语修改（reliable vs. equally reliable）对实验 1 中用户的决策无显著影响，验证结果具有稳健性。
• 与现有解决方案相比的优势:
  • 本文首次对 p-boxes 和 ensembles 的实际决策影响进行了实证评估，并提供了更细致的策略分类与效果分析。
  • 提出了一些初步设计建议，例如当希望用户更重视极端预测时，应使用 p-boxes，而 ensembles 更适合展示详细的透明信息。
• 实验结果与发现:
  • 用户对最坏情况的关注远大于理性期望（即最优阈值为概率 0.2，但实验估计用户心理阈值更高，如 0.3 左右）。
  • 无论使用哪种表达方式，大部分用户没有完全按照理性决策点进行选择。
• 局限性与未来方向:
  • 局限性:
    1. 被试仅面临二元决策任务，无法模拟更复杂选择场景。
    2. 某些策略自述中，用户的选择动机可能受外界附加因素（如个人同情心）影响，实验分析未能完全量化解释这些因素。
  • 未来方向:
    1. 探索如何通过设计更高效的可视化引导用户关注（如标注重要曲线、增加可交互功能）。
    2. 对多元选择或连续性任务的可视化设计进行扩展。
    3. 结合其他领域的复杂不确定性问题，如科学分析中的多分支假设可视化应用（multiverse analysis）。