一项关于可用性安全和人机交互研究人员如何判断优势比和Cohen's d效应量的大小和重要性的质性研究

研究背景与问题

• 作者发现了哪些问题或挑战？

  1. 在人机交互（HCI）和可用性安全与隐私（USP）研究领域中，研究者往往过于关注统计显著性（p值），而忽略了效应量的解读与报告。
  2. 尽管效应量（如Cohen's d和赔率比）是评估实际效果的重要指标，但这些量很少被系统地报告和解读。这种不足影响了研究结果的实用性及其对实践的意义。

• 为什么这个问题很重要？

  • 效应量分析有助于理解统计结果的实际意义。然而，如果研究文献未清晰地报告或解释效应量，读者可能会误解研究结果，或者难以将这些结果应用于实践。
  • 在安全和隐私（如密码管理器和浏览器警告）领域，误解与错判可能导致负面影响，包括用户的不当决策和实际危害。

• 研究动机与相关工作

  1. 作者参考了以往关于效应量、p值和统计报告相关的研究，指出HCI与USP领域的效应量报告和解读普遍存在问题。
  2. 现有文献多关注以p值为导向的显著性，而较少探讨效应量的误解和实际意义。
  3. 这些问题的解决有助于提高研究透明性和实用价值，同时提升设计与评价工具的科学基础。

解决方案

• 作者提出了哪些方法或解决方案？

  1. 通过在2023年CHI和SOUPS会议期间，展开问卷调查和深度访谈，作者探讨了HCI和USP研究者对效应量（主要是Cohen’s d和赔率比）的理解与误解。
  2. 设计了不同的情境（如密码管理器、幻灯片一致性检查工具和浏览器警告）和不同大小的效应量以观察研究者的判断。
  3. 结合访谈与问卷结果，提出改进研究报告中效应量呈现和解释的具体建议。

• 该解决方案的创新之处是什么？

  1. 系统性地研究了USP与HCI领域内研究者对效应量大小与重要性的主观判断。
  2. 区别了主要对Cohen's d和赔率比分别存在的具体误解。
  3. 提出了与背景、影响范围及用户视角相结合的效应量解读框架。

• 实施步骤是什么？使用了哪些关键技术？

  1. 数据收集：调查和访谈63位研究者，通过定性和量化方法探讨研究者如何判断效应量的大小和重要性。
  2. 情境设计：使用人工构建的研究情境，展示描述性统计、p值和效应量。在不同情境中随机分配效应量大小。
  3. 分析：使用基于建构性扎根理论的分析方法，结合访谈手稿与调查结果，从中提取误解模式和影响判断的因素。

研究成果

• 取得了哪些具体成果？

  1. 发现研究者对Cohen’s d和赔率比效应量理解存在广泛的误解，包括范围定义不清和错误的语义解读（如将赔率比误解为概率比）。
  2. 研究者对效应量大小和实际重要性的判断与Cohen提出的标准不一致，并且容易受上下文和其他统计数值（如p值）的影响。
  3. 不同研究背景（HCI vs USP）的研究者对效果的重要性判定未表现出明显差异。

• 与现有解决方案相比，它有哪些优势？

  1. 作者提出了全面的效应量报告改进建议，包括结合背景情境和解释发生实际影响的原因。
  2. 引入了标准化效应量与直接数值效应量报告的双轨制，以增强读者的直观理解。
  3. 提议数据可视化和置信区间的使用，帮助更好地解读统计结果的不确定性。

• 实验或评估结果是什么？

  1. 在访谈与调查中，超过三分之一的参与者表现出对效应量的基本误解，尤其是在解释赔率比时。
  2. 研究者的“重要性阈值”在各种情境中大不相同，表明效应量的判断缺乏一致性且容易依赖情境。
  3. 提出的改进建议基于既有科研方法和报告实践，并得到了参与者和统计专家的广泛支持。

• 局限性与未来方向

  1. 局限性：
     • 调查研究样本有限，主要集中在参与CHI和SOUPS会议的研究人员，代表性不足。
     • 仅研究了两种效应量（Cohen’s d和赔率比），未覆盖其他效应量及统计实践中的复杂情形。
  2. 未来方向：
     • 扩展对其他效应量的研究，探索其在不同领域（例如医学或教育）的适用性与误解模式。
     • 开发交互式教学工具及模板，帮助研究者更好地理解与报告效应量。
     • 评估改进建议对HCI和USP领域论文质量的实际影响，例如论文透明度和这些领域内的再现性。