更优假设，更强结论：HCI中有序回归的案例

文献标题

Better Assumptions, Stronger Conclusions: The Case for Ordinal Regression in HCI

出版信息

• 主题领域: HCI研究中用于分析序数据的统计方法
• 关键词: 序数据, Likert量表, HCI, 统计分析, 累积链接模型, 序回归, 参数方法, 非参数方法, CLMM, CLM

背景与问题

• 问题/挑战: HCI研究中缺乏对分析序数据的适当统计方法的共识，导致实践不一致以及可能的洞察错误。
• 重要性: 序数据（如Likert量表项的响应）在HCI中广泛用于测量主观现象。正确的分析对于得出准确且可重复的洞察至关重要。
• 动机与相关工作: 之前的研究强调了参数方法（如ANOVA）和非参数方法（如Friedman检验）在序数据分析中的局限性，特别是由于度量假设。然而，在HCI中更适合的方法（如累积链接（混合）模型，CLM/CLMM）的采用仍然有限。

解决方案

• 提出的方法: 本文倡导在HCI中使用累积链接（混合）模型（CLM/CLMM）来分析序数据，利用其能够将序数据视为分类数据，同时考虑其固有排序的能力。
• 创新点:
  1. 对HCI中序数据统计实践的全面回顾，识别不一致性和局限性。
  2. 详细解释CL(M)M的理论和数学基础。
  3. 使用开源HCI数据集和R软件对CL(M)M进行实际演示。
  4. 提供关于CL(M)M结果报告和解释的建议。
• 流程与关键技术:
  • 回顾94篇CHI 2024论文以评估用于序数据的统计方法。
  • 解释CL(M)M，包括其潜变量模型、切点和假设。
  • 使用CL(M)M重新分析两个HCI数据集，以说明其应用及其相对于传统方法的优势。

结果

• 具体发现:
  • 在HCI中，非参数方法的使用次数多于参数方法（362次对165次），但许多方法强加了度量假设（如ART-ANOVA, Wilcoxon符号秩检验）。
  • CL(M)M的使用非常少（样本中28个预测模型中仅10次）。
  • 使用CL(M)M重新分析数据集揭示了传统方法未发现的重要效应（例如学习条件对SIM-TLX子量表的影响）。
• 相较基线的优势:
  • CL(M)M提供了比非参数方法更大的统计功效，并避免了参数方法的不兼容假设。
  • 它们适当地将序数据建模为具有排序的分类数据，保留信息而不强加度量假设。
• 实验/评估:
  • 回顾94篇CHI论文以量化统计实践。
  • 使用R对Fitton等人和Chen等人的数据集进行CL(M)M重新分析。
  • 将CL(M)M结果与传统方法（如ANOVA和Friedman检验）进行比较。
• 局限性与未来工作:
  • CL(M)M需要对潜变量、比例几率和方差相等进行假设，这些假设必须经过测试并在必要时放宽。
  • 对转化为区间/比率尺度或具有大量类别的序数据适用性有限。
  • 未来工作可以探索CL(M)M的贝叶斯实现，并解决将这些模型应用于复杂HCI数据集的挑战。

总结

本文强调了HCI中序数据统计方法使用的不一致性，并倡导累积链接（混合）模型（CL(M)M）作为更适合的替代方案。通过对CHI论文的回顾以及开源数据集的重新分析，作者证明了CL(M)M通过将序数据视为具有排序的分类数据，避免了参数和非参数方法的局限性。尽管CL(M)M需要特定假设，其在保留数据完整性和提高统计功效方面的优势使其成为HCI研究人员的宝贵工具。本文提供了关于CL(M)M应用和解释的实用指导，旨在规范并改善该领域的序数据分析。