记分板：对CHI社区如何评价其里程碑的定量分析

研究背景与问题

• 发现的问题与挑战: 作者指出，随着HCI领域的不断变革与其研究议题的减速更新，CHI社区对历史重大贡献的关注正逐渐减弱。引用“遗忘曲线”表明，这些知识里程碑正在从社区的记忆中逐渐淡去。
• 为什么重要: 这些里程碑不仅是学科发展的基石，还提供了对于未来研究方向的关键指导。如果这些成果被忽视，可能导致社区未来研究失去历史积淀的支持。
• 研究动机:
  • 近年来CHI的变化（如发表数量增长与研究领域的分化）模糊了社区知识焦点。
  • 作者希望定量分析CHI社区如何关注过去的贡献，并引发对知识记忆与学术影响的反思。

解决方案

• 提出的方法与解决方案:
  • 作者构建并分析“遗忘曲线”，量化CHI社区对其历史里程碑贡献的引用趋势。
  • 提出了“里程碑系数”（Milestone Coefficient），作为衡量里程碑论文影响力的连续指标。
• 创新之处:
  • 通过引入“遗忘曲线”和“里程碑系数”，研究在指数量化层面捕捉学术社区记忆的动态变化。
  • 提出基于引用密度和时间动态的新度量手段，使得对研究成果影响力的评估更加精确。
• 实施步骤和关键技术:
  1. 收集1981-2024年间CHI论文（共11,542篇）的引用数据。
  2. 使用增长调整后的“遗忘曲线”分析每年对过去论文的引用比例。
  3. 定义和分析排名前30及前300作为CHI贡献“里程碑”的主要论文。
  4. 使用动态时间对齐聚类等技术区分里程碑类型，并开发“里程碑系数”以生成定量影响力指标。

研究成果

• 具体成果:
  • 主要发现: 社区对里程碑论文的关注多集中在其发表后5-15年之间，随后逐渐减弱。
  • 里程碑类型: 提出的三种里程碑类型：
    1. "超级里程碑" (如2006年提出的Thematic Analysis)，仍持续增长。
    2. "衰退型里程碑"，曾被广泛引用，但当前被逐渐遗忘。
    3. 稳定型里程碑，被持续引用但未达到“超级”水平。
  • 提供了前300篇里程碑贡献论文的分类及详细统计。
• 与现有方案的优势:
  • 比传统的基于总引用量的指标更能捕捉论文被引用的时间动态特征。
  • 对里程碑论文因时间推移被阶段性“遗忘”的现象提供了详实解释。
• 实验或评估结果: 测试使用的“遗忘曲线”和“里程碑系数”成功刻画了社区引用行为趋势；如发现社区自2004年以来偏向于引用当下较新的研究，并在不同里程碑类型之间揭示了显著的长尾分布特征。
• 局限性与未来方向:
  • 局限性:
    • 分析范围局限于CHI大会，未覆盖整个HCI学科。
    • 数据处理存在文本引用错误以及“作者名”解析不足等问题。
    • 当前方法难以捕捉短期引用高峰但后期被遗忘的成果。
  • 未来方向:
    • 扩展研究至HCI的其他子社区及会议。
    • 更精确的作者和论文识别技术。
    • 考察新兴研究对经典里程碑的替代作用。