走向生活叙事评论：关于更新计算机研究调查文章的过程和挑战的经验研究

研究背景与问题

• 问题或挑战：
  学术研究中，综述性论文是建立知识基础的重要工具，但由于创建这些论文的过程资源密集且容易随时间过时，它们常面临信息陈旧和不准确的挑战。文献表明，一些综述在发表时可能已过时，而25%以上的综述需要在发表后两年内更新。

• 重要性：
  信息陈旧可能导致学者遗漏研究机会，或者误导决策者。维持综述论文的时效性能够更好地反映最新研究动态，增强其科学价值和适用性。

• 研究动机与相关工作：
  提出的“动态综述”概念旨在解决这个问题，但现有研究多集中于“动态系统综述”，而对涉及专家解释和概念提炼的半系统综述和叙述性综述的更新支持研究有限。此外，随着人工智能尤其是大语言模型的发展，这些技术有潜力改善文献发现、评价以及更新流程。

解决方案

• 作者提出的解决方案：
  研究通过与11位计算领域综述论文作者的深度访谈，分析其撰写和更新综述的实际工作流程以及面临的障碍，试图确定可以改进更新效率和效果的关键技术和方法。

• 创新之处：
  作者区分了三种更新类别——实证更新、结构更新和解释更新，并探讨了如何通过人工智能辅助这些更新类别以降低成本和提升效率。这种明确分类及对AI辅助潜力的分析是之前研究未充分探讨的领域。

• 实施步骤及技术：

  1. 访谈与数据采集

     • 选择过去1-3年内发表的综述论文作者，并进行半结构化访谈以了解其撰写和更新实践。
     • 访谈包含开放性问题，主要追踪文献搜索、筛选、编码、撰写及修订的详细过程。

  2. 数据分析

     • 通过主题分析方法对数据进行编码与归类，并归纳出高层次的主题。

  3. 解析AI支持的潜力

     • 分析作者对AI在自动化、协同及“第二意见”角色中的看法。
     • 提出AI工具可用于支持动态综述更新的具体功能，例如辅助文献查找、数值更新及趋势预测。

研究成果

• 具体成果：

  • 确定了撰写综述文章的四项核心工作流程（搜索文献、评价质量、组织与分类、解释与合成）及其面临的挑战。
  • 分析了动态综述的三种更新类型——实证更新、结构更新和解释更新，每种类型都存在独特的挑战和AI支持机会。
  • 提供了AI支持更新流程的具体建议，如自动化数值更新、文献筛选辅助以及趋势和领域变化的揭示。

• 与现有解决方案相比的优势：

  • 提出了关注计算综述文章这一半系统更新的实际需求，而非单纯聚焦于更标准化的系统综述。
  • 深入探讨了包括AI在内的技术手段如何弥补学术界缺乏更新激励机制的不足。

• 实验或评估结果：

  • 通过访谈发现，研究者认为更新综述对学术社群有巨大价值，但因学术激励机制不足以及更新过程费时费力，长效更新难以推行。
  • 人工智能被认为有助于处理重复性任务，但难以胜任需要深刻理解与批判性思维的创造性任务。

• 局限性与未来方向：

  • 局限性：

    • 研究主要是基于研究者的回忆进行的访谈，可能存在回忆偏差。
    • 仅限于计算领域的研究，未能全面覆盖其他学科。

  • 未来方向：

    • 开展实时观察研究，直接记录研究者在更新综述过程中的实践。
    • 探讨综述文章的读者需求，开发交互性更强的“动态综述”输出形式。
    • 设计混合式系统，利用作者明确的文献搜索及解释策略，增强AI在支持动态综述更新中的功能。

综上，本文提供了关于“动态叙述性综述”的重要见解，明确了阻碍更新的关键问题，同时提出了以AI为助力的潜在解决方案，为开发更高效的更新系统铺平了道路。