理解CHI中的LLM化：通过系统文献回顾剖析LLM在CHI中的影响

研究背景与问题

• 发现的问题或挑战：作者注意到，在人机交互领域（Human-Computer Interaction, HCI），关于大型语言模型（Large Language Models, LLMs）的研究正在快速增长，但目前对这些研究的分类、使用模式和可能的局限性缺乏系统性的理解。具体而言，人们并不清楚LLMs如何在HCI论文中被应用，其贡献类型，以及学者如何评价这些模型的局限性和风险。
• 重要性：随着LLMs被认为能够革命性地改变人机交互领域，深入理解其影响至关重要。LLMs不仅重塑了界面、设计模式及社会技术系统的研究，还改变了研究人员使用的实践方法，因此，它在整个计算科学领域都具有深远影响。
• 研究动机与相关工作：鉴于HCI的研究社区正在被LLMs的热潮所塑造，作者开展了一个系统性文献综述，以探索LLMs对HCI的具体影响，识别其研究趋势以及可能的研究空白。

解决方案

• 提出的方法或解决方案：作者对2020-2024年间发表的153篇与LLMs相关的CHI（Conference on Human Factors in Computing Systems）论文进行了系统性文献综述，试图回答以下研究问题：
  1. LLMs在哪些领域及场景被应用？
  2. 研究人员如何在论文中使用LLMs？
  3. LLMs对HCI领域贡献了什么？
  4. 学者提出了哪些关于LLMs的局限性和风险？
• 创新点：作者采用了多维编码的方法，对论文中的应用领域、角色、贡献类型以及局限性与风险进行了分类和统计。这种综合分类和定量-定性结合的方法，能够系统性地揭示LLMs对HCI的多方位影响。
• 实施步骤：
  1. 收集2020-2024年CHI会议全文，筛选出包含LLMs相关研究的论文。
  2. 通过关键词筛实现初步过滤（e.g., "language model", "GPT", 等）。
  3. 采用迭代开放编码及相关技术进行论文内容分析，最终形成了关于应用场景、LLMs角色及局限性描述的分类体系。

研究成果

• 具体成果：
  1. LLMs应用领域：分类出10个应用领域，包括通信与写作、教育、编程、可靠性与有效性、健康与福祉等。
  2. LLMs的角色：确定了LLMs在HCI研究中的5种角色，如作为系统引擎、研究工具、模拟参与者/用户、研究对象，以及研究用户对LLMs的认知。
  3. 贡献类型：发现LLMs的研究主要集中于经验贡献和工具贡献，但理论和方法论贡献较少。
  4. 局限性与风险：详尽列举了22种主流限制和风险，包括性能上的问题（如幻觉、非确定性）、资源限制（如计算与金融成本），研究有效性问题，以及潜在的社会后果（如错误信息传播、偏见）。
• 优势：相比传统HCI研究，这项综述揭示了LLMs作为工具的广泛应用场景及可能的优势，同时明确了其研究中的常见问题与挑战，为后续研究提供了具体方向。
• 实验或评估结果：作者通过定性分析和高置信度的编码一致性评估，确保了分类体系的可靠性（如Krippendorff's alpha在主要分类中均接近或超过0.8）。
• 局限性与未来方向：
  1. 局限性：仅覆盖了标题和摘要中提到LLMs的论文；一些涉及LLMs但未明确标注的研究可能被遗漏。此外，还未深入探讨整合性研究主题，如跨领域的LLMs应用。
  2. 未来方向：建议进一步研究理论贡献和方法论问题，用以提升领域对LLMs的理解和标准化。此外，还呼吁HCI社区标准化对论文影响和科研伦理的考量，如通过明确的伦理声明框架反思LLMs研究的社会后果。

总结

这篇论文为理解LLMs对HCI研究的影响提供了全面的框架和分类，从应用领域到使用角色，以及局限性和未来可能的风险方面进行了系统性的剖析。通过细致的文献综述与分析，作者展现了LLMs如何改变研究实践，识别了尚未充分探索的领域，并明确了推动HCI向更理论化和规范化方向发展的具体路径。这项工作对于HCI以及更广泛的计算科学领域，具有重要的学术参考价值。