大型语言模型在质性研究中的应用：用途、张力与意图

研究背景与问题

• 问题与挑战：

  • 论文关注大语言模型（LLMs）在定性研究中的使用、潜在张力及伦理问题。虽然LLMs被认为可能增强定性研究，但其适用性、伦理性及与定性研究目标和价值观的契合仍存疑。
  • LLMs作为通用工具，允许灵活处理文档如总结和注释，而这可能过于偏向自动化，削弱研究者与数据之间的深入接触。
  • 当前指导定性研究中使用LLMs的伦理和技术规范尚处于起步阶段，快速发展的技术可能与研究价值观，如深度理解和参与性，产生冲突。

• 重要性：

  • LLMs在提高效率中的潜力引发关注，但缺乏框架去确保其与参与者隐私保护和伦理要求兼容。
  • 人工智能工具正迅速普及，迫切需要研究者仔细评估其对于既有研究方法的影响，以免滑向过度依赖技术的“实证主义”路径。

• 研究动机与相关工作：

  • 论文试图填补LLMs在定性研究角色的探索空白，回应学界长期以来对于定性与定量方法张力的讨论。
  • 借助现有工作，如人类与AI协作的研究，本文旨在聚焦LLMs如何改变定性研究流程以及由此带来的哲学和实践挑战。

解决方案

• 方法或解决方案：

  • 论文通过访谈法研究了20名定性研究者如何采用、思考和评价LLMs，以揭示其当前用途、惑点及潜力。
  • 提出了研究者在借助LLMs过程中面临的伦理困境以及解决这些困境的初步建议。

• 创新之处：

  • 强调了LLMs与定性研究价值（如参与深度、数据接触）的潜在张力，并探索LLMs如何与参与者隐私保护、伦理考量及研究目标相契合。
  • 提出了具体的设计原则，用于构建能够支持研究者深度参与与数据互动的人工智能工具。

• 实施步骤与关键技术：

  • 研究通过半结构化访谈收集数据，采用基于归纳法的主题分析框架提取核心主题。
  • 数据分析过程通过Dedoose协作处理平台完成，注重研究过程中确认代码和研究结果的一致性。

研究成果

• 具体成果：

  • 当前LLMs在定性研究中的应用集中于生成访谈材料、数据检索和编码中的初步辅助，但在深度分析和复杂数据解释方面仍有局限。
  • 访谈揭示了研究者对LLMs带来的隐私、偏见和伦理等问题的深切关注，提出应强化研究工具对隐私保护和数据透明度的支持。
  • 提出了研究者的具体指南，包括任务选择的意图性、隐私保护的优先级及LLMs性能的验证等。

• 与现有解决方案的比较：

  • 与早期的人工智能辅助研究工具相比，LLMs的自然语言交互和灵活性促进了研究者与工具间的协作，但也削弱了许多定性研究者希望保持的经验与数据的密切关系。

• 实验或评估结果：

  • 数据显示，虽然许多研究者对技术表示好奇，但面临时间、技能与工具选择上的障碍。
  • 多数参与者希望在LLMs应用上保持主动性，例如在模型调用或生成主题上人工参与较深。

• 局限性与未来方向：

  • 局限性：
    • 参与者主要来自北美高等教育机构，可能未能代表非西方或更为局部的学术视角。
    • 研究聚焦在现有工具如ChatGPT，而未深入探讨完全可控的开源模型生态。
  • 未来方向：
    • 探索跨文化研究中LLMs的潜力与挑战，尤其对于语言与文化背景多样的群体。
    • 构建参与者隐私保护最优化的开放性LLM工具，并提供对其集成方法的指导。
    • 系统化验证框架以帮助研究者评估LLMs性能，同时推动研究工具透明化。

总结

本文为定性研究者提供了理解和评估LLMs使用的清晰框架，对其可能的机会和局限性进行了全面讨论，并提出了设计可以更有效支持定性研究价值的人工智能工具的原则。这些建议为学界未来进一步发展工具和规范化LLMs在研究中的使用奠定了基础。