科学组织中知识工作者的生成式AI用途与风险

研究背景与问题

• 作者发现了哪些问题或挑战？
  作者发现尽管生成式人工智能（Generative AI）具有显著的潜力，可以通过支持知识型工作者来提升科学组织的效率，但其实际应用和在科学组织中的潜在风险尚不明确。这些不确定性令科学组织在充分利用生成式人工智能的能力时面临挑战。

• 为什么这个问题很重要？
  科学组织承担着推动科学进展的使命，例如支持药物开发以及气候解决方案。如果生成式人工智能能够加速这些科学领域的研究进程，对社会将产生重要的积极影响。此外，生成式人工智能可能改变科学研究和日常运营的工作方式，这对知识型工作群体的效率和安全都至关重要。

• 研究动机与相关工作
  研究动机源于生成式人工智能在科学工作场景中的未研究领域以及潜在风险的高度关注。现有文献重点研究了生成式人工智能在编码、自动化科学任务等领域的优势，但对科学工作的整体影响以及科学与运营之间的交互关注较少。此外，针对隐私与安全风险的研究较少，尤其是在像科学组织这样敏感的数据环境中。

解决方案

• 作者提出了哪些方法或解决方案？
  作者通过对美国国家实验室的调查和实例研究，分析了生成式人工智能当前和未来的实践应用及风险。他们设计了一项包含问卷调查（N=66）、访谈（N=22）以及针对一个内部生成式人工智能工具——Argo的使用数据收集的研究来解决问题。

• 该解决方案的创新之处是什么？
  作者的研究在以下几个方面有突破性贡献：

  1. 收集了组织范围内部署内部生成式人工智能工具的数据，提供了实际应用的见解分析。
  2. 将生成式人工智能的用户场景分为“两种交互模式”——“Copilot（协作伙伴）”和“Workflow Agent（工作流代理）”。
  3. 研究了科学与运营员工对生成式人工智能风险的独特视角。
  4. 提供了针对科学及知识型工作组织设计生成式人工智能工具的多个具体建议。

• 实施步骤是什么？使用了哪些关键技术？

  1. 问卷调查： 调查了员工对生成式人工智能的熟悉程度、使用模式、以及担忧的具体领域（如隐私和安全）。
  2. 访谈： 进行了深度半结构化访谈以限定和更详细地描绘生成式人工智能的应用情境与风险。
  3. Argo工具使用数据分析： 收集并统计研究期间使用Argo的元数据，以分析早期用户行为和趋势。
  4. 基于这些数据，作者对生成式人工智能应用提出了设计建议和未来研究方向。

研究成果

• 取得了哪些具体成果？

  1. 使用数据： 尽管只有不到10%的实验室员工在研究期间每月使用Argo，但使用人数呈上升趋势。生成式人工智能的实际应用在科学任务和运营任务中均有所发展。
  2. 交互模式分类： 当前应用被归类为“协作伙伴”，侧重于与用户实时对话和帮助完成具体任务；未来应用被设想为“工作流代理”的形式，能够完成较为复杂的自动化任务。
  3. 用户案例： 作者提供了明确的案例，涵盖在科学团队中自动化实验和数据分析，以及运营团队中的任务管理和自动化项目规划。
  4. 风险： 存在生成式人工智能的不可靠性、过度依赖、隐私与数据安全问题、学术出版的担忧以及对工作岗位的潜在影响。

• 与现有解决方案相比，它有哪些优势？
  此研究填补了生成式人工智能在科学组织中的具体工作场景和运营环境中的应用研究空白，并针对两种类型的员工（科学与运营）进行了直接比较与分析，揭示了现有生成式人工智能工具（如ChatGPT）应用不足的问题，以及内部定制工具的优势。

• 实验或评估结果是什么？

  • “Argo”作为内部生成式人工智能工具显示出增长的使用趋势并且受到员工欢迎，表明一个安全的特定域工具可能比外部工具更适合科学机构。

• 局限性与未来方向
  局限性：

  • 研究仅限于一个单一科学组织，外界生成式人工智能工具使用情况未能明确统计。
  • 受访者代表性可能存在偏差，研究样本主要来自早期采用者，他们对生成式人工智能表现出积极兴趣。
  • 性别与种族代表性偏低，后续研究需要纳入更多样化受众。

  未来方向：

  • 针对科学组织背景设计更强大的生成式人工智能，尤其是能够处理复杂科学仪器的工作流代理。
  • 制订清晰的学术出版规范以解决生成式人工智能应用中的引用、内容可靠性等问题。
  • 加强AI在业内招募与技能选择的透明性，并研究其长期社会影响。
  • 开发更通用的模板化工具和工作流代理以适应广泛的组织需求。

通过该研究，作者提出了生成式人工智能在科学组织中的潜力，同时指出了在优化可靠性以及管理风险方面的必要步骤。这对于生成式人工智能在科学发现及知识工作的应用具有深远意义。