拆解LLM供应链中的信任动态：一项实证探索以促进可信的LLM生产和使用

研究背景与问题

• 发现的问题或挑战: 本研究指出，现有关于人工智能（AI）信任的研究通常集中于有限的信任关系（如终端用户与AI系统之间），而缺乏对现实世界复杂信任关系的实证探索，尤其是在人工智能供应链的背景下。这些供应链涉及多个技术工件（如训练数据、基础模型）和决策节点（如模型开发、部署和使用），复杂的信任动态影响AI系统的生产和采用。

• 问题的重要性: 在大型语言模型（LLMs）供应链中，信任可能对其生产和使用的责任性及其对技术输出的信任度产生深远影响。如果这些信任未得到妥善管理，可能会导致不准确或未校准的信任，从而引发使用盲点或滥用技术的风险。

• 研究动机与相关工作: 本研究受到组织心理学领域的启发，扩展了信任考量的范围，重点探讨了AI系统所依赖的供应链中各种信任动态之间的复杂关系。过去的研究多聚焦于单一组织内部或用户与AI系统之间的互动，本研究则试图填补AI供应链中信任关系研究的空白。

解决方案

• 提出的方法或解决方案: 作者通过对71位LLM供应链实践者的半结构化访谈（总时长超过3600分钟），采用信任的视角探索其协作实践，以揭示广泛的信任关系和互动动态。

• 创新之处:

  • 首次系统性地研究AI供应链中跨组织和跨人际的信任动态。
  • 不仅关注技术工件，还探讨了组织间参与者的互动信任关系。
  • 强调多种信任对象（包括技术工件、组织和人员）之间的相互依赖和复杂性。

• 实施步骤与关键技术:

  1. 访谈设计与数据收集: 通过问题问卷和半结构化访谈了解供应链中不同角色的信任行为与决策模式。
  2. 数据分析: 使用反思性主题分析技术，将访谈记录编码，并通过信任框架（如能力、仁慈和诚信模型）以及组织心理学理论进行解读。
  3. 主题提炼: 收敛出三个核心主题，即针对技术工件的信任、跨人的信任关系及其在供应链节点中的相互作用。

研究成果

• 取得的具体成果:

  • 揭示了LLM供应链中信任关系的多样性，包括个人信任、组织间信任与更广泛的技术信任（如对AI技术和学术研究的信任）。
  • 阐明了供应链中信任的核心因素（如技术能力、组织诚信和透明性）如何影响信任关系。
  • 发现供应链的动态和复杂性可能导致“盲信”或“不信任”的现象，例如供应链中的责任边界模糊会加剧信任误判。

• 与现有解决方案的比较:

  • 相比于仅关注用户与AI系统的信任研究，本研究扩展了视野，将AI供应链的社会技术视为研究背景。
  • 强调需要将信任动态融入贯穿AI全生命周期的设计和治理。

• 实验或评估结果: 实证访谈揭示供应链中的信任关系在不同节点的表现差异，例如供应链上游组织常常依赖下游的使用者反馈，而下游消费者对模型提供商建立的透明性工具存在高度依赖。

• 局限性与未来方向:

  1. 局限性:

     • 本研究样本集中于私营部门，缺乏其他行业（如公共部门）的数据。
     • 访谈对象可能未能涵盖供应链中所有相关角色（如基础模型开发者）。
     • 由于供应链复杂性，根据供应链场景的变化，信任动态可能有所不同。

  2. 未来方向:

     • 扩展研究范围以涵盖更多行业与供应链参与者，验证信任动态的普适性。
     • 探索信任行为和供需双方权力动态之间的关系。
     • 设计用于支持供应链信任校准的透明性工具和方法。

总结

本研究通过扩展信任研究范围，揭示了LLM供应链的各种信任关系及其对AI生产与使用的影响。作者强调了信任误判现象的潜在风险，提出了促进责任性和校准信任的新可能性。未来研究应进一步深化对供应链复杂性以及信任补偿机制的理解，同时为AI政策制定和供应链治理提供实证依据。