人工包容的幻觉

文献标题

The Illusion of Artificial Inclusion

文献信息

• 主题领域: 人类参与、生成式人工智能与大型语言模型在社会行为学研究及技术开发中的替代作用
• 关键词: 人类参与, 语言模型, 生成式AI, 参与, 用户研究, AI开发, 代表性, 包容性, 理解

研究背景与问题

• 作者发现的问题或挑战
  近年来，随着生成式人工智能（特别是大型语言模型）能力的增强，许多研究建议用这些模型代替人类参与者，以降低成本、增强数据收集效果等。然而，这些替代提议忽视了与“人类参与”相关的核心价值观，包括代表性、包容性和理解。这些问题是现代社会行为学研究和技术开发中的关键挑战。

• 为什么这个问题很重要？
  人类参与是心理学、人机交互、用户研究等领域的基础。其真实参与不仅是收集数据的手段，更是赋权个人和群体、确保社会正义和公平的重要责任。替代这些参与者可能破坏科学研究的基础，并导致数据产生偏倚，同时也可能削弱关于人类行为的理解。

• 研究动机与相关工作
  作者系统性回顾了有关替代人类参与的提议，涵盖技术报告、学术论文及其他产品，梳理替代的动机及其局限性，探索这些提议与社会科学和AI开发核心价值观的冲突。本研究旨在明确替代方案的潜在问题，为未来的多样化、包容性技术开发提供指导。

解决方案

• 作者提出的方法与解决方案
  作者批判性考察了替代人类参与的提议，强调当前替代提议忽视了核心的社会和科学价值观，并建议实践需要以人类参与者为中心。为达成这一目标，未来研究可以引入更多代表和监督机制，以更高质量且符合伦理的方式进行技术开发。

• 该解决方案的创新之处
  解决方案将“代表性”和“包容性”定义为技术开发与用户研究的核心价值，并提出替代方案可以与这些价值共同作用，而不是完全取代人类参与。其中强调，大型语言模型可以作为补充，而非替代性的工具。

• 实施步骤/关键技术

  1. 在生成式AI替代实验中建立明确的评估框架，以妥善处理偏见和误导性信息。
  2. 建立“持续参与”机制，以确保人类能够对替代方案进行监督和反馈。
  3. 与真实参与者共同设定研究议程，让其具有参与权并影响过程中的重要决策。
  4. 开发符合伦理的标准以限制替代方案对数据多样性及参与者权益的潜在损害。

研究成果

• 具体成果
  本研究明确了替代提议的四种动机：提高研究和开发速度、减少成本、增强数据多样化以及保护参与者免受潜在伤害。与此同时，研究揭示了这些提议的技术和社会局限性，以及它们在实践中与核心价值观的内在冲突。

• 相比现有解决方案的优势
  本研究不仅考察了生成式AI替代方案的潜在技术优势，还深入剖析其伦理与科学层面的缺陷。这种全面的分析方式将有助于为未来社会行为学研究和技术开发中人类参与的设计提供关键指导。

• 实验或评估结果
  作者通过回顾相关文献，发现虽然生成式AI具有加速研究、降低成本等潜力，但技术局限（如幻觉风险、无法反应社会和文化变迁）弱化了其应用前景。同时，替代提议违背了科学研究关于跨主体理解的基础。

• 局限性与未来方向

  1. 当前的生成式AI无法完全确保模拟结果的准确性，特别无法捕获人类群体中不同的意见和细微差别。
  2. 替代提议无法替代真实的“参与”和“代表性”，冲突根植于模型本身，而非其性能改进。
  3. 建议未来研究探索AI辅助而非完全替代的模式，同时增强人类在开发过程中的实际参与和赋权。

总结

文章揭示了替代人类参与者的提议中存在的伦理、技术及社会性的重大问题，并提出未来的发展方向应以代表性、包容性和理解为核心。这一方向需要从议程设定到项目监控，确保人类能够在社会行为学研究与技术开发中有更多的监督和权力，同时警惕科研中对生成式AI的过度拟人化倾向。该研究提供了今后研究和技术开发过程中面向人类赋权和社会责任的重要框架。