AI使用的低报：社会期望偏差的作用

文献标题

Underreporting of AI Use: The Role of Social Desirability Bias

出版信息

• 主题领域: 教育环境中人工智能采纳的测量与社会动态。
• 关键词: 人工智能采纳、社会期望偏差、间接提问、自我报告偏差、生成式人工智能、教育政策、调查方法、污名化、同伴认知、组织规范。

背景与问题

• 问题/挑战: 关于人工智能采纳的自我报告调查结果不一致，差异高达40个百分点。社会期望偏差（SDB）可能会扭曲这些测量结果，导致人工智能使用的低报或高报。
• 重要性: 准确测量人工智能采纳情况对于制定有效政策、促进负责任使用以及解决教育和组织环境中的社会规范至关重要。
• 动机与相关工作: 以往研究记录了在敏感话题（如合规性和伦理）中存在社会期望偏差，但现有的人工智能使用测量方法未能考虑到SDB。心理学中的间接提问方法提供了一种可能的纠正方式，通过引导参与者报告同伴行为来获取更真实的数据。

解决方案

• 提出的方法: 使用间接提问方法测量人工智能采纳情况，同时减轻社会期望偏差的影响。
• 创新点:
  1. 展示间接提问方法如何揭示自我报告与同伴报告之间的差异。
  2. 提供定性证据，将报告差距与人工智能相关的污名和社会规范联系起来。
  3. 提出基于揭示的社会动态调整人工智能政策的建议。
• 程序与关键技术:
  • 进行了两次调查：一次针对338名大学生的代表性样本，另一次针对96名学生的后续样本。
  • 参与者报告了自己的人工智能使用情况（直接提问）以及同伴的人工智能使用情况（间接提问）。
  • 使用逻辑回归和自由文本响应的定性编码分析报告差距。
  • 探讨报告差距的其他可能解释，例如可得性偏差和信息不对称。

结果

• 具体发现:
  • 自我报告的人工智能使用率为60%，而同伴报告的使用率为90%，揭示了40%的差距。
  • 逻辑回归确认报告差距具有统计显著性（p < 0.001）。
  • 79%的参与者将差距归因于低报自己的使用情况，70%的人将尴尬或污名化列为主要原因。
• 相较基线的优势: 间接提问揭示了传统自我报告方法无法捕捉的偏差，为人工智能采纳率和社会规范提供了更细致的理解。
• 实验/评估:
  • 调查1：芝加哥大学的代表性样本，使用直接和间接提问。
  • 调查2：通过Prolific平台进行后续调查，探索报告差距背后的机制。
  • 评估指标：人工智能依赖性、使用频率以及报告差距的定性解释。
• 局限性与未来工作:
  • 样本偏向于私立大学的富裕学生，限制了结果的普适性。
  • 社会期望偏差在非教育环境（如企业）中的表现可能有所不同。
  • 未来研究应在不同机构和环境中复制该方法。

总结

本研究探讨了社会期望偏差如何扭曲人工智能采纳的自我报告测量。通过间接提问，研究人员发现大学生自我报告的人工智能使用率（60%）与同伴报告的使用率（90%）之间存在显著差距，主要由污名化和对学术诚信的担忧驱动。定性分析突出显示了尴尬、羞耻和可得性偏差是报告差距的关键因素。研究结果表明，当前关于人工智能采纳的统计数据可能不可靠，这对教育和组织环境中的政策设计具有重要影响。间接提问提供了一种纠正方法，使机构能够更好地理解社会规范，并战略性地规划人工智能的整合和培训项目。