青少年安全 AI 伙伴原则：家长和专家视角

文献标题

Principles of Safe AI Companions for Youth: Parent and Expert Perspectives

出版信息

• 主题领域: 青少年与生成式人工智能伙伴互动中的安全问题。
• 关键词: AI伙伴、青少年安全、发展心理学、家长调解、风险评估、生成式人工智能、对话代理、在线安全、利益相关者视角、干预设计。

背景与问题

• 问题/挑战: 当前的AI伙伴缺乏足够的安全措施来应对青少年在发展过程中可能面临的风险及有害互动，例如情感依赖、不适当内容以及有害规范的正常化。
• 重要性: 青少年由于其发展阶段的特殊性，尤其容易受到影响，而与AI伙伴的有害互动可能会塑造其社会、情感和道德发展。
• 动机与相关研究: 先前研究强调了AI与人类互动中的风险，例如性骚扰、情感依赖以及界限模糊，但缺乏关于家长和专家如何评估这些风险或推荐哪些安全措施的实证研究。本文通过让这些利益相关者参与评估真实的青少年与AI互动，填补了这一研究空白。

解决方案

• 提出的方法: 通过26次半结构化访谈，邀请家长和发展心理学专家评估青少年与AI互动的风险、益处及干预措施。
• 创新性:
  1. 首次通过真实对话数据开展实证研究，探讨多方利益相关者对青少年与AI互动的看法。
  2. 识别出分层的情境因素以及家长与专家在风险评估逻辑上的差异。
  3. 提出利益相关者建议的系统设计原则、互动安全措施及社会参与干预方案。
• 流程与关键技术:
  • 收集了来自Character.ai的253条真实青少年与AI的对话记录，并选取了8段具有多样性的片段供审阅。
  • 对8位家长和13位专家进行了访谈，重点探讨他们对风险、益处及干预策略的看法。
  • 使用混合的归纳-演绎编码方法对访谈记录进行主题分析。

研究结果

• 具体发现:
  • 家长将单一事件（如提及自杀、调情）视为高风险，而专家更关注长期模式（如反复提及自残、情感依赖）。
  • 两组均认为青少年年龄、AI角色年龄、互动频率以及AI模拟行为等情境因素在风险评估中至关重要。
  • 益处包括提供一个安全的自我表达空间、练习社交技能以及学习健康的界限。
• 相较基线的优势: 提供了关于青少年与AI互动的细致、多方利益相关者的洞察，超越了以往依赖假设情景或单一利益相关者视角的研究。
• 实验/评估:
  • 参与者审阅匿名对话片段，并就风险、益处及期望的干预措施提供反馈。
  • 分析揭示了家长与专家在风险评估逻辑和干预偏好上的显著差异。
• 局限性与未来工作:
  • 缺乏直接的青少年视角；未来研究应纳入青少年的声音。
  • 样本规模小且局限于美国，影响普适性；未来研究应扩展至全球及文化多样的背景。
  • 以定性研究为主；未来可结合混合方法或纵向研究。

总结

本研究探讨了家长和发展心理学专家如何评估青少年与AI伙伴互动的风险和益处，并使用真实的对话数据进行分析。家长更关注即时风险和价值观的一致性，而专家则侧重于发展技能的获取和有害模式的识别。两组均倡导分层的安全措施，包括系统级透明性、互动级监控以及情境感知的干预。研究结果强调了设计个性化、发展导向及家庭敏感型AI系统的必要性，以平衡青少年的自主性与安全性。未来研究应纳入青少年的视角，并在更广泛的背景下测试所提出的干预措施。