对抗性对话 AI 中心理操纵的伦理：直面认知-行为差距

DOI

由大型语言模型驱动的对话AI系统已快速发展出类似人类的说服能力，引发心理操纵担忧。这篇 provocation 审查了这些系统在与用户交互时利用认知偏差和社会顺从机制所产生的伦理问题。基于已建立的理论工作和最近的实证研究，我们识别出一个特别令人担忧的模式：认知-行为差距，即用户有意识地识别出操纵策略却未能相应保护自己。当前伦理框架在应对对话情境中这些复杂风险方面存在不足。本文不再提出另一个综合框架，而是确定了五个基本维度，以扩展现有方法来应对认知-行为差距：通过结构设计保留用户自主权、实施超出认知的防护措施、开发情境敏感的伦理、确保角色一致性和透明度，以及建立持续漏洞监测。这篇论文直接面对这些伦理挑战，并呼吁采取实际保护措施，在对话AI日益普及于日常生活时保障用户自主权。