FAIR：定位AI在编程竞赛中的角色——理解LLM如何改变竞技编程格局

文献标题

FAIR: Framing AI’s Role in Programming Competitions — Understanding How LLMs Are Changing the Game in Competitive Programming

出版信息

• 主题领域: 大型语言模型（LLMs）对竞赛编程工作流程、公平性和治理的影响。
• 关键词: 竞赛编程、大型语言模型、公平性、治理、工作流程、作弊、Codeforces、ICPC、AI辅助编程。

背景与问题

• 问题/挑战: LLM的兴起正在重塑竞赛编程，带来了在比赛中维护公平性、完整性和可信度的挑战。此前的研究主要关注LLM的性能，但缺乏对人类利益相关者如何适应这些变化的深入洞察。
• 重要性: 竞赛编程是学术界和工业界的重要教育工具和人才培养渠道。确保比赛的公平性和可信度对于保持其教育和职业价值至关重要。
• 动机与相关工作: 先前的研究探讨了AI在教育和编码基准中的应用，但尚未涉及其对竞赛编程工作流程、公平性规范或治理的影响。本论文通过研究利益相关者的反应并提出治理措施来填补这一空白。

解决方案

• 提出的方法: 借鉴国际象棋的治理框架，结合异常检测、专家评审、社区监督和比例制裁，以应对竞赛编程中的公平性和可信度挑战。
• 创新点:
  1. 提供关于LLM如何重塑参赛者、题目设计者、教练和平台管理者工作流程的实证洞察。
  2. 分析公平性规范以及合法辅助与作弊之间的争议界限。
  3. 借鉴棋类运动（如国际象棋和围棋）的治理经验，提出保障比赛完整性的治理措施。
• 程序与关键技术:
  • 采访了37位利益相关者（参赛者、题目设计者、教练、平台管理者），并对207位参赛者进行了全球调查。
  • 分析了Codeforces平台级数据（336场比赛，6400万次提交），以识别AI辅助工作流程的行为代理。
  • 将研究结果综合为可操作的治理措施，包括基于评分的异常检测、社区驱动的监督以及透明的制裁梯度。

结果

• 具体发现:
  • 参赛者在赛后复盘和日常训练中大量使用LLM，但由于严格的规则和诚信规范，在比赛期间避免使用。
  • 题目设计者将LLM用于低创造性任务，如题目陈述润色、双语翻译和解题检查，但不用于创意构思。
  • 教练在团队选拔中侧重筛查AI滥用行为，而平台管理者面临监控和检测方面的日益增长的压力。
  • 行为代理（如Python使用比例、时间一致性）表明工具辅助工作流程的广泛转变，即使官方制裁率仍然较低。
• 相较基线的优势: 提出的治理框架通过结合自动检测、专家评审和社区监督，弥补了当前执法中的空白，确保公平性，同时最大限度地减少误报。
• 实验/评估:
  • 通过采访和调查捕捉了利益相关者对工作流程、公平性和治理的观点。
  • 平台级分析提供了关于制裁率和行为趋势的定量洞察。
  • 治理建议借鉴了国际象棋和围棋社区的经验教训。
• 局限性与未来工作:
  • 样本偏向东亚和男性参与者；未来研究应扩大人口统计学代表性。
  • 对Codeforces管理者的接触有限；与其领导层的合作是优先事项。
  • 社会期望偏差可能导致作弊行为的低报告；未来研究可通过社交媒体分析捕捉新兴实践。
  • 行为代理是描述性趋势，而非AI使用的直接证据；需要纵向研究以区分生态系统的整体变化与AI特定影响。

总结

本文研究了LLM如何改变竞赛编程，重点关注工作流程、公平性和治理。参赛者在训练和复盘中使用LLM，但在比赛期间避免使用；题目设计者和平台管理者将其整合到低创造性任务和检测工作流程中。研究揭示了公平性规范的争议以及隐蔽的AI辅助作弊行为。作者借鉴国际象棋和围棋的经验，提出了结合异常检测、专家评审、社区监督和比例制裁的治理框架，以保障比赛的完整性。未来工作应扩大人口统计学包容性，优化检测方法，并解决AI在STEM竞赛中的不断演变角色。