“AI 工具不会让情况更糟。”：在密码存储研究中调查开发人员与 AI 助手的安全行为

文献标题

"The AI tool can’t make it any worse." Investigating Developers’ Security Behavior with AI Assistants in a Password Storage Study

出版信息

• 主题领域: 开发者安全实践与AI辅助编程。
• 关键词: AI助手, 密码存储, 安全编码, 开发者行为, 安全指令, ChatGPT, GitHub Copilot, 可用性, 密码学, 软件开发。

背景与问题

• 问题/挑战: 开发者在没有明确指令的情况下往往忽视安全的密码存储实践，而AI助手对这些实践的影响尚不明确。
• 重要性: 安全的密码存储对于保护用户数据免受离线攻击至关重要，但不安全的实现可能使数百万用户面临风险。
• 动机与相关工作: 先前研究表明明确的安全指令具有有效性，但这些研究是在AI助手普及之前进行的。近期研究凸显了AI生成代码的潜力与风险，这需要重新评估AI辅助工作流中的既有安全干预措施。

解决方案

• 提出的方法: 两项研究——研究A（21名学生参与的定性实验室研究）和研究B（80名自由开发者参与的定量在线研究），探讨AI辅助与明确安全指令在密码存储任务中的相互作用。
• 创新点:
  1. 证明了明确的安全指令在AI辅助工作流中依然有效。
  2. 展示了AI助手如何影响开发者的安全行为和决策。
  3. 突出了对AI生成代码的信任与实际依赖之间的微妙关系。
• 过程与关键技术:
  • 参与者被分配到四种指令条件：无指令、AI指令、安全指令、安全加AI指令。
  • 数据收集包括屏幕录制、问卷调查、访谈以及基于0–7安全评分量表的代码分析。
  • 假设测试了指令和AI使用对安全评分的影响。

结果

• 具体发现:
  • 安全指令在两项研究中显著提高了安全评分。
  • 结合安全与AI指令的条件产生了最安全的结果（例如，研究A中的平均安全评分为5.1/7）。
  • AI辅助的解决方案相比非AI解决方案获得了更高的安全评分，尤其是在明确指令的情况下。
• 相较基线的优势:
  • 与AI普及前的研究相比，AI辅助工作流的安全评分平均提高了0.5分，其中一名参与者达到了学术标准的7分。
  • 任务后提供的安全指令显著提高了未接受任务前指令组的评分。
• 实验/评估:
  • 研究A: 基于实验室的设置，21名学生使用Eclipse IDE和PostgreSQL以Java实现密码存储。
  • 研究B: 远程研究，80名自由开发者使用虚拟机和多样化工具。
  • 评估指标包括功能性、安全评分以及参与者对AI生成代码的看法。
• 局限性与未来工作:
  • 实验室环境中的观察偏差以及因任务时间过长导致的疲劳。
  • 第三方库的可用性问题影响了参与者的安全决策。
  • 未来研究应探索自适应AI系统、实时误解检测，以及在其他安全关键任务中的复制研究。

总结

本文研究了AI助手如何影响开发者在密码存储任务中的安全实践。两项研究表明，明确的安全指令在AI辅助工作流中依然有效，且结合安全与AI指令能产生最安全的结果。AI辅助的解决方案相比AI普及前的研究提高了安全评分，但参与者往往优先考虑便利性而非安全性，并对AI生成的安全建议持怀疑态度。研究结果强调了明确指令、验证指导以及AI工具可用性改进的重要性，以确保安全的编码实践。