伸出援手：支持系统在帮助用户检测钓鱼攻击中的有效性

文献标题

Lending a Hand: The Effectiveness of Support Systems in Assisting Users to Detect Phishing Attacks

出版信息

• 主题领域: 在真实的邮件分类场景中评估反钓鱼支持系统的有效性。
• 关键词: 钓鱼检测, 支持系统, 用户行为, 邮件安全, 工具提示, 警告横幅, 外部标记, 垃圾邮件标签, 用户体验。

背景与问题

• 问题/挑战: 尽管反钓鱼支持系统在邮件客户端中广泛存在，但其在帮助用户检测钓鱼邮件方面的有效性仍不明确。此前的研究未能在真实场景中全面评估多种支持系统，尤其是考虑到误报和漏报的情况下。
• 重要性: 钓鱼攻击是主要的网络安全威胁，2025年第一季度的账户泄露中有41%是由钓鱼攻击引起的。随着生成式人工智能的进步，钓鱼邮件变得越来越难以检测。有效的支持系统可以显著降低与钓鱼相关的风险。
• 动机与相关工作: 之前的研究主要集中在用户培训或警告系统上，但尚未在真实、可控的环境中对多种支持系统进行比较评估。本研究通过测试四种支持系统及其对钓鱼检测的影响来填补这一空白。

解决方案

• 提出的方法: 开发一个交互式工具，模拟真实的邮件分类场景，让参与者在有或没有支持系统的情况下评估邮件。
• 创新点:
  1. 对四种现实和学术支持系统进行比较评估：外部标记、警告横幅、垃圾邮件标签和工具提示。
  2. 在评估中引入误报和漏报，以模拟现实中的不完美情况。
  3. 分析钓鱼检测中的上下文因素（如联系人列表、日历）和用户行为。
  4. 收集主观用户反馈和用户体验指标（UEQ-S）。
• 流程与关键技术:
  1. 参与者（n=453）以HR员工角色扮演，使用交互工具对18封邮件（3封钓鱼邮件，15封合法邮件）进行分类。
  2. 支持系统随机分配给各组：外部标记（n=99）、警告横幅（n=87）、垃圾邮件标签（n=85）、工具提示（n=91）、以及对照组（n=91）。
  3. 收集行为数据（如链接悬停、花费时间）和调查问卷反馈。
  4. 统计分析包括Kruskal-Wallis检验、Mann-Whitney U检验和逻辑回归。

结果

• 具体发现:
  • 参与者平均正确分类了83.9%–88.3%的邮件，与对照组相比，支持系统未显示出显著改进。
  • 上下文因素（如使用联系人列表+93.2%正确分类率，链接悬停+91.2%）比支持系统的影响更大。
  • 支持系统中的误报和漏报对后续分类的影响较小。
• 相较基线的优势:
  • 警告横幅在特定场景中略优于其他系统，但未显著提高整体分类率。
  • 工具提示在某些合法邮件中导致性能略有下降。
• 实验/评估:
  • 测试邮件包括不同难度级别（简单、中等、困难）。
  • 评估指标：分类准确率、用户感知（调查问卷）和用户体验（UEQ-S）。
  • 参与者对支持系统表示认可，在实用质量上给予了积极评价（平均分：横幅1.7，外部标记1.6，工具提示1.0，标签1.3）。
• 局限性与未来工作:
  • 研究在受控的模拟环境中进行，现实中的适用性可能有所不同。
  • 钓鱼邮件类型有限，钓鱼邮件与合法邮件的比例不平衡。
  • 未来工作应在真实工作场所中测试支持系统，采用多样化的参与者样本和更现实的邮件比例。

总结

本研究在一个受控的邮件分类场景中评估了四种反钓鱼支持系统的有效性，共有453名参与者参与。结果显示，与对照组相比，支持系统未显著提高钓鱼检测率，而联系人列表和链接悬停等上下文因素发挥了更关键的作用。尽管实际影响有限，参与者认为这些系统是有帮助的，并在用户体验调查中给予了积极评价。未来研究应探索现实环境中的应用，并优化支持系统以解决误报、不明确的评估以及用户信任问题。