在不确定性下判断网络钓鱼：用户如何处理不准确的自动化建议？

研究背景与问题

• 作者发现了哪些问题或挑战？ 作者发现现有的邮件引导系统对于用户识别网络钓鱼邮件的有效性有限，其中包括使用基于人工智能自动生成指导的潜力，以及这种指导存在不准确的信息时对用户行为的影响。一些自动系统可能会错误地分析邮件内容，影响用户的判断能力并削弱系统的可信度。

• 为什么这个问题很重要？ 网络钓鱼邮件已经成为组织面临的重大威胁，常导致数据泄露、账户接管等问题。尽管现有的过滤算法有效，但仍有部分复杂的钓鱼邮件能够突破防御进入用户的收件箱，因此最终的判断责任落在用户身上。这种判断失误可能导致严重后果。

• 研究动机与相关工作 研究动机来源于自动化指导系统对钓鱼识别的潜力，以及对人类如何处理系统错误的兴趣。作者调研了当前的钓鱼防护技术及其局限性，包括通过教育培训提高用户技能的尝试、使用警告标识的技术，以及自动化支持工具的探索，但这些方法缺乏在"in-the-moment"场景中的高针对性指导。本研究旨在填补这一缺口。

解决方案

• 作者提出了哪些方法或解决方案？ 作者设计并测试了三种类型的指导条件：通用性指导（Control）、基于特定邮件的完美指导（Perfect）、以及包含不准确信息的现实指导（Realistic）。这些条件在实验中分别向用户提供特定的帮助。

• 该解决方案的创新之处是什么？

  1. 探索了定制化且实时生成的指导系统在提升用户判断准确性和信心方面的潜力。
  2. 研究了不准确性对用户行为的具体影响，包括如何不同类型的引导内容可能帮助或误导用户。
  3. 引入了基于邮件内容的自动报告，通过具体邮件特征（如发送域名、链接目标、邮件主题）生成解释性信息，为用户决策过程提供支持。

• 实施步骤是什么？使用了哪些关键技术？

  1. 实验通过在线问卷开展，招募489名参与者进入三种不同条件中的一个。
  2. 向参与者展示了两轮邮件：第一轮无指导（R1），第二轮提供上述三种类型指导（R2）。
  3. 用户回答邮件是否是钓鱼邮件，并提供其判断的信心水平。参与后，收集了关于报告可用性的反馈。
  4. 使用统计分析，比较参与者在两轮中准确性和信心的变化，评估指导类别对这些结果的影响。

研究成果

• 取得了哪些具体成果？

  1. 完美指导（Perfect）条件显著提高了用户的判断准确性（从78%到93%）和信心（从3.60到4.11）。
  2. 现实指导（Realistic）条件尽管未提高准确性，但增加了用户信心（从3.52到3.74），表明即便有错误指导也对用户有积极影响。
  3. 通用指导（Control）条件的改善较小，但显著优于无指导情况。
  4. 实验证明，错误的高层建议（例如错误地认定钓鱼邮件为安全）可能对用户决策产生显著的负面影响。

• 与现有解决方案相比，它有哪些优势？ 相较于通用指导和URL-基于警告的方法：

  1. 针对特定邮件定制化的指导显著提高了用户精确性，尤其是在钓鱼和非钓鱼邮件判断方面。
  2. 自动生成的报告提供解释性信息（例如概率分数和分析证据），促进用户对系统的信任。

• 实验或评估结果是什么？

  1. 实验显示针对特定邮件的指导（Perfect条件）最有效，在精确性和信心上表现显著优于通用指导。
  2. 不准确指导（Realistic条件）的影响取决于误导源的严重性。例如，如果错误的证据被用户意识到，则会降低信心；而低可信度的分类百分比也可能削弱用户对系统的信任。
  3. 实验显示，用户并未盲目信任系统，即使系统给出建议，用户仍会根据自己的判断权衡判断结果。

• 局限性与未来方向

  • 局限性:

    1. 实验缺乏生态效度，参与者在调查问卷中没有模仿真实的邮件客户端交互行为。
    2. 使用Prolific平台的参与者样本可能不完全代表普遍用户，且受限于英国的场景化邮件。
    3. 指导设计未进行正式的前置测试，可能降低内容对用户的效用。
    4. 响应时间和用户多任务环境的影响未充分体现，可能影响决策质量。

  • 未来方向:

    1. 针对组织邮件格式的改进，避免触发用户误判。
    2. 开发基于全面线索的推荐模型，减少对单一指标（例如URL）的依赖。
    3. 探索如何通过重复使用指导系统增强用户技能和教育效果。
    4. 实现真实环境中的实践研究，更好地理解自动生成报告的实际对用户行为的长期影响。