工具辅助CVSS漏洞评分：人类评估的受控定量研究

文献标题

Tool-Assisted CVSS Vulnerability Scoring: A Controlled Quantitative Study of Human Assessment

出版信息

• 主题领域: 网络安全漏洞评估与决策支持工具。
• 关键词: CVSS、漏洞评分、NLP工具、VIET、网络安全培训、以人为中心的安全、定量研究、工具采用、漏洞评估。

背景与问题

• 问题/挑战: 手动CVSS评分容易出错、不一致且耗时，专家之间意见分歧且难以扩展。基于机器学习/大语言模型的自动化解决方案面临标签不一致和信任问题等挑战。
• 重要性: 准确的漏洞评分对于优先处理修复工作、降低安全风险以及支持网络安全运营至关重要。
• 动机与相关研究: 以往研究强调了专家之间CVSS评分的差异性，以及需要工具来提高一致性和效率。尽管已有研究探索了基于NLP的工具用于提取安全实体，但这些工具对实际分析人员的影响仍未得到充分研究。

解决方案

• 提出的方法: VIET是一种基于NLP的工具，用于从漏洞描述中提取并突出显示关键实体，以协助分析人员分配CVSS指标。
• 创新点:
  1. 将基于NLP的信息提取工具应用于手动CVSS评分。
  2. 开发了一个用户友好的VIET Web界面以实现实际使用。
  3. 通过389名参与者的受控用户研究评估VIET在不同人口统计、专业水平和漏洞类型中的有效性。
  4. 学习效应分析显示VIET具有作为培训工具的潜力。
• 流程与关键技术:
  • 参与者在交叉设计中使用和不使用VIET评估漏洞。
  • VIET突出显示与CVSS指标相关的实体（如漏洞类型、权限）。
  • 收集的数据包括准确性、信心、时间、人口统计和反馈。
  • 回归分析研究了工具的有效性、专业水平和学习效应。

结果

• 具体发现:
  • VIET未能提高所有参与者的整体准确性，但在特定指标（AC、PR、S）和漏洞类型（如CWE-787）上显示出优势。
  • 首次使用VIET的参与者在后续未使用工具的评估中表现更好，表明存在学习效应。
  • 某些人口统计群体（如男性参与者、网络安全专业人士）的信心有所提升。
• 相较基线的优势: VIET提高了易于产生歧义和错误的指标的准确性，尤其是对经验较少的参与者和特定漏洞类型。
• 实验/评估:
  • 通过MTurk和Prolific招募了389名参与者。
  • 漏洞包括多种类型（如XSS、CWE-787、SQL注入）。
  • 评估指标包括准确性、时间、信心和采用意图。
• 局限性与未来工作:
  • 对专家和某些漏洞类型的工具效果较小或不显著。
  • 使用工具带来的认知负担可能抵消其优势。
  • 未来工作应探索界面设计、培训效应以及对CVSSv4.0的适用性。

总结

本研究通过对389名参与者的受控调查评估了VIET这一基于NLP的辅助工具在CVSS漏洞评分中的应用。尽管VIET未能普遍提高准确性，但在特定指标和漏洞类型上显示出优势，尤其是对经验较少的用户。学习效应表明其作为培训工具的潜力，能够帮助用户内化评分策略。工具的采用受到其感知有用性、易用性和决策支持的驱动。研究结果为以人为中心的安全工具设计提供了指导，并指出了漏洞评估未来改进的方向。