当编解码器产生幻觉：用户对误压缩图像的感知

文献标题

When the Codec Hallucinates: User Perceptions of Miscompressed Images

出版信息

• 主题领域: 神经网络图像压缩伪影的用户感知及其社会影响。
• 关键词: 神经网络图像压缩，错误压缩，用户感知，语义完整性，图像伪影，误解，故意编辑，失真，图像信任，人机交互。

背景与问题

• 问题/挑战: 神经网络图像压缩方法可能引入微妙但在语义上显著的图像细节变化，被称为错误压缩（miscompressions）。这些变化缺乏可见的标识，可能被误认为是故意编辑，从而导致误解并削弱对图像的信任。
• 重要性: 随着神经压缩技术即将广泛应用，理解其社会和感知影响对于减轻诸如虚假信息、错误指控以及在监控和自动驾驶等关键领域中的错误风险至关重要。
• 动机与相关研究: 尽管已有研究探讨了神经压缩的技术方面以及用户对图像质量的感知，但尚无研究实证调查用户如何感知错误压缩及其社会后果。本文通过比较用户对错误压缩与传统压缩伪影的感知，填补了这一研究空白。

解决方案

• 提出的方法: 进行一项包含115名参与者的用户研究，比较原始图像与传统压缩、神经压缩以及错误压缩图像，评估用户对误解、故意编辑和不可控失真的感知。
• 创新点:
  1. 首次提出研究用户对错误压缩感知的实证方法。
  2. 提供证据表明，错误压缩与传统伪影的感知存在显著差异，增加了误解风险，并更容易被误认为是故意编辑。
  3. 提出界面设计的启示，以减轻错误压缩带来的风险。
• 研究流程与关键技术:
  • 在受控实验室环境中进行全参考研究。
  • 参与者观看精心挑选的图像对，并在6点量表上对误解风险、故意编辑和不可控失真进行评分。
  • 采用混合的被试间和被试内设计，收集了1380次图像观看和1131次评分。
  • 使用固定效应线性回归分析响应数据。

结果

• 具体发现:
  • 错误压缩显著增加了误解风险的感知（效应量d = 0.86）。
  • 错误压缩图像的差异更可能被归因于故意编辑（d = 0.78），而较少被认为是不可控失真（d = 0.64）。
  • 参与者能够识别JPEG伪影为失真，但错误压缩通常被误认为是编辑。
• 相较基线的优势: 错误压缩比传统JPEG伪影更容易引发误解，并更类似于故意编辑，而JPEG伪影则被视为失真。
• 实验/评估:
  • 刺激材料包括36对图像（错误压缩、神经压缩、JPEG和未压缩），内容和语义相关性多样化。
  • 参与者需识别差异并对其影响和原因进行评分。
  • 结果支持所有三个假设，并具有统计显著性（p < 0.001）。
• 局限性与未来工作:
  • 样本仅限于讲德语的计算机科学学生，不能代表普通人群。
  • 刺激材料为人工挑选，可能引入偏差。
  • 未来研究应涉及多样化人群、高风险场景和专家评估，以推广研究结果。

总结

本研究实证表明，神经网络图像压缩可能引入错误压缩——一种微妙但在语义上显著的变化，用户常将其误认为是故意编辑。错误压缩增加了误解的风险，并不像传统JPEG失真那样被识别为压缩伪影。研究结果强调了提高意识和优化界面设计以减轻这些风险的必要性，尤其是在神经压缩技术广泛应用的背景下。未来研究应探索更广泛的应用场景和用户群体，以进一步理解和应对错误压缩的影响。