“这是我的错”，真的吗？理解盲人和低视力用户对大型视觉语言模型幻觉的感知

DOI

由大型视觉语言模型（LVLM）驱动的视觉问答（VQA）工具被用于帮助盲人和低视力（BLV）个体克服视觉挑战，引发了关于幻觉及相关风险的担忧。现有关于BLV用户VQA背景下幻觉的文献忽视了在不同使用场景和类型中的幻觉变化，导致对其感知的理解有限，且缺乏有针对性的缓解策略指导。通过分析BLV用户的3,467个真实世界VQA案例，我们开发了基于 manifestation-scenario 的双维幻觉类型学，揭示了八种场景和五种幻觉类型。通过对16名BLV用户的访谈，我们检查了他们的 awareness levels检测策略、幻觉的心智模型以及对相关风险的容忍度，识别了他们感知与现实之间的关键差距。通过与12名BLV用户的设计，我们揭示了他们对幻觉缓解解决方案的期望，包括增强的信息提供、处理透明度、验证策略和反馈机制。