IKIWISI：一种无真实标签的交互式视觉模式生成器，用于评估视觉语言模型的可靠性

我们提出了 IKIWISI，一个交互式视觉模式生成器，用于在多对象识别任务中评估视觉语言模型的可靠性，特别是针对视频数据中用户自定义的对象，此时通常无法获得真实标签。IKIWISI 这一名称是「I know it when I see it」（看到就认识）的缩写，反映了该工具基于人类视觉感知研究的特性，利用直观的模式识别能力来促进信任和可解释性。IKIWISI 采用易于解读的二元热图，其中列代表视频帧，行代表用户定义的对象。单元格根据颜色编码，绿色表示对象存在，红色表示对象不存在。采用研究式设计方法，我们通过多次迭代完善了 IKIWISI。最终有 15 名参与者参与的研究表明，IKIWISI 易于使用，能够实现与真实性能相关的可靠模型性能评估。此外，用户只需检查极少量的热图单元格即可得出结论。IKIWISI 通过视觉解释促进透明性，使用户能够快速发现异常并专注于进一步分析的关键区域。这使其成为在现实场景中评估用户自定义对象的视觉语言模型的宝贵工具。