SlideAudit：用于演示幻灯片自动评估的数据集与分类法

DOI

自动评估演示幻灯片等特定图形设计是一个开放性问题。我们提出了 SlideAudit——一个用于自动幻灯片评估的数据集。我们与设计专家合作,开发了全面的幻灯片设计缺陷分类法。我们的数据集包含 2400 张幻灯片,从多个来源收集和合成,其中一部分经过专门修改以包含特定设计问题。我们通过严格训练的 Prolific 众包方式，使用分类法对其进行了完全注释。为了评估 AI 是否能够识别设计缺陷,我们比较了不同提示策略下的多个大型语言模型,以及现有的设计批评流程。我们表明 AI 模型在准确识别幻灯片设计缺陷方面存在困难,F1 分数范围为 0.331 至 0.655。值得注意的是,利用我们分类法的提示技术取得了最高性能。我们进一步进行了修复研究,以评估 AI 改进幻灯片的潜力。在 82.0% 显示出显著改进的幻灯片中,87.8% 的幻灯片使用我们的分类法获得了更大改进,进一步证明了其实用性。