算法式的观察方式：使用目标检测来促进艺术探索

文献标题

Algorithmic Ways of Seeing: Using Object Detection to Facilitate Art Exploration

文献信息

• 主题领域: 人机交互与博物馆实践，人工智能（AI）图像识别技术应用于艺术探索
• 关键词: 对象检测, 艺术, 体验设计, 探索性搜索, 计算机视觉, 数字博物馆

研究背景与问题

• 发现的问题或挑战:

  • 图像识别算法过去受到“跨描绘问题”限制，难以准确检测非摄影类图像（如绘画中的对象）。
  • 数字化的博物馆藏品中通常存在元数据稀疏的问题，未能充分反映图像的丰富视觉信息。
  • 非专家用户传统搜索界面对艺术作品集进行探索时容易受限，导致用户难以发现不熟悉但可能感兴趣的艺术作品。

• 重要性:

  • 多模态机器学习（如CLIP、GLIP）的技术突破使得跨领域视觉识别成为可能，为艺术探索提供了新的可能性。
  • 博物馆肩负教育和激发公众兴趣的任务，探索性搜索设计可以帮助非专家用户发现更多艺术作品。

• 研究动机与相关工作:

  • 推进计算机视觉技术在传统艺术领域的应用，使艺术藏品探索在数字化背景下更加便利和创新。
  • 参考相关的HCI研究，设计探索性搜索和用户界面的新方法，一方面实现艺术作品的开放式探索，另一方面通过技术加深公众对艺术的理解。

解决方案

方法

• 利用GLIP（Grounded Language-Image Pre-Training）模型对丹麦国家美术馆的艺术藏品进行对象检测，并开发互动应用“SMKExplore”以提供新的探索艺术的方式：
  • 设计探索性搜索界面，允许用户通过艺术作品中检测到的具体对象进行浏览。
  • 提供生成式AI功能，利用用户选择的对象来创建新的艺术图像。

创新之处

• 对象检测整合: 首次整合对象检测流程以支持艺术藏品的视觉探索。
• 艺术探索方式: 通过用户兴趣驱动的对象检测和标签分类，实现从对象到完整艺术作品的底层搜索。
• 生成式艺术互动: 提供基于生成式AI的图像生成功能，为用户打造创意与玩性十足的体验。

实施步骤和关键技术

1. 标签设置与数据准备: 使用GLIP模型和手动定义的标签集对艺术作品进行检测，生成包含类别、对象边框图像的元数据。
2. 子集选择: 提取检测置信度最高的每类对象实例，以减少数据集规模（从原始6,750幅作品到约3,906幅作品）。
3. 开发交互应用: 设计一个包含多个入口点的用户界面，包括对象浏览分类（Category Screen）、对象详览（Object Screen）、原画展示（Painting Screen）以及AI生成图像功能（Canvas Screen）。

研究成果

具体成果

• 技术验证: 对象检测在艺术图像中的平均精准度达56%，显著高于以往的研究（平均精准度36%-44%）。
• 用户界面开发: SMKExplore通过可视化的探索方式，让用户从艺术品的局部细节入手发现完整画作。
• 生成式AI应用: 用户可组合对象并利用AI生成新艺术图像，加深对于构图和视觉艺术的理解。

优势与差异

• 与传统搜索界面的区别: SMKExplore界面支持开放性探索，强调自由发现和灵感激发，而非单一目标导向的搜索模式。
• 用户体验: 鼓励通过细节视角探索艺术，引发用户反思与创造，提升艺术欣赏深度。

实验与评估结果

• 评估方式: 在博物馆现场进行测试，使用日志记录用户行为并进行访谈分析。22位用户评价展示了以下趋势：
  • 多数用户对应用表现出高度兴趣，形容体验为“有趣”、“直观”和“启发性强”。
  • 参与者通过对象之间的对比与细节发现，重新审视画作，注意到实体展览中未注意到的元素。
  • 通过生成艺术图像，用户更理解如何结合细节进行艺术创作。

局限性与未来方向

• 局限性:

  • 标签集限制：标签数量限制仅能检测120类对象，导致某些类别未能充分应用或出现错误分类。
  • 嵌入式AI系统的误报或标签偏差，有可能影响用户信任和艺术解读。
  • 仅对绘画类数字藏品进行了研究，未涵盖雕塑、照片等其他艺术形式。

• 未来工作方向:

  • 加强跨学科协作，与领域专家（如博物馆策展人、美术史学者）合作完善标签集。
  • 探索益智学习型的生成式艺术创作方法，设计促进艺术教育的沉浸式系统。
  • 扩展技术对其他艺术形式的适用性，例如雕塑、视频及跨媒体艺术，从而全面提升博物馆数字化体验。