GatheringSense：用于理解文人雅集的AI生成图像与具身体验

文献标题

GatheringSense: AI-Generated Imagery and Embodied Experiences for Understanding Literati Gatherings

出版信息

• 主题领域: 通过人工智能和具身认知增强文化理解。
• 关键词: AI生成内容、具身认知、文化遗产、文人雅集、多模态体验、沉浸式技术、文化共鸣、仪式参与、符号解读、以用户为中心的设计。

背景与问题

• 问题/挑战: 当前生成式人工智能在文化应用中的重点是美学再现，但未能传递更深层次的文化意义、程序规则和社会动态。沉浸式技术通常忽视文化实践的具身性，限制了其传递复杂文化现象（如中国文人雅集）的能力。
• 重要性: 理解诸如文人雅集这样的文化实践对于保护非物质文化遗产和促进跨文化欣赏至关重要。弥合视觉呈现与具身参与之间的差距可以增强文化共鸣和学习效果。
• 动机与相关研究: 先前研究探索了生成式人工智能在文化可视化和沉浸式技术在遗产保护中的应用。然而，这些方法很少被整合，其支持主动文化参与的能力尚未充分探讨。本研究基于具身认知理论来解决这一空白。

解决方案

• 提出的方法: 一个基于人工智能的双路径框架，结合AI生成的多模态内容（符号路径）和具身参与（物理路径），以支持文化理解。
• 创新点:
  1. 引入连接视觉解读与具身参与的双路径框架。
  2. 通过混合方法研究（N = 48）验证框架在促进文化共鸣方面的有效性。
  3. 提供关于AI生成内容与具身体验之间相互作用的定量和定性洞察。
  4. 提出五条可转移的设计建议，用于数字遗产背景下的文化体验创建。
• 程序与关键技术:
  1. AI符号路径：使用生成式AI模型生成四种视觉风格（水墨、工笔、卡通、油画）的多模态内容（图像、视频）。
  2. 具身路径：设计文化启发的道具和沉浸式场景，开展如投壶、书法、围棋、诗歌吟唱等物理活动。
  3. 混合方法研究：比较前向（AI到具身）和反向（具身到AI）顺序，使用文化共鸣、存在感和心理亲近等指标进行测量。

结果

• 具体发现:
  • AI生成内容提高了文化符号的可读性（Film-IEQ评分：图像 M = 5.28，视频 M = 5.04）。
  • 具身参与显著提升了文化共鸣（CR_post: M = 5.54，相较视频后的 M = 4.73）。
  • 对文人雅集的心理亲近感（IOS评分）从测试前的 M = 3.00 提升至测试后的 M = 4.66。
  • 水墨和工笔风格因其文化真实性和较低的认知负荷而更受欢迎。
• 相较基线的优势:
  • 具身体验比单纯的AI内容提供了更强的社会存在感和更深的文化理解。
  • AI与具身路径的结合优于单独路径，具有符号清晰度和体验深度的互补优势。
• 实验/评估:
  • 参与者（N = 48）分为四组：中国成年人（前向/反向顺序）、跨文化成年人和儿童。
  • 测量指标包括Film-IEQ、CR、ITC-SOPI、IOS、SAM和KANO分析。
  • 活动在实验室环境中进行，模拟文人雅集场景，配备沉浸式道具和媒体。
• 局限性与未来工作:
  • 跨文化和儿童组样本量较小，限制了结果的普适性。
  • 室内原型缺乏完整的历史重建；未来工作可探索基于VR的实现。
  • 当前AI模型在物理合理性和时间一致性方面表现不足；需要定制数据集和管道。

总结

本研究提出了一个基于人工智能的双路径框架，用于文化理解，结合AI生成的多模态内容与具身参与。该框架通过GatheringSense实例化，聚焦于中国文人雅集。结果显示，AI内容能够明确文化符号，而具身体验则能深化文化共鸣和社会存在感。偏好的视觉风格（水墨、工笔）与文化真实性一致，两种路径的结合显著增强了对文化实践的心理亲近感。研究为创建沉浸式文化体验提供了可操作的设计建议，并强调了AI与具身参与在转变文化遗产传递中的潜力。