EyeSee：通过多视角拟人化解读提升艺术欣赏

研究背景与问题

作者发现了哪些问题或挑战？

传统的在线艺术欣赏平台虽然减少了地理限制并降低了成本，但通常缺乏互动性，使得观赏体验较为被动，难以激发用户的深入参与感。此外，如何通过模拟具有不同视角的角色来增强用户的参与度，也尚未得到深入研究。

为什么这个问题很重要？

艺术欣赏不仅促进个人情感和智力成长，还能挑战伦理和价值观并加深文化理解。然而，数字时代的在线体验往往缺乏这种深度，特别是在在线艺术欣赏背景下，提升用户互动水平具有重要意义。

研究动机与相关工作

生成式人工智能技术（尤其是大型语言模型，LLMs）显示出通过模拟人性化角色增强互动体验的潜力。例如，已有研究表明，通过角色模拟可以提升非专家对复杂主题的理解能力和学生的学习效果，但在艺术欣赏领域尚缺乏通过多角色视角加强用户互动的系统化探索。

解决方案

作者提出了哪些方法或解决方案？

作者设计了名为 EyeSee 的系统，通过三个不同的角色模式（Narrator、Artist 和 In-Situ）从多个视角为用户提供艺术解释，并采用了叙述和推荐两种任务会话来探索这些角色如何影响用户的参与和满意度。

• Narrator 模式：提供第三人称叙述，给予客观的艺术作品背景和信息。
• Artist 模式：从艺术家本人视角解读作品，特别是创作动机和意图。
• In-Situ 模式：模拟作品中的对象或角色，以内在视角带来沉浸式故事。

该解决方案的创新之处是什么？

1. 角色多样性：以三种视角的角色生成艺术解释，并专为艺术欣赏场景量身定制。
2. 人工智能支持：借助大型语言模型（LLMs）与多模态模型（如 Segment Anything Model），提供详尽的叙述生成和推荐艺术作品。
3. 用户体验优化：通过量化实验分析感官美学吸引力（Aesthetic appeal）、易用性（Perceived usability）及沉浸性，评估系统的有效性。

实施步骤是什么？使用了哪些关键技术？

1. 系统设计：
   • 三种角色以人性化风格叙述信息（Narrator、Artist 和 In-Situ）。
   • 任务包括叙述会话（探索角色叙述的参与度）和推荐会话（基于用户兴趣提供推荐艺术品）。
2. 技术实现：
   • 后端结合视觉思维策略（Visual Thinking Strategies）和链式思维提示（Chain of Thought prompting）优化生成式AI角色的艺术知识。
   • 使用预训练模型（如 LLaVA-Docent、多模态语言模型）生成上下文丰富的回答及推荐理由。
3. 实验设计：
   • 24名有艺术兴趣的参与者完成3幅风格各异的画作相关任务。
   • 通过行为日志（用户操作）、调查问卷（用户满意度）以及访谈反馈（用户体验）综合分析参与者的表现与感受。

研究成果

取得了哪些具体成果？

1. 用户互动性提升：
   • In-Situ 角色的总体参与度和吸引力最高，尤其在用户专注度（Focused attention）、美感吸引力和奖励性（Reward factor）方面表现突出。
   • Artist 角色由于提供主观和不一致的信息，在易用性评价上得分最低。
2. 跨任务会话结果：
   • In-Situ 角色在叙述与推荐任务中保持最高的用户认同度（Relatability 和 Believability），表明其适合维持用户持续兴趣。
   • Artist 角色在推荐任务中一致性提升，但主观与过高的知识预期使其在叙述任务中评分偏低。
3. 用户反馈支持：
   • 根据用户操作日志，用户与 In-Situ 模式的角色互动时间更长，问题提出更频繁，显示高度的行为参与度。
   • 情感参与方面，In-Situ 角色通过拟人化叙述提供强烈的时间穿越感（time travel）和多感官体验，非常吸引人。
4. 理论拓展：
   • 结果验证了“叙述沉浸理论”（Narrative Transportation Theory），说明通过角色视角可以影响用户的态度改变与情感投入。

与现有解决方案相比，它有哪些优势？

• 多角色维度创新：现有的多语言模型往往以单视角叙述为主，而 EyeSee 融合了三种独特视角，以角色身份附着的形式推动叙述多样性。
• 沉浸式体验设计：特别是 In-Situ 角色通过拟人化故事强化了情感和认知投入，既新颖又实用。
• 数字化艺术教育：利用生成式 AI增强了艺术品探索深度，触及了传统在线博物馆中缺乏的互动性。

实验或评估结果是什么？

实验中参与者互动记录和满意度的量化分析表明：

• 统计显著差异：In-Situ 模式凸显其在焦点专注、吸引力和回应满意度中的优势（p<0.001）。
• 跨模式对比：In-Situ 角色在跨任务会话的一致性（Consistency）与可信度（Believability）评分持续领先。

局限性与未来方向

1. 样本偏倚：参与者主要为艺术爱好者，未来研究可考虑更广泛的人群，包括普通观众和艺术专家。
2. 知识生成局限：Artist 模式中的生成内容存在细节不足和“LLM幻觉”，后续工作可加入专门领域模型微调技术进一步优化。
3. 动态个性化：研究目前基于固定的系统角色，应探索基于用户实时需求调整角色表现的自适应设计。

通过 EyeSee 系统，作者显著改善了数字艺术欣赏的用户体验，并提出了具有创新潜力的多角色叙述方法。这为未来的数字文化体验和生成式 AI 角色研究提供了新方向，同时也展示了提升情感和认知参与的路径。