和谐感官：设计跨模态交互艺术系统以提升老年人情感体验

文献标题

Harmonizing the Senses: Designing a Cross-Modal Interactive Art System to Enhance Older Adults’ Affective Experiences

出版信息

• 主题领域: 面向老年人情感与认知福祉的跨模态交互系统。
• 关键词: 多感官刺激、跨模态关联、情感一致性、AI融合艺术系统、老年人、数字艺术、认知能力、用户体验、情感福祉、人机交互。

背景与问题

• 问题/挑战: 现有的多感官刺激（MSS）系统通常缺乏可扩展性、适应性和情感一致性。感官模态之间的同步性差可能导致认知过载、参与度下降或负面情感体验，尤其是对于认知和感官能力下降的老年人。
• 重要性: 通过MSS增强老年人的情感体验可以改善情感福祉、认知参与度和生活质量，从而应对老龄化人口带来的挑战。
• 动机与相关研究: 先前研究强调了MSS和数字艺术系统对老年人的益处，但缺乏对跨模态一致性和AI整合的关注。现有研究通常优先考虑感官激活，而非情感对齐，从而在为老年用户设计包容性、适应性系统方面留下了空白。

解决方案

• 提出的方法: 开发一个跨模态交互艺术系统，结合AI技术，通过对视觉、听觉和运动模态的对齐来增强老年人的情感体验。
• 创新点:
  1. 提供跨模态关联与一致性如何影响老年人情感反应的实证证据。
  2. 设计并评估一个AI融合的跨模态艺术系统，以降低认知负担并增强情感参与。
  3. 引入适应性AI支撑，支持具有不同认知能力的用户。
  4. 提供针对老年人的包容性多感官系统设计指南。
• 过程与关键技术:
  1. 实验一: 使用中国传统乐器和颜色卡研究音色与颜色的关联性，重点关注情感一致性。
  2. 实验二: 在一个数字绘画系统中探索听觉与运动的同步性，测试五种感官映射水平及其对情感体验的影响。
  3. AI融合系统: 集成AI技术，将用户的笔触转化为动态水墨风格艺术作品，实现视觉、听觉和运动输入的实时同步反馈。

结果

• 具体发现:
  • 当音色与颜色在情感上对齐时，关联性更强；明亮、尖锐的音色与饱和度高、较亮的红黄颜色相关联。
  • 高度的听觉–运动同步性引发了不同反应；认知能力较低的参与者在某些条件下报告了更高的愉悦感。
  • AI融合模式显著增加了积极情感（愉悦、惊喜、效价、唤醒），并减少了消极情感（悲伤、愤怒），特别是对认知能力较低的用户。
• 相较基线的优势:
  • AI融合模式在增强情感参与和降低认知负担方面优于非AI模式。
  • 认知能力较低的参与者获得了补偿性益处，其情感状态与认知能力较高的同伴相当甚至更好。
• 实验/评估:
  • 实验一: 35名参与者（65–79岁）通过音频片段、颜色卡和情感测量工具评估音色–颜色关联性。
  • 实验二: 32名参与者在一个数字绘画系统中测试了五种听觉–运动同步性条件。
  • AI融合系统: 同样的32名参与者在感官整合条件下比较了AI模式和非AI模式，数据通过自我报告和面部表情分析收集。
• 局限性与未来工作:
  • 由于实验环境受控，样本多样性和生态效度有限。
  • 仅关注听觉–视觉和听觉–运动映射；未来研究应探索更多感官模态。
  • 需要开展纵向研究，以评估长期参与和适应性AI支持的效果。

总结

本研究开发并评估了一个针对老年人的跨模态交互艺术系统，结合AI技术以增强情感体验。实验一表明情感一致性可以增强音色–颜色关联性，而实验二揭示了听觉–运动同步性的不同反应，认知能力影响了偏好。AI融合模式显著改善了积极情感并减少了消极情感，特别是对认知能力较低的用户。这些发现强调了情感一致性、适应性AI支撑以及包容性设计在创建情感参与性强且认知可及的多感官系统中的重要性。