ReMirrorFugue：探讨跨越时间的存在感和（错觉）沟通的情感体验

研究背景与问题

• 作者发现了哪些问题或挑战？
  作者探讨了如何通过技术实现跨时间的“远程临场感”（telepresence），让用户能感受到一个过去的存在并与其产生情感联系。这种延续时间的临场感还包括与已故者或过去生活中的自我的互动。然而，目前关于这一领域的实证研究较少，且围绕如何设计这种情感交互的技术机制仍然存在诸多未知。

• 为什么这个问题很重要？
  寻求与过去建立情感联系不仅能帮助人们更好地回忆记忆，还能促进自我反思，对心理健康和情感缓解具有重要意义。此外，通过技术实现过去与现在的连接不仅对家庭、友情和自我关系中的情感维系具有重要价值，也对设计针对失去亲人或重大生活变迁的“纪念与延续技术”提供了新的方向。

• 研究动机与相关工作
  相关研究多集中于通过临场感技术进行远程空间交互，而不是跨时间交互。此外，现有设计多回避过于逼真的画面以避免“恐怖谷效应”（uncanny valley）。本研究则探索如何实现跨时间的临场交互，包括与已故者互动，并试图让这种技术增强用户与过去的关系连接。

解决方案

• 作者提出了哪些方法或解决方案？
  作者通过增强型钢琴设备MirrorFugue（包括人的手及身体的投影与钢琴机械按键的动作同步）设计了一种模拟过去钢琴表演者临场感的系统，并探讨其对用户情感体验的影响。

• 该解决方案的创新之处是什么？

  • 跨时间的临场感：研究将远程交互的临场感从空间拓展到时间维度。
  • 结合视觉、听觉及触觉的交互体验：MirrorFugue利用实时播放的钢琴声音、机械键的同步动作和全尺寸投影实现沉浸体验。
  • 参与式交互：用户可在体验中选择“即兴演奏”与录制的过去钢琴家互动，提升主动参与感。

• 实施步骤是什么？使用了哪些关键技术？

  • 使用具有同步音响播放功能的“弹奏钢琴”（player piano）。
  • 投影钢琴家过去的表演，并使投影与钢琴键的动作对应。
  • 数据通过混合方法收集：包括生理信号（心率及皮肤电活动）数据、问卷及访谈，以探讨用户的多维度情感体验。

研究成果

• 取得了哪些具体成果？

  • 临场感与情感连接的建立：绝大多数参与者在实验后报告与钢琴家的情感连接有所增加，即使钢琴家已故或与他们没有直接关系。
  • 时间旅行的错觉：互动中许多参与者感到跨时间的连接，有些甚至描述为“时间旅行”，如“过去来到现在”或“现在到过去”。
  • 参与式互动的积极影响：即兴演奏使参与者感到与录制钢琴家产生了虚假的双向交流，类似于一种“想象中的对话”。

• 与现有解决方案相比，它有哪些优势？

  • 对已故者的互动研究：相比现有纪念性设计框架，MirrorFugue具有更高的沉浸感和互动性，而非简单回忆。
  • 情感纽带的加强：对现存的社会关系和过去的自我延续，提供了一个触碰失落片段的空间。
  • 广泛适配性：适用于生活中的各种关系，包括与陌生人、家人和过去的自我互动。

• 实验或评估结果是什么？

  • 统计数据：与已故钢琴家交互产生显著更强的心率变化和情感反应，表明这种互动可能触发深层次的情感连接。
  • 访谈反馈：参与者报告体验带来了许多回忆，包括与钢琴家共享的时光、过去的个人困境，以及生活中的变迁。

• 局限性与未来方向

  • 交互的长期效益尚未探索：研究尚未通过长期调查验证系统在日常生活中的持续影响。
  • 部分生理数据未能使用：由于技术限制，皮肤电活动未能充分捕捉参与者的情感变化。
  • 未来方向：研究可以整合生成式AI，为过往钢琴家添加交互变化；进一步探索如何将这种交互拓展到非音乐相关领域。

总结

本研究通过MirrorFugue探索了跨时间的虚拟临场感设计，成功地增强了用户与过去钢琴家及已故者之间的情感联系。参与者在互动中获得了情感慰藉、自我反思和对失落关系的新认知。这项研究不仅对心理健康、技术设计与纪念性交互具有重要启示，也为扩展临场感技术的应用边界提供了原型性思路。