我感觉我们在一起：人们在基于文本的通信中如何感知个性化人脸交换GIF

文献标题

I Feel We Are Together: How People Perceive Personalized Face-Swapped GIFs in Text-Based Communication

出版信息

• 主题领域: 基于文本的通信中人工智能介导的自我呈现
• 关键词: 换脸GIF，生成式人工智能，计算机媒介通信，自我呈现，社会临场感，亲密感，非语言线索，身份线索，情感表达，隐私问题

背景与问题

• 问题/挑战: 基于文本的计算机媒介通信（CMC）缺乏丰富的非语言线索，如面部表情，这对于情感和社会互动至关重要。现有的视觉线索（如表情符号、通用GIF）具有象征性，无法反映用户的真实身份。尽管生成式人工智能能够实现个性化的自我呈现，但其在基于文本的CMC中的社会情感影响尚未得到充分探索。
• 重要性: 在基于文本的CMC中增强自我表达和关系亲密感，对于提升通信质量和情感连接至关重要，尤其是在异步环境中。
• 动机与相关研究: 先前研究表明，非语言线索（如表情符号和GIF）能够增强社会临场感和情感共鸣。然而，这些线索是抽象的，缺乏具身的身份特征。同步媒体（如视频通话）提供了更丰富的身份线索，但会带来较高的心理负担。本研究通过引入和评估换脸GIF（FSGIFs），作为一种新型的人工智能介导的具身身份线索，用于异步的基于文本的CMC，从而填补这一研究空白。

解决方案

• 提出的方法: 换脸GIF（FSGIFs），通过生成式人工智能将GIF中的面部替换为用户的面部，以增强基于文本的CMC中的自我呈现和关系亲密感。
• 创新点:
  1. 实证验证FSGIFs作为基于文本的CMC中的社会情感工具。
  2. 探索通过FSGIFs进行人工智能介导的自我呈现在二人互动中的效果。
  3. 基于社会互动理论分析FSGIFs的社会情感影响。
  4. 为反映用户面部身份的个性化视觉线索设计提供启示。
• 研究过程与关键技术:
  1. 对32名参与者（16对亲密熟人）进行了两阶段的被试内实验。
  2. 第一阶段：在使用FSGIFs和通用GIF进行协作旅行计划任务时，测量关系效果（如亲密感、共同临场感）。
  3. 第二阶段：在受控环境中评估FSGIFs与通用GIF的情感效果（如情感效价、唤醒水平）。
  4. 通过半结构化访谈探索用户的感知、使用策略和隐私顾虑。

研究结果

• 具体发现:
  • 与通用GIF相比，FSGIFs显著提高了共同临场感（M = 5.56 vs. M = 4.66, p <.001）、亲密感（M = 5.91 vs. M = 5.25, p <.01）和愉悦感（M = 6.59 vs. M = 6.03, p <.05）。
  • FSGIFs实现了更高的选择性自我呈现（M = 5.84 vs. M = 4.72, p <.001），且未增加心理负担。
  • 与通用GIF相比，FSGIFs中的负面情绪被感知为强度较低且表达较少（p <.001）。
• 相较基线的优势:
  • FSGIFs通过提供高保真度的身份呈现，以低成本弥合了象征性线索（如通用GIF）与同步媒体之间的差距。
  • 在不增加视频线索性能负担的情况下，增强了关系效益。
• 实验/评估:
  • 第一阶段：在自然对话任务中使用对照条件（通用GIF vs. FSGIFs）。
  • 第二阶段：基于Russell情感圆模型对情感感知进行受控评估。
  • 评估指标：社会临场感、自我披露、自我呈现、情感效价、唤醒水平、表达性。
• 局限性与未来工作:
  • 仅限于亲密好友二人组，研究结果可能无法推广到其他关系或群体情境。
  • 新奇效应可能影响FSGIFs的初始积极接受度。
  • 合成质量问题（如面部几何不匹配）需要改进。
  • 未来研究应探索长期使用、更多样的关系情境以及其他具身身份线索（如手势、声音）。

总结

本研究提出了换脸GIF（FSGIFs），作为一种新型的人工智能介导的具身身份线索，用于基于文本的通信。FSGIFs在保持异步CMC低成本和可控性的同时，增强了关系亲密感、共同临场感和自我表达。定量和定性分析表明，FSGIFs在亲密关系中尤为有效，但用户更倾向于将其用于正面表达，并避免负面情境。研究结果突出了FSGIFs在个性化与隐私及情境适应性之间的平衡潜力，为通信技术设计提供了新的机会。未来研究应解决合成质量问题，探索更广泛的关系情境，并调查长期采用的可能性。