视觉模式对与交互式数字证词对话的影响：为见证人后时代做准备

研究背景与问题

• 作者发现了哪些问题或挑战？ 当前人类历史上的重大事件亲历者（如大屠杀幸存者）逐渐减少，因此对于真实对话体验的数字化保存变得愈发重要。然而，对于交互式数字证言（Interactive Digital Testimonies, IDTs）的输出模式（例如音频、2D 视频和 3D 视频）的用户体验影响却还缺乏实证研究。

• 为什么这个问题很重要？ IDTs 的目的在于长久地保存并通过交互方式传播人类历史经历。了解不同输出模式如何影响用户的参与度、感知真实性和沉浸感，对于优化教育和纪念体验有重要意义，特别是在“后见证者时代”。

• 研究动机与相关工作： 早期研究表明，目击者故事的真实性和生动性对受众的情感连接和学习质量至关重要。然而，很多关于交互式虚拟角色的研究主要集中在语音和视觉合成代理上，少有探讨以真实录制为基础的 IDTs。本研究希望填补这一空白，同时为未来的设计优化提供实证依据。

解决方案

• 作者提出了哪些方法或解决方案？ 本文提出了对不同输出模式（音频、2D 视频、3D 视频）进行用户体验比较的方法，结合两项混合方法研究：

  1. 比较音频与 2D 视频模式在在线和当面环境中的影响（第一项研究，82名参与者）。
  2. 比较 2D 视频与 3D 视频模式的用户体验差异（第二项研究，51名参与者）。

• 该解决方案的创新之处是什么？ 第一，研究拓展了关于真实记录的虚拟人类代理而非合成交互代理的探索；第二，探索了 3D 模式的潜在优势及其在沉浸感和真实性上的影响；第三，它结合多种方法（问卷、定性访谈）并考虑了不同环境和设备设置下的互动。

• 实施步骤是什么？使用了哪些关键技术？

  1. 两项实验设计：第一项为 “音频 vs. 2D输出” 的 2×2 实验设计（“在线 vs. 当面”）；第二项为 “2D vs. 3D输出” 的用户对比实验。
  2. 音频处理采用自然语言处理（NLP）服务（如 Google Dialogflow）来分析语言意图并匹配相关答案。
  3. 提供了音频、2D 或 3D 录制的目击者互动内容，数据收集包括标准化问卷（如用户体验问卷 UEQ-S）和开放式访谈。

研究成果

• 取得了哪些具体成果？

  • 音频 vs. 2D 视频：2D 模式被证明能显著提升用户的体验、沉浸感和感知真实性。音频模式被认为缺乏视觉社交线索，导致参与感较低。
  • 2D 视频 vs. 3D 视频：3D 模式在真实性和出现震撼性上表现更突出，但因眼睛疲劳和 3D 眼镜的不适性使得这一优势受限。
  • 核心发现包括：视觉呈现是 IDTs 用户体验的重要因素，但高质量的 2D 视频往往能够满足大部分用户需求，而 3D 模式的额外成本是否合理需要根据具体应用情境进一步评估。

• 与现有解决方案相比，它有哪些优势？

  • 本研究以真实音频和视频记录为核心，避免了合成代理可能带来的“不适谷”（Uncanny Valley）效应。
  • 针对未来教育和纪念设计提出了明确的改进方向，如探索无需 3D 眼镜的自动立体显示技术、提供动态字幕以改进可访问性。

• 实验或评估结果是什么？ 第一项研究表明：

  • 2D 视频用户更容易集中注意力，并与数字证人建立更强的情感连接，特别是通过特定的非言语线索（如手势、面部表情）。
  • 在线和当面互动存在差异，在线用户更愿意接受技术不便，但现场用户报告更高的情感冲击力。

  第二项研究表明：

  • 3D 视频增强了空间深度感并提供了更多细节，但长时间观看中增加的身体不适会抵销其优势。
  • 用户偏好在 2D 和 3D 之间分布接近均等，表明需要根据使用场景和目标群体定制不同的模式。

• 局限性与未来方向：

  1. 当前 3D 的技术实现可能限制了其优势（如需要 3D 眼镜）；未来研究可探索眼镜外 3D 技术或支持多人共享的显示系统。
  2. 本研究主要针对成人参与者，未来应扩展到中学生群体以探索其对课堂教学的适用性。
  3. 检验内容主要为大屠杀见证人的证言，如扩展到其他主题或喜庆话题时是否保持相同结果需另行验证。

通过本研究，作者为 IDTs 的未来发展提供了宝贵的实证数据和设计优化建议，特别是在视觉显示和用户体验之间平衡的策略设计上。