手势生成系统的大规模众包评估：GENEA Challenge 2020

文献标题

A Large, Crowdsourced Evaluation of Gesture Generation Systems on Common Data: The GENEA Challenge 2020

文献信息

• 主题领域: 语音驱动的手势生成、人机交互评估
• 关键词: 手势生成, 会话代理, 评估框架, 数据驱动, 用户研究, 人机交互, 数据集标准化, 动作生成, 多模态通信

研究背景与问题

• 问题或挑战:

  1. 手势在语音交互中扮演着重要角色，但自动生成手势的技术尚未成熟。
  2. 目前手势生成领域的研究结果难以比较，因为不同研究使用的数据集、评价标准、以及可视化方法不同。
  3. 缺乏通用数据集和标准化评估框架，阻碍了状态前沿技术的进一步发展和比较。

• 重要性: 自动手势生成是构建具备自然交互能力的会话代理（ECAs）的关键技术。相比仅依赖语音，手势和语音的多模态互动能够提高交流的自然性和信息传递效率。

• 研究动机与相关工作:

  1. 数据驱动方法逐渐成为语音手势生成领域的主流，但缺少可靠的基准测试。
  2. 从其他领域的挑战（如语音合成中的Blizzard Challenge和计算机视觉中的CLIC挑战）中汲取经验，建立手势生成领域的首个挑战赛和基准测试。
  3. 提供标准化训练数据和评估方法，以公平和系统地比较不同的生成方法。

解决方案

• 方法或解决方案: 作者组织了名为“GENEA Challenge 2020”的手势生成挑战赛：

  1. 提供统一的数据集：Trinity Gesture Dataset，包含语音和动作捕捉数据。
  2. 定义标准化评估框架：通过统一的3D虚拟角色实现手势可视化，并通过大量用户实验进行评估。
  3. 结合两种评价标准：人类动作的“人类感”与动作的“语音适应性”。

• 创新之处:

  1. 控制了手势生成方法之外的其他变量（数据集、评估标准与可视化）。
  2. 提供开源代码、处理后的数据集，以及标准化的可视化和评估流程。
  3. 首次联合评估多个当前领域的顶尖手势生成方法，并开放生成结果供以后研究使用。

• 实施步骤:

  1. 参与者在给定的通用训练数据集上进行模型构建。
  2. 使用挑战赛测试数据生成对应的手势序列，并提交进行集中评估。
  3. 通过大规模用户实验测评每种方法的“人类感”和“语音适应性”。

研究成果

• 具体成果:

  1. 对9种手势生成系统进行了评估，包括5个参赛系统、2个基准方法和2个人类动作对照条件。
  2. 通过大规模、标准化的用户实验（共250位参与者），为各系统的手势生成质量提供了明确量化的排名。
  3. 提供了采用相同标准的测试数据、生成结果和相关实验结果，供后续研究对比。

• 优势与对比:

  1. 挑战赛的参赛作品总体比此前基线方法表现更优，标志该领域在生成质量上有所进步。
  2. 不同的模型在“人类感”和“语音适应性”方面的表现存在差异，说明生成模型可以针对性优化某方面指标。

• 实验结果:

  1. 人类感评分中自然动作显著优于其他生成方法；
  2. 无语音相关性条件（Mismatched motion）在语音适应性方面得分高于大部分生成方法，表明生成方法仍难以生成语音相关性强的动作。

• 局限性与未来方向:

  1. 数据集仅包含单一演员的英语独白，缺乏多语言、多场景的语料支持。
  2. 手势生成限制于上半身动作，未包括全身或面部动态。
  3. 挑战赛未能将语义相关性和节奏相关性分开评价，可能影响评估的准确性。
  4. 未来可尝试扩展至交互性强的会议场景和更复杂的多语言数据。