SGToolkit: 用于具身对话代理的交互式手势创作工具包

文献标题

SGToolkit: An Interactive Gesture Authoring Toolkit for Embodied Conversational Agents

文献信息

• 主题领域: 人机交互、人工智能、虚拟角色动画
• 关键词: 语音手势, 社会行为, 手势创作, 工具包, 虚拟代理, 神经生成模型

研究背景与问题

• 发现的问题或挑战: 虽然非语言行为对社会机器人、虚拟角色等具体现身人工代理至关重要，但现有的关键帧动画和动作捕捉方法成本高且不适用于大量语音手势场景。此外，自动生成方法质量有限，难以满足设计师的修改需求。
• 重要性: 恰当的手势动作能够揭示角色意图、吸引听众注意，以及增强人机互动角色之间的亲和力。
• 研究动机: 现有工具包（如 USC 的 Virtual Humans Toolkit 和 SoftBank Robotics 的 NAOqi）依赖预定义规则，语音手势生成质量有限且缺乏平台独立性。此外，缺乏互动式手势编辑功能导致手势无法准确表达设计者的意图。

解决方案

• 提出的解决方案: 开发了 SGToolkit，一个语音驱动的手势生成工具包，集成了自动生成和手动控制功能，支持精细级别的姿态控制和粗略级别的风格控制。
• 创新之处:
  • 结合数据驱动模型与用户手动控制，提供高质量的手势输出。
  • 提供平台独立的工具，同时支持语音文本和音频输入。
• 实施步骤与关键技术:
  1. 设计神经生成模型架构，将基于语音内容的自动手势生成与用户输入的控制（姿态和风格）相结合。
  2. 模型训练使用 TED 数据集，其中包括97小时的 TED 演讲视频和3D人体姿态数据。
  3. 通过用户参与开发直观的交互界面，结合网络应用和数据库支持，确保工具的灵活性与易用性。

研究成果

• 具体成果:
  • SGToolkit能够高效生成语音驱动的手势，并且使用该工具用户能够在自动生成草稿的基础上方便地调整手势。
  • 用户研究表明，与手动关键帧动画相比，该工具在时间有限的情况下可显著提高生成效率和手势质量。
  • 实验表明，训练的模型能够精确地遵循用户的姿态和风格控制，同时也支持完全自动生成。
• 优势:
  • 在有限时间内，生成的手势在拟人化程度和语音一致性方面超过手动关键帧动画。
  • 支持根据用户意图调整手势，比单纯的自动生成方法更灵活。
  • 提供一套完整开源的API接口，适用于不同平台。
• 实验与评估结果:
  • 用户研究和众包质量评估表明，用该工具生成的手势，其语音匹配度（appropriateness）和人类拟真度（human-likeness）均接近人类真实动作。
  • 用户在互动式条件下评分较高（意图表达：M=4.7）且认为生成的手势更加适合语音内容（M=4.7）。
• 局限性与未来方向:
  • 输出手势可能与用户输入的姿态控制略有偏差，尤其是输入不合理的姿势时。未来可增加后处理功能以优化这种情况。
  • 工具当前未支持面部表情和手部动作的生成。建议通过改进数据集或整合现有生成模块来实现综合动作生成。
  • 可进一步扩展社会机器人和虚拟代理领域的应用场景，提高模型的多模态适应性。

总结

SGToolkit结合自动与交互式手势生成，为开发者提供了一种有效、更精细控制的解决方案，同时显著减少了手势生成的时间和成本。在人机交互、游戏和教育领域具有广泛的应用潜力，同时未来改进方向包括面向手势完整性的综合生成和用户需求的优化处理。