面向包容性视频评论：为聋人和听力障碍者引入Signmaku

文献标题

Towards Inclusive Video Commenting: Introducing Signmaku for the Deaf and Hard-of-Hearing

文献信息

• 主题领域: 视频学习的包容性设计，以及面向聋人和听力障碍用户的技术应用
• 关键词: 聋人和听力障碍群体 (DHH)、社会互动、弹幕 (Danmaku)、手语弹幕 (Signmaku)、视频学习、生成式人工智能、隐私保护、教育科技

研究背景与问题

• 发现的问题或挑战:

  • 现有的弹幕（Danmaku）是一种通过文本注释视频的互动形式，但这种文本方式对许多以手语为主要沟通工具的聋人和听力障碍（DHH）用户并不友好。
  • 手语用户在分享和观看评论时面临隐私暴露的风险，而文本评论无法提供与手语相当的视觉和语义信息。
  • 视频学习中缺乏支持手语的互动机制，这导致聋人群体在社会互动和学习参与中面临额外的困难。

• 问题重要性:

  • 美国有超过50万人将美国手语（ASL）作为主要交流语言，但视频学习平台的主要设计往往是以听力用户为中心。
  • 视频学习平台能够通过互动增强学习效果，而对于DHH用户，缺乏相关支持可能进一步放大他们在教育和社会互动中的不平等。

• 研究动机与相关工作:

  • 现有研究主要关注于通过字幕技术提高视频学习的可访问性，但对DHH学生而言，字幕并不能完全弥补信息获取上的差距。
  • 社交媒体和弹幕作为一种学生参与和互动的新形式，其应用和研究通常忽视了手语用户的需求。
  • 为探索弹幕的代际可能性，研究需要支持DHH人群的偏好，使他们能够使用更自然的交流方式。

解决方案

• 提出的方法或解决方案:

  • 设计了一种基于手语的评论功能“Signmaku”（手语弹幕），这是一种新的交互模式，允许DHH用户以美国手语（ASL）形式发表评论。
  • 探讨了三种不同风格的Signmaku设计：真实人脸视频（Realistic）、卡通化视频（Cartoon）、和机器人化视频（Robotic），以解决隐私和理解性需求之间的权衡。

• 创新之处：

  • 提出了手语与弹幕相结合的互动模式，在视频学习中增强了视频内容和学习者之间的社会连接感。
  • 使用生成式人工智能技术处理手语视频，探讨了隐私保护和内容理解之间的平衡。

• 实施步骤与关键技术：

  • 第一阶段: 通过需求研究（12名DHH用户参与），了解用户对Signmaku的反馈和需求，包括观看和评论的偏好。
  • 第二阶段: 通过对比实验（20名DHH用户参与），获取用户对三种不同Signmaku风格的感知，以及他们对评论和分享Signmaku的接受度。
  • 关键技术:
    • 使用VToonify实现卡通风格的面部和背景滤镜。
    • 使用DeepMotion生成机器人风格的面部与肢体动作。

研究成果

• 具体成果:

  • Cartoon风格的Signmaku最受欢迎，因其兼具娱乐性和较低的认知负担，同时还能在一定程度上保护隐私。
  • Realistic风格的Signmaku因其高度的可理解性，有最低的认知负担，但缺乏隐私保护。
  • Robotic风格的Signmaku引发了最高的认知负担，主要原因是手势和面部表情的不自然表现。

• 与现有解决方案的比较与优势:

  • 相较于文本弹幕，Signmaku提供了对DHH用户更友好的交互方式，通过视觉化的手语信息弥补了字幕的不足。
  • Cartoon风格在分享和保护隐私之间达到了较好的平衡，用户评论的数量和分享度高于Robotic风格。

• 实验与评估结果:

  • 观看Cartoon Signmaku时，用户报告大幅提升了训练过程中的情感参与度和娱乐体验。
  • 分享Signmaku的过程表明，DHH用户在手语表达上的流畅度优于文本表达，并更愿意通过Signmaku进行交流。

• 局限性与未来方向:

  • 局限性:
    • 研究受限于使用美国手语（ASL），其他手语体系可能有不同的需求。
    • 参与者主要来自专注于DHH教育的大学，样本多样性仍需拓展。
    • 目前的Signmaku设计尚不支持实时个性化调整，未来需要开发自定义工具。
  • 未来研究方向:
    • 在主流教育环境下验证Signmaku的适应性，并扩大到更多手语语言与文化背景的DHH用户。
    • 探讨如何让听力用户参与Signmaku平台，实现不同用户群体间更广泛的互动与合作。
    • 优化生成式人工智能模型，使其能更准确地表现手语表情并支持多样化过滤器选项。