远程协同设计使用自动字幕为聋人和听力正常者配对的通信应用程序功能

文献标题

远程协同设计：聋人和听力健全个体共同协作，以自动字幕优化沟通应用的特性设计

文献信息

• 主题领域: 人机交互 (HCI) 和无障碍设计
• 关键词: 聋人和听障用户, 无障碍设计, 参与式设计, 自动语音识别 (ASR), 视频会议, 用户体验, 混合能力群体, 协同设计, 技术无障碍性, 远程研究

研究背景与问题

• 作者发现的问题或挑战:

  • 聋人和听力障碍用户 (DHH) 在面对面和远程会议中面临沟通挑战，而当前基于自动语音识别 (ASR) 的解决方案尚存在准确性和用户界面设计的限制。
  • 对于小组会议来说，与听力用户的有效沟通对聋人用户的职业成功至关重要。然而，传统解决方案如专业手语翻译或实时字幕往往需要提前安排，难以满足临时需求。

• 研究的重要性:

  • 在COVID-19疫情导致会议模式转为远程的背景下，很多传统的沟通方式（如笔谈和手势）变得更加困难。使得这类无障碍技术的改进显得尤为重要。
  • 当前尚缺乏基于ASR技术的沟通应用在人机交互（HCI）中的用户体验研究，而且很少有研究结合聋人和健听用户的共同参与来开展技术设计。

• 研究动机与相关工作:

  • 受疫情限制，传统的面对面协同设计方法被打断。与此同时，远程协同设计能够解决人员招募和日程调度等问题，增加参与者的地理多样性。
  • 本研究尝试提出一种新方法，通过远程协同设计的方式，结合聋人和听力用户，探索ASR功能设计的有效性，填补相关研究空白。

解决方案

• 研究方法:

  • 作者设计并实施了18次完全虚拟的协同设计工作坊，每次工作坊包含一名聋人参与者和一名听力参与者，通过Zoom进行线上会面。
  • 工作坊的设计重点围绕两个方向：
    1. 如何修正ASR输出中的转录错误；
    2. 如何设计通知系统以影响听力用户的说话行为（如提醒其放慢语速）。
  • 方法采用了一系列提前规划的协同设计活动，包括单独头脑风暴、设计工具的破冰活动、个体草图绘制和团队协同原型设计。

• 创新之处:

  • 首次结合了远程设计方法、混合能力群体参与和协同原型设计，提供了一种全新的参与式设计模式。
  • 作者设计了基于实时在线工具（如Miro白板）的协同对话方法，并灵活结合手语翻译和文本聊天等多种沟通方式满足不同用户的需求。

• 实施步骤与关键技术:

  1. 使用文本聊天和手语翻译优化沟通方式；
  2. 在线工具（Miro）用于协同原型设计，并结合文本框对不足用图形表达的设计提供辅助说明；
  3. 参与者通过讨论、草图绘制与原型迭代，共同设计出满足ASR用户需求的功能。

研究成果

• 具体成果:

  • 方法学贡献：验证了远程协同设计方法能有效促进聋人和听力用户的合作，并生成高质量设计原型。
  • 确定了用户解决ASR错误及设计通知系统的三种主要类型：图标 (Icons)、弹窗 (Pop-Ups) 和覆盖层(Overlays)，并分别根据视觉干扰度分类为低、中和高三种易察觉等级。
  • 提出了一些无障碍设计领域的实践建议，包括如何设置远程设计的工作流、工作坊结构和鼓励参与者参与的具体建议。

• 优势:

  • 相较于传统参与式设计方法，远程设计突破了地理限制，充分利用了在线工具以支持用户协作。
  • 混合能力群体体验视角的结合，使设计原型更具普适性，能够更加灵活应对不同无障碍需求。

• 实验或评估结果:

  • 工作坊生成了一系列高质量设计原型，包括基于文本错误修正的提示机制和影响听力用户说话方式的通知特性。
  • 研究方法有效提升了聋人和听力用户之间的协作参与度，同时确保了沟通的顺畅性和信息互通。

• 局限性与未来方向:

  • 局限性：仅通过Zoom平台开展，可能受特定平台功能限制，同时参与者人数较少且集中于某些教育背景，可能影响结果的广泛代表性。
  • 未来研究建议：延长工作坊时间以深入扩大讨论范围；扩大参与者人口特征的多样性；进一步测试设计原型在真实沟通场景中的适用性；探索更多开放性设计主题。