分析聋人和重听用户对理解手语输入的个人助理设备的行为、使用和互动

文献标题

Analyzing Deaf and Hard-of-Hearing Users’ Behavior, Usage, and Interaction with a Personal Assistant Device that Understands Sign-Language Input

文献信息

• 主题领域: 辅助技术与人机交互，特别是针对聋人和听障用户的个人助手设备设计
• 关键词: 聋人和听障用户、辅助技术、人工智能、个人助手设备、手语识别、无障碍设计

研究背景与问题

• 发现的问题或挑战:

  • 目前基于语音的个人助手设备如Amazon Alexa对聋人和听障用户构成无障碍挑战，这些设备通常要求语音输入或能读取语音输出。
  • 尽管媒体有报道，但目前没有有效的手语识别系统可以准确理解用户命令。
  • 用于手语识别的现有数据集十分有限，无法有效支持现代机器学习模型的训练。

• 问题的重要性:

  • 随着语音控制技术的普及，如果无法有效解决无障碍问题，聋人和听障用户将进一步处于数字和技术使用的不平等地位。
  • 新冠疫情凸显了家居技术的重要性，为此提升手语识别交互技术的可行性变得更加急迫。

• 研究动机与相关工作:

  • 现有研究询问了聋人和听障用户对手语交互的兴趣，调查了他们可能希望与设备交互的命令种类。然而，这些研究主要基于用户的假设而非实际交互场景。
  • 没有通过观察实际用户行为的研究来揭示用户如何自然地与能够理解手语的设备进行交互。

解决方案

• 提出的方法或解决方案:

  • 作者采用“Wizard-of-Oz”实验方法（用隐藏的真人手语翻译模拟设备的手语识别功能），让参与者以手语与个人助手设备互动。
  • 详细记录了参与者的命令、设备唤醒方法以及设备出错时的用户行为，并建立了超1400条交互片段的视频数据集及注释。

• 创新之处:

  • 第一次通过观察实际交互行为研究聋人和听障用户与能够理解手语的个人助手设备的交互模式。
  • 提供了实用的设计指导，包括用户偏好的唤醒方式、常用的ASL（美式手语）命令结构，及如何处理设备交互中的错误。
  • 公开提供了首个手语与个人助手设备交互的标注数据集。

• 实施步骤与关键技术:

  1. 通过“Wizard-of-Oz”设置，参与者通过视频会议平台与一个Alexa设备（模拟理解手语）进行互动。
  2. 使用高质量视频记录每一位参与者的互动过程。
  3. 三位团队成员对视频进行详细的注释和分类，包括设备唤醒方式、命令类型及用户回复错误的方法。
  4. 使用BERTopic等工具对命令进行主题建模，确定广泛的命令类别与模式。

研究成果

• 具体成果:

  • 确定了聋人和听障用户激活设备时常用的11种唤醒方法，包括拼写“Alexa”、挥手和ASL特有手势（如“Curious”手势）。
  • 提取了参与者使用的15类命令主题，包括控制设备(352次)、娱乐(162次)、购物(126次)等，还发现了一些特定聋人和听障用户独有的命令类别（如字幕请求）。
  • 定义了用户在设备出错时的5种主要应对行为，其中包括无视错误、用相同或不同的表达重复命令。
  • 观察到参与者从流利ASL到更加英语化表达的代码转换行为，特别是在设备重复失误的场景中。

• 相较现有解决方案的优势:

  • 通过观察用户与设备的实际互动，超越了基于假设和调查数据的研究。
  • 数据集为手语识别与无障碍交互技术研究提供了宝贵的实际基础。

• 实验或评估结果:

  • 使用“Wizard-of-Oz”原型，发现参与者对设备的兴趣并未因一系列互动体验而下降，相较于实验前后，兴趣水平具有统计等效性。
  • 收集到的交互数据涵盖了零散数据集中未曾探索的大量内容，这些数据对机器学习模型和设备优化具有实际价值。

• 局限性与未来方向:

  • 实验由于COVID-19疫情在线上进行，无法测试基于物理触控的唤醒方法，也未能使用高分辨率摄像设备捕捉用户行为特写。
  • 将来可探索用户在真实家庭环境中更长期、更自然的设备使用行为。
  • 可进一步研究屏幕以外的设备形态，以及未接触屏幕设备的DHH用户交互。
  • 延伸应用领域，如通知周围声音变化（烟雾报警器、电铃）或翻译服务功能。