基于手语与基于触控输入的聋人用户与智能个人助理交互的评估

文献标题

Assessment of Sign Language-Based versus Touch-Based Input for Deaf Users Interacting with Intelligent Personal Assistants

文献信息

• 主题领域: 无障碍交互设计与智能个人助理
• 关键词: 聋人、无障碍设计、智能个人助理、美国手语、人机交互、用户体验、手势输入、语音识别技术、多模态交互、用户研究

研究背景与问题

• 研究问题与挑战:
  • 智能个人助理 (IPAs) 基于自动语音识别（ASR）与用户交互。然而，这种语音输入模式对聋人用户来说并不适用。
  • 遇到的主要问题包括：
    • 语音识别对特殊语音（如聋人语音）准确性较差。
    • 大部分 IPAs 缺乏支持手语命令输入功能。
    • 聋人用户在家居环境中使用 IPAs 的研究较少，缺乏相关用户界面的无障碍设计指导原则。
• 研究动机:
  • 聋人约有 7000 万，其中约 50 万人在日常使用美国手语 (ASL)。针对这部分群体的 IPA 输入方式优化意义重大。
  • 提升手语在智能助手中的可行性，可以为未来通用手语识别技术铺平道路。
  • 作者响应了其他学者提出的两个研究呼吁：“聚焦真实场景应用”和“开发针对手语交互的用户界面规范”。

解决方案

• 方法和实验设计:

  • 本研究采用 Wizard-of-Oz (WoZ) 方法，模拟 IPA 对美国手语 (ASL) 的自动识别，通过智能家居环境下的有限场景，研究用户对于 ASL、Tap to Alexa 和智能家居应用交互方式的使用体验。
  • WoZ 方法中，由熟练 ASL 的研究者扮演隐藏的“向导”，实时将 ASL 翻译为口语命令，发送至亚马逊 Echo Show 设备。
  • 实验还采集了用户的语言习惯，包括手语词汇分布和结构性观察。

• 关键技术与步骤:

  1. 输入模式比较:
     • 测试三种输入模式：ASL（Wizard-of-Oz）、Tap to Alexa（触摸屏输入）和智能应用（通过手机或平板操作）。
  2. 研究任务:
     • 设计了三套平行任务清单，涵盖灯光控制、视频播放及定时任务等常见智能助手功能。
  3. 数据收集与分析:
     • 使用系统可用性量表 (SUS) 和事后问卷衡量用户体验。
     • 使用 ELAN 工具对手语视频进行词汇和非手势信号的注释与分析。

• 研究创新点:

  • 首次系统性比较了 ASL 与触摸输入在智能家居环境中的用户体验差异。
  • 考察了手语用户与 IPA 的交互语言现象，为未来设计自动手语输入系统提供数据支持。
  • 综合手语语言学、HCI 和无障碍设计，提出文化敏感的新型 IPA 唤醒方式。

研究成果

• 具体成果:

  1. 用户体验结果:
     • ASL 模式在 SUS 得分中获得 71.6，接近“可接受”范围，并略高于其他系统平均水平 (70)。
     • Tap to Alexa 和基于应用的输入方式分别得分 61.4 和 56.3，显示中低水平的用户体验。
  2. 语言分析结论:
     • 参与者的平均手语词汇量为 47 个单词，外加 10 个拼字词，总计包含 246 个不同标注。
     • 约 117 个词汇对 IPA 的语义理解至关重要（涵盖与命令相关的核心词汇）。
     • 用户习惯使用手势（如挥手和指向）与词组索引进行交互，表明 IPA 对参照词的支持需要进一步研究。

• 与现有解决方案的比较:

  • ASL 模式用户体验接近传统语音交互方式在普通人群中的数据（SUS 63.7），优于现有的文字或触摸输入方法。
  • ASL 交互体现了文化敏感性，如手势唤醒更符合聋人群体的交流习惯。

• 研究局限性:

  • Wizard-of-Oz 方法对 ASL 翻译存在潜在偏差，无法完全反映未来自动化系统的延迟和准确性。
  • 由于实验限制，任务设计偏重有限的智能家居场景，未完全覆盖聋人用户的广泛交互需求。
  • 英语唤醒词不符合音乐文化，导致部分任务中用户感受被影响。

• 未来方向:

  1. 探讨多元唤醒方式（如挥手、眼神接触和命名动作）在真正的 ASL 智能助手中的适应性。
  2. 扩大研究范围至日常深入场景如厨房或车内环境，检验 ASL 功能在复杂动态操作场景中的表现。
  3. 推进跨学科研究，提升智能系统的手语识别准确性，尤其是对单手数字、拼字和上下文相关意思的灵活处理。

主要输出格式与清晰性

• ASL 可支持有限智能场景交互，但需要克服文化和技术挑战。
• 作者呼吁进一步深挖手语识别技术与无障碍智能设计。