聋人和重听人获取智能个人助理：语音选项与 LLM 驱动的触摸界面的比较

文献标题

Deaf and Hard of Hearing Access to Intelligent Personal Assistants: Comparison of Voice-Based Options with an LLM-Powered Touch Interface

出版信息

• 主题领域: 智能个人助理对聋人及听力障碍者的可访问性。
• 关键词: 聋人语音、构音障碍语音、智能个人助理、可访问性、大型语言模型、触控界面、巫师实验、自动语音识别、可用性、多模态交互。

背景与问题

• 问题/挑战: 智能个人助理（IPA）难以识别聋人口音的语音，限制了使用英语口语的聋人及听力障碍者（DHH）的可访问性。现有替代方案如触控界面效率较低且缺乏上下文意识。
• 重要性: 提升IPA对DHH用户的可访问性对于实现技术的公平性至关重要，可帮助用户独立操作智能环境并完成日常任务。
• 动机与相关研究: 先前研究探索了手语输入和触控界面，但未充分解决DHH用户使用英语口语的可用性问题。目前的自动语音识别（ASR）系统无法适应非标准语音模式，而触控界面效率低下且缺乏适应性。本研究探讨了可行的替代方案，包括一种新型基于LLM的触控界面。

解决方案

• 提出的方法: 通过混合方法研究比较三种IPA输入方式：自然聋人语音、巫师实验辅助英语语音、以及基于LLM的触控界面。
• 创新点:
  1. 评估Alexa在未经训练的情况下理解自然聋人口音语音的能力。
  2. 引入基于LLM的触控界面，利用情境上下文和用户历史记录提升可用性。
  3. 比较DHH用户在语音和触控输入方式上的可用性指标。
  4. 识别多模态IPA交互中的用户偏好和局限性。
• 实验流程与关键技术:
  • 参与者通过三种方式与IPA交互：直接语音输入、辅助语音输入（通过人类转述），以及触控界面。
  • 定量指标包括系统可用性量表（SUS）、形容词量表、净推荐值（NPS）和词错误率（WER）。
  • 定性洞察通过半结构化访谈收集。
  • 基于LLM的触控界面使用GPT-4o生成情境相关的任务建议。

结果

• 具体发现:
  • SUS得分：触控界面（63.5）、辅助英语语音（62.5）、自然聋人语音（59.6）；差异无统计显著性。
  • 形容词量表：触控界面（5.15）、自然聋人语音（5.0）、辅助英语语音（4.8）；所有方法评分介于“尚可”和“良好”之间。
  • NPS：触控界面得分为-10，自然聋人语音为-5，辅助英语语音为-40。
  • WER：半数参与者无识别错误，其他参与者错误率范围为0.61%至30.91%，其中两名参与者错误率为100%。
• 相较基线的优势:
  • 基于LLM的触控界面在SUS和形容词量表得分上优于先前关于Tap-to-Alexa和智能家居应用的研究。
  • 自然聋人语音表现出令人惊讶的识别准确性，激励进一步探索IPA对聋人口音语音的原生支持。
• 实验/评估:
  • 从DHH社区招募的20名年龄在20至75岁的参与者测试了三种输入方式，实验环境为模拟智能家居。
  • 任务包括控制灯光、设置计时器以及查询信息。
  • 混合方法设计结合了定量指标和定性访谈。
• 局限性与未来工作:
  • 巫师实验方法可能高估了辅助语音的有效性。
  • 采样集中于使用英语口语的DHH个体，限制了研究的普适性。
  • 基于LLM的触控界面存在延迟及选项排序的可变性。
  • 未来工作应探索免手操作选项如手语识别，并优化基于LLM的交互设计。

总结

本研究比较了三种IPA输入方式——自然聋人语音、辅助英语语音和基于LLM的触控界面，以评估对DHH用户的可访问性。定量结果显示各方法的可用性得分相当，定性反馈则揭示了语音识别的混合体验以及对触控界面的积极态度。Alexa在聋人口音语音识别方面表现出令人惊讶的准确性，但对非典型语音用户仍存在显著局限性。基于LLM的触控界面展现了潜力，但需改进延迟及用户界面设计。研究结果强调了多模态IPA交互选项的必要性，包括对聋人口音语音的原生支持及免手操作的替代方案如手语识别。