为患有失语症的人设计餐厅用餐的辅助交流系统

文献标题

Designing AACs for People with Aphasia Dining in Restaurants

文献信息

• 主题领域: 增强与替代沟通设备 (AAC) 的设计与应用，以支持失语症患者社交和休闲活动
• 关键词: 失语症, 增强与替代沟通 (AAC), 可访问性技术, 人工智能, 社交互动, 语言障碍, 健康计算, 用户体验, 可用性评估, 图像识别

研究背景与问题

• 发现的问题或挑战

  • 当前 AAC 的应用多集中于满足基本功能需求（如日常交流），而缺乏对失语症患者休闲活动（如在餐厅点餐）的支持。
  • 失语症患者在餐厅点餐时面临多种挑战，包括语言的时间敏感性以及复杂的菜单内容。
  • 餐厅互动需要特定的词汇，但现有 AAC 设备无法快速调整词汇以适应新的社交场景。
  • 如果无法有效进行沟通，失语症患者可能在社交参与上感到挫败，影响其生活质量。

• 重要性

  • 语言障碍可能导致失语症患者的社交孤立、抑郁以及生活质量下降，特别是在餐厅等休闲场所。
  • 支持休闲活动的有效沟通工具不仅可以提升患者的自主性，还能促进他们的社交参与。

• 研究动机与相关工作

  • 作者引用相关文献指出失语症患者的生活质量与社交参与密切相关，餐厅就餐是一个目标明确但充满挑战的场景。
  • 以往的研究探索了 AAC 技术如何通过预测模型提高语言获取速度，或通过上下文感知技术优化词汇匹配，但这些方法对动态语言需求的支持仍有不足。

解决方案

• 方法或解决方案

  • 作者通过临床观察、访谈和原型设计，提出了三种 AAC 原型（PhotoSearch、MenuSpeak 和 OrderEat），以帮助失语症患者在餐厅自主点餐。
  • 这些原型结合了人工智能技术，包括照片字幕生成、OCR（光学字符识别）、地理位置数据和餐厅菜单信息检索。

• 创新之处

  • 将人工智能技术（如图像字幕生成、OCR 和地理数据）应用于 AAC 设备，以应对失语症患者在陌生就餐环境中需要特定语言支持的挑战。
  • 设计注重提供用户自主语言选择的空间，而非完全自动化，以支持患者的生活决策权。
  • 提供结合文本、图像和语音的多模态信息，促进语言理解和沟通。

• 实施步骤与关键技术

  1. PhotoSearch:
     • 用户通过拍摄图像，由 AI 自动生成图像字幕，并关联相关图片以支持词汇理解。
     • 通过点击字幕生成语音输出或扩展相关图片。
  2. MenuSpeak:
     • 使用 OCR 技术将纸质菜单转化为交互式数字文本，支持用户点击词汇进行语音播放和显示图片。
     • 提供食材选择功能，帮助用户定制餐点。
  3. OrderEat:
     • 通过地理数据实时提取餐厅的菜单信息。
     • 通过图像和文本配合呈现菜单，用以支持用户探索和管理订单。

研究成果

• 具体成果

  • 设计并测试了三种原型，帮助失语症患者从不同角度克服在餐厅点餐中的语言障碍。
  • PhotoSearch 支持用户通过照片识别获取新词汇，MenuSpeak 提供纸质菜单的实时翻译与互动功能，OrderEat 整合地理数据和菜单信息以支持餐厅探索和就餐决策。

• 优势

  • 提升了失语症患者在陌生餐厅环境下的自主性和语言生产能力。
  • 提供新语言表达的工具，缓解传统 AAC 无法满足非常规词汇需求的问题。
  • 结合多模态信息（图像、文本、语音），促进用户对语言的理解。

• 实验或评估结果

  • 通过实验发现，PhotoSearch 的图像多样性提升词汇理解，MenuSpeak 的交互式文本减少文字和词语获取的时间，OrderEat 支持用户更深入地探索菜单选项，并有效减少沟通压力。
  • 参与者普遍认为这些工具改善了他们的就餐体验与语言沟通能力。
  • 用户反馈照片拍摄和 AI 结果可靠度是进一步优化的关键点。

• 局限性与未来方向

  • 局限性：
    • AI 预测结果的准确性仍然需要通过多模态信息进行人工验证，尤其是失语症用户有的语言理解障碍进一步放大了问题。
    • 部分原型（如 MenuSpeak 和 OrderEat）对严重失语症患者可能不友好，因为任务需要一定的审视或点击功能。
    • 系统对用户的上肢控制或视觉感知能力仍有依赖。
  • 未来方向：
    • 探索更高级的 AI 技术以提高预测结果的准确性。
    • 优化交互设计，以减少使用过程中的认知负担。
    • 将支持范围拓展到其他场景，如零售点或公共场所的互动交流。