共同设计QuickPic：基于照片的自动化主题特定交流板，用于基于AAC的语言教学

文献标题

Co-Designing QuickPic: Automated Topic-Specific Communication Boards from Photographs for AAC-Based Language Instruction

文献信息

• 主题领域: 增强与替代沟通 (AAC)、人工智能、特殊教育、语言治疗
• 关键词: 增强与替代沟通, 自闭症, 即时性支持 (just-in-time), 大语言模型 (LLM), 辅助技术

研究背景与问题

• 问题或挑战:

  • 当前针对特定话题的AAC通信板需要手动编程词汇，费时且耗力，使语言治疗师和特殊教育老师难以在实践中广泛应用。
  • 现有的基于人工智能的技术虽然展示了自动生成通信板的潜力，但并未充分探索其在AAC语言教学中的实际需求和设计改进。
  • 重要障碍包括缺乏动态生成与即刻语言支持的解决方案，现有方法（如Click AAC）未能充分满足专业人士对用户界面和词汇生成质量的要求。

• 重要性:

  • AAC通信板对于非语言用户（如自闭症儿童）学习象征性语言及表达能力至关重要。
  • 自动化技术有助于减少工作负担，扩大语言治疗师和教育工作者的互动时间，同时提高家庭对AAC设备的接受度。

• 研究动机与相关工作:

  • 探讨现有基于AI方法的改进策略，包括用更先进的大语言模型（如GPT）优化词汇生成。
  • 设计专门的AAC工具以支持专业人士实现特定教育场景所需的动态语言内容。

解决方案

• 提出的方法或解决方案:

  • 开发QuickPic，这是一款移动端AAC应用程序，能够从照片中自动生成针对特定主题的通信板，用户还可以快速编辑生成的内容。
  • 采用GPT-3.5的大语言模型优化词汇生成质量，与之前用Click AAC的VIST方法做对比。
  • 使用共同设计 (Co-Design) 的方法，集成语言治疗师和特殊教育教师的专业需求，设计界面及核心功能。

• 创新之处:

  • 提供即时语言支持 ("just-in-time") 的功能，可显著简化生成和编辑通信板的流程。
  • 集成对符号库（如Picture Communication Symbols, PCS）的自动化管理及定制化设置。
  • 利用GPT模型生成更相关的词汇，解决现有技术无法有效支持教育和治疗场景的局限性。

• 实施步骤与关键技术:

  • 设计过程:
    1. 通过研究与设计方法，明确专业人员对于新工具的主要功能需求。
    2. 初步开发低保真原型，包含主要界面和互动逻辑。
    3. 开发并测试高保真原型 (QuickPic v.0.1)。
    4. 通过现场测试和用户反馈进行迭代，优化界面和生成方法。
  • 技术应用:
    • 改进图像分析模型以生成高质量的照片描述。
    • 使用ChatGPT优化词汇生成，确保生成的符号与场景高度相关。

研究成果

• 具体成果:

  • 开发了QuickPic应用程序，集成了自动词汇生成和用户友好的编辑功能。
  • 实现了基于GPT的词汇生成方法，相较于VIST方法显著提高了词汇的相关性与质量。
  • 调查了语音治疗师和特殊教育教师对QuickPic的满意度，证明该工具在课堂和治疗场景中的高效性。

• 与现有解决方案相比的优势:

  • QuickPic明显减少了专业人士创建通信板所需的时间。
  • GPT方法生成的词汇更贴近用户所需的主题，显著扩展了语言学习的可能性。
  • 界面的灵活性和直观性得到了用户的高度评价。

• 实验或评估结果:

  • GPT方法在生成关联性词汇方面优于VIST，尤其是在生成对象、形容词和介词等内容上。
  • 95%的参与者认为QuickPic比现有的AAC工具（如Boardmaker或TouchChat HD-AAC）更易于操作和编辑。
  • QuickPic的MAUQ问卷得分显著高于传统工具，显示出良好的应用可用性。

• 局限性与未来方向:

  • 局限性:
    • 词汇生成仍可能受到脚本化语言模型的限制（如缺乏多样性或某些场景的适配性）。
    • 自动化符号关联可能需要进一步优化（如区分词汇的词性）。
  • 未来方向:
    • 优化生成模型以更好地适应用户场景，例如通过图像内容微调模型。
    • 研究QuickPic对AAC用户及家庭的长期使用影响，包括沟通能力和学习效果。
    • 探索在家庭和教育环境中如何平衡AI生成词汇的适用性与伦理问题。

总结

这篇文章提出了一个创新性的AAC工具QuickPic，通过共同设计和技术优化，满足了语言治疗与特殊教育场景下的动态词汇需求。研究表明，通过集成大语言模型，该工具在词汇生成质量和用户体验方面优于现有方案，为AAC领域提供了重要的应用参考与未来研究机会。