我输入得越少越好：AI语言模型如何增强或阻碍AAC用户的沟通

文献标题

“The less I type, the better”: How AI Language Models can Enhance or Impede Communication for AAC Users

文献信息

• 主题领域: 增强与替代沟通（AAC）技术与人工智能语言模型（LLMs）的整合与应用研究
• 关键词: 辅助沟通, 人工智能, 大语言模型, 可访问性, 人机交互, 语言生成, 实时通讯, 定制化, 用户研究, 个性表达

研究背景与问题

• 作者发现了哪些问题或挑战？

  • AAC设备用户通常需要较长时间来构建信息，这造成沟通效率低下。
  • 长时间的沟通构建会增加身体与认知上的负担。
  • 即使使用预测技术，用户仍可能无法快速回应，导致参与对话困难。
  • 现有AAC设备缺少用户个性化表达的支持且互动体验较为单一。

• 为什么这个问题很重要？

  • AAC用户的沟通障碍不仅影响日常生活，还影响社会交往与群体活动参与。
  • 改善AAC技术不仅可以降低用户的身体和认知负担，还能提升生活质量，同时促进包容性社会发展。

• 研究动机与相关工作

  • 当前使用的静态语言预测模型，照片或语境数据获取仍存在显著改进空间。
  • 先进的大型神经语言模型（如GPT-3、BERT）显示了生成类似人类语言文本的潜力，有望帮助AAC用户减少输入且生成更具表现力的输出。
  • 初步研究表明LLMs可以显著减少按键次数，但在实际用户采纳中仍需改进其定制化与隐私控制。

解决方案

• 作者提出了哪些方法或解决方案？

  • 作者设计了基于LLMs的“语音宏”（Speech Macros）作为一种快捷功能，允许AAC用户通过简单的输入生成完整句子。
  • 开发了原型系统，测试其在特定会话场景中的适用性。
  • 使用人类中心设计研究的方法，探索语音宏如何帮助减少用户输入，同时保持沟通风格和语境匹配。

• 该解决方案的创新之处是什么？

  • 引入“语音宏”概念，可为用户定制不同任务的快捷输入方式，从而应对特定沟通挑战（如扩展短信息、请求帮助、回答背景问题）。
  • 灵活应用LLM的生成性语言能力，并结合少量示例和提示，可快速实现特定场景需求。
  • 通过用户研究发现需要控制生成句子的风格与语境适配，同时降低人工智能的“过度自动化”对用户表达个性的干扰。

• 实施步骤是什么？使用了哪些关键技术？

  1. 设计3种语音宏（扩展回复、背景信息回复、将单词变为请求）。
  2. 使用LaMDA语言模型，通过少样本和零样本提示进行实时生成，并限制输出句子数量以优化界面友好性。
  3. 招募12名AAC设备用户，在特定场景下测试原型并提供反馈。
  4. 分析用户交互行为、反馈以及模型生成的语句质量，以识别用户需求和改进机会。

研究成果

• 取得了哪些具体成果？

  • 研究显示通过LLM生成建议可以有效减少AAC用户的身体与认知负担，帮助更高效地参与互动。
  • 合适的语音宏功能（如将单词转化为请求）被用户认为具有高度实用性。
  • 用户对生成的句子表示期待更个性化的输出，并提出参与设计提示内容以定制系统的建议。

• 与现有解决方案相比，它有哪些优势？

  • 语音宏提供了比传统AAC预测模型更强的灵活性和场景适应性。
  • LLM的生成语言能力能够以更少输入提供更多种类的句子建议。
  • 用户可以探索和修改生成句子，更好地表达个人风格与语境需求。

• 实验或评估结果是什么？

  • 参与者在三个主要宏功能（扩展回复、背景信息回复、将单词变为请求）中都得到了不同程度的好评。
  • 实验过程中，用户对模型生成的句子的社会性与个人性进行评价，提出了更高社会互动质量的需求。
  • 用户担忧生成错误建议可能损害他们的社交关系或误导沟通对象。

• 局限性与未来方向

  • 局限性：
    • 实验时间较短且用户输入样本有限，未能全面评估模型性能。
    • 现有的LLM未针对个体进行专门调整，输出质量仍有待提升。
    • 在高压力高风险的场景中（如医疗沟通），现有的建议质量和准确性可能不够可靠。
  • 未来方向：
    • 设计更长时间的用户研究以测试系统持续使用效果。
    • 为系统引入更强大的用户配置功能，让用户可以通过简单方式调整语气、长度、或内容偏好。
    • 开发隐私友好的语音宏技术，支持离线处理重要医疗数据。
    • 探索如何结合用户的已存储信息以进一步减少实时输入负担同时增加设计个性化。