COMPA：利用对话上下文在辅助交流中达成共识

文献标题

COMPA: Using Conversation Context to Achieve Common Ground in AAC

文献信息

• 主题领域: 辅助与替代沟通（AAC）、人机交互、无障碍技术
• 关键词: AAC, 无障碍, 人机交互, 会话建模, 语言模型, 群体沟通, 互操作性, 技术辅助工具

研究背景与问题

• 背景: 辅助与替代沟通（AAC）设备为不能正常使用语音沟通的人群提供了沟通工具。然而，由于设备输入与语音输出的速度不对称，AAC 用户在群体对话的高动态环境中常常遇到困难。
• 存在的问题:
  • AAC 用户因输入速度较慢，常常无法在对话上下文仍然相关时及时加入讨论，导致内容被误解或错失表达机会。
  • 现有技术虽然尝试通过上下文预测或短语生成提升交流效率，但无法有效支持实时对话的上下文共享。
  • 非 AAC 用户（对话伙伴）通常缺乏对 AAC 用户意图和沟通需求的感知，导致交流不对等。
• 研究动机: 针对 AAC 用户在群体对话中的参与问题，需要一个能够帮助双方（AAC 用户和非 AAC 用户）达成共同理解的技术。
• 相关工作:
  • 早期成果包括基于视觉提示的实时沟通支持和状态指标（如设备打字状态）的显示。
  • 过往研究更多集中于预测模型、语义分析，较少关注如何通过上下文共享解决会话中的共同理解问题。

解决方案

• 核心方法: 提出并开发了 AAC 辅助工具 COMPA（Conversation Context for Mutual Participation in AAC），一个浏览器扩展，通过实时会话转录和意图标签的多层支持促进 AAC 和非 AAC 用户的交流。
• 创新之处:
  • 引入实时对话上下文标记（Context Marking），帮助 AAC 用户明确要回应的会话部分。
  • 提供基于对话上下文的短语起始建议（Phrase Assistance），帮助快速创建和上下文一致的回复。
  • 集成意图选择功能（Intent Grounding），使 AAC 用户能表明参与意图（如提问、回复、陈述观点等）。
• 实施步骤:
  1. 开发浏览器扩展，支持 Google Meet 等常见视频通话应用。
  2. 实现多层功能：实时文本转录、暂停操作、上下文标记、短语建议和意图通知。
  3. 引入 ChatGPT 等语言模型生成直接反映会话内容的短语建议。
• 关键技术:
  • 自动语音转录和上下文提取。
  • 语言模型生成的定制化短语起始建议。
  • 用户界面设计符合 AAC 用户的无障碍操作需求。

研究成果

• 具体成果:
  • 开发并测试了 COMPA 的三个版本，分别提供不同的上下文支持（暂停通知、上下文标记、意图显示）。
  • 通过小组对比实验，验证了 COMPA 在提升 AAC 用户参与感和促进沟通流畅性方面的效果。
  • 发现意图通知和短语建议对促进非 AAC 用户的上下文理解有直接作用。
• 对比优势:
  • 与现有仅为 AAC 用户提供服务的解决方案相比，COMPA 同时支持 AAC 和非 AAC 用户。
  • 在减少 AAC 用户输入压力的同时，增强了非 AAC 用户等对话伙伴对上下文和意图的感知。
• 实验与评估结果:
  • 参与实验的 10 名 AAC 用户与其伙伴对 COMPA 的总体评价较高：4/5 对表示愿意在未来的线上交流中使用部分版本。
  • 实验中 COMPA 的“暂停转录”和“上下文标记”功能广受欢迎。
  • 意图按钮和短语建议虽有学习成本，但被部分受试者视为改善对话的潜在关键功能。
• 局限性及未来方向:
  • 当前研究在样本规模和使用场景上存在限制，主要为小组对话和线上会议场景。
  • 长期使用和更大样本研究将更能揭示该工具的潜在影响。
  • 未来应增强系统对不同用户偏好和对话场景的适应性，例如支持更多语言、多模态输入功能等。

总结与未来展望

COMPA 作为一种创新性的 AAC 辅助工具，在当前研究中表现出一定的有效性，为实现 AAC 用户与非 AAC 用户的双向支持提供了一种解决方案。随着多模态和个性化技术的发展，未来可能进一步提升其用户体验与场景适用性。