为什么这么严肃？通过人工智能接口探索AAC中的及时幽默评论

研究背景与问题

• 作者发现了哪些问题或挑战？ 本研究发现AAC（辅助与替代沟通）用户在快速变化的对话情境中表达幽默存在困难，特别是难以及时插入幽默评论。具体问题包括AAC用户语速慢（12-18字/分钟，相较于一般用户的125-185字/分钟），沟通时间差异、言语表达的不流畅性以及设备技术问题（如语音调性缺乏、关键字选择限制等）。

• 为什么这个问题很重要？ 幽默在社交互动中具有独特的作用，它有助于建立共同点，改善对话流，并促进人际关系的建立。对于AAC用户而言，幽默更是一种表达自我和维系社会联系的重要工具。然而，目前的AAC技术在及时和表达性丰富的沟通方面存在局限性，从而限制了用户的社会参与度和自我表达能力。

• 研究动机与相关工作 研究动机在于帮助AAC用户克服现有技术的局限性，以更好地支持他们进行即时且表达性强的幽默沟通。相关的工作包括通过预测文字、上下文相关建议以及视觉输出等方法提升AAC用户的沟通速度和质量，但这些方法对动态、非结构化对话中的幽默插入问题仍未充分解决。此外，对于幽默的计算模型和语音情感表达的探索也为本研究提供了启发。

解决方案

• 作者提出了哪些方法或解决方案？ 作者提出了四种基于多模态大语言模型（LLM）的AI接口设计，这些接口可以帮助用户在动态对话中插入幽默评论。方案包括：

  1. Context Bubble Selection（上下文气泡选择）：允许用户选择对话上下文片段并根据这些片段生成幽默建议。
  2. Keywords Interface（关键字界面）：从对话中提取关键词并根据用户选择生成幽默评论。
  3. Wizard Interface（向导界面）：用户不仅选择关键词，还可进一步通过相关联的词汇细化生成幽默评论。
  4. Full-auto Interface（全自动界面）：完全依赖AI自动生成最佳幽默评论，用户需要的操作最少。

• 该解决方案的创新之处是什么？ 方案的创新包括：

  • 利用多模态LLM分析实时对话上下文并生成个性化的幽默建议。
  • 在实时对话中平衡用户的自主性和效率，允许用户根据情境和意图选择适合的交互模式。
  • 提供从高度指导到完全自动化的不同选项以匹配用户的多样化需求。

• 实施步骤是什么？使用了哪些关键技术？ 实施步骤如下：

  1. 开发四种不同的AAC界面并进行技术整合，使用Amazon Transcribe（语音转录）、Polly（文本到语音）、以及OpenAI GPT引擎作为核心组件。
  2. 进行用户访谈，收集AAC用户对于幽默表达的需求与挑战。
  3. 在实验中测试所设计的四种界面，并通过真实对话场景评估用户体验。
  4. 分析用户的实际互动行为和反馈，归纳设计建议。

研究成果

• 取得了哪些具体成果？

  • 用户对四种界面的表现进行了评分，发现Context Bubble Selection（上下文气泡选择）界面在平衡表达性与及时性方面表现最佳，而Full-auto（全自动）界面由于其操作简化，也广受欢迎。
  • 用户对AI生成的幽默评论的接受度较高，但也担忧AI对个人表达的影响，例如可能弱化自主性与真实性。
  • 实验揭示了不同AAC用户之间的互动模式差异，以及输入设备对用户体验产生的显著影响。

• 与现有解决方案相比，它有哪些优势？

  • 提升了幽默表达的时间效率，特别是在快速对话中，AAC用户能够更及时传递幽默评论。
  • 设计中提供了灵活选项，根据需求平衡用户的自主性与效率，适应不同能力的AAC用户。
  • 应用了多模态LLM技术，根据对话上下文生成更具表达性的幽默评论。

• 实验或评估结果是什么？ 用户试验结果：

  • 对话上下文的可视化显著提升了用户思考和生成幽默评论的能力。
  • 对“全自动界面”偏好的分化：部分用户重视简化操作，愿意牺牲一部分自主性以获得幽默生成的效率。
  • “向导界面”提供了多步骤细化选项，但被认为操作复杂，尤其对使用特殊输入设备的用户不够友好。

• 局限性与未来方向

  • 局限性：所设计的原型在实验室环境下测试，未能验证其在真实长期使用中的表现。实验参与人数较少，结果缺乏普适性。
  • 未来方向：
    1. 开展长期使用研究以观察界面在真实社交场景中的表现。
    2. 探索如何整合更多幽默风格（例如讽刺、内部笑话），以及增强声调表达能力以支持更复杂的幽默生成。
    3. 使用开源技术替代现有专有系统，降低障碍并扩展用户覆盖范围。
    4. 关注隐私保护和数据安全设计，抵消AI“监听”的潜在社会不适感。

此研究不仅探讨了AAC用户如何更好地表达幽默，同时也为未来的智能辅助沟通技术设计提供了宝贵思路和方向。