“我不能回复那个”：对有问题的电子邮件回复建议的特征分析

文献标题

“I Can’t Reply with That”: Characterizing Problematic Email Reply Suggestions

文献信息

• 主题领域: 用户界面设计与人机交互中的AI辅助通信
• 关键词: email, CMC, AI-MC, smart reply, algorithm auditing, AI-assisted writing, contextual politeness, socio-linguistics

研究背景与问题

• 发现的问题或挑战:

  • 邮件回复建议系统可能提供不恰当的建议，影响用户的社会互动。
  • 当前研究通常侧重于技术实现，而忽略了用户体验中出现的社会情境问题。
  • 存在直接影响（如用户对建议的感知）和间接影响（如建议导致的误解）。

• 重要性:

  • 电子邮件是广泛使用的沟通工具，主要邮件服务中智能回复建议占约10%的邮件总数。
  • 不恰当建议可能损害用户与平台的信任并影响沟通效率。

• 研究动机与相关工作:

  • 智能回复技术的研究多关注技术性能指标，例如点击率等。
  • 缺乏对建议如何在社会情境中被感知的系统性研究。
  • 涉及语言、文化和社交关系对沟通的影响。

解决方案

• 提出的方法或解决方案:

  • 开发一个混合方法框架，包括定性访谈和控制实验，用以识别邮件建议中存在的问题。
  • 实验设计系统性地检验邮件的结构性特征（如开头和结尾）以及社会关系对建议感知的影响。

• 创新之处:

  • 强调问题的社会复杂性，与之前的技术实现研究形成补充。
  • 提供一个定量测量和定性洞察的结合方法，生成经过人工标注的邮箱场景数据集。

• 实施步骤与关键技术:

  • 第一阶段：通过半结构化访谈发现问题，识别相关的主题（例如过度积极、文化假设、不适当性等）。
  • 第二阶段：设计并运行控制实验，评估建议在不同社交与内容语境中被感知的方式。收集用户反馈并对建议进行修正。

研究成果

• 具体成果:

  • 识别了四类主要问题：过度积极、语义失调、性别假设、社会文化不协调。
  • 社交关系和语境对邮件建议的感知有显著影响。
  • 提供了一个数据集，包含问题场景描述和用户修正建议，为优化设计提供依据。

• 优势:

  • 提供了细致的用户体验视角，扩展了对邮件回复建议的理解。
  • 研究结果对其他 AI-mediated communication 系统具有推广意义。

• 实验与评估结果:

  • 不同类别场景产生显著的评分偏差。
  • 建议的调整以添加词汇为主，尤其增加了“感谢”“抱歉”等礼貌词汇。
  • 某些社交关系（如上级）被认为需要更谨慎地调整建议内容。

• 局限与未来方向:

  • 当前研究只覆盖英文邮件场景，缺乏多语言和跨文化背景的检验。
  • 数据可能因实验环境与实际使用中的情境差异而受到限制。
  • 未来可以研究用户对 AI建议系统长期使用的行为变化，以及研究不同设备平台间的使用差异。

结论

该研究表明目前邮件回复建议系统在处理社交关系和细腻沟通需求方面仍存在不足。未来开发应更细致地考虑用户个性化和社会网络上下文，并探索如何减少文化与偏见的扩散。通过提出的框架，该方法可用于其他AI辅助通信技术的评价。