迈向人机交互中的相互理论思维：语言如何反映学生对虚拟助教的看法

文献标题

Towards Mutual Theory of Mind in Human-AI Interaction: How Language Reflects What Students Perceive About a Virtual Teaching Assistant

文献信息

• 主题领域: 人机交互（Human-AI Interaction），会话代理设计，在线教育
• 关键词: 会话代理、在线社区、人机交互、心智理论（Theory of Mind）、语言分析、在线教育

研究背景与问题

• 发现问题或挑战:

  • 会话代理（CAs）在完成任务型交互方面已经取得了一定成就，但在实现自然且长期的对话时仍面临重大技术和设计挑战。
  • 尤其在在线教育社区等需要长期支持的场景下，CAs需要理解并适应用户和社区对其的不断变化的需求和期望。
  • 现有设计缺少一个能够帮助CAs感知用户心理与期望的理论框架，同时，基于用户语言数据自动推断用户感知的研究较为有限。

• 重要性:

  • 在人机交互中，构建长期自然交互的能力对于提高用户体验和满意度至关重要；尤其CAs作为学习助手的角色，需要建立用户对其信任与接受。

• 研究动机与相关工作:

  • 人类互动中的“心智理论”（Theory of Mind, ToM）可以预测和理解交互各方的情感和行为。
  • 基于ToM的“互相心智理论”（Mutual Theory of Mind, MToM）已被用于机器人设计，但在人机交互、特别是语言交流情境下的应用仍较少。
  • 现有研究主要集中于通过调研和定性分析探索用户对CAs的感知，但这些方法难以扩展和自动化。

解决方案

• 方法或解决方案:

  • 提出将互相心智理论（MToM）作为设计长期人机交互的一种理论框架。
  • 使用语言分析方法，从学生与虚拟教学助手（Jill Watson, JW）的交互中，提取反映学生感知的数据特征。
  • 分析学生对JW在“类人性”（Anthropomorphism）、“智能性”（Intelligence）、“喜爱度”（Likeability）这三个维度上的长期感知变化。

• 创新之处:

  1. 理论框架: 提出MToM框架以指导构建能适应用户变化需求的CAs。
  2. 面向社区的感知分析: 从以往主要研究用户个人感知（静态）的视角，转向研究用户集体动态感知。
  3. 语言特征与感知关系: 定量揭示语言特征（如可读性、多样性、适应性）与用户对CA感知的关系。

• 实施步骤及技术:

  • 数据收集: 在一门有376名学生参与的在线课程中部署JW，收集JW与学生在问答论坛中的交互记录，以及学生对JW的双周感知调研数据。
  • 特征提取: 通过语言分析提取学生发言的冗长度（Verbosity）、可读性（Readability）、情感（Sentiment）、多样性（Diversity）、适应性（Adaptability）等特征。
  • 回归分析: 构建线性回归模型，分析语言特征与学生感知变化之间的关系。

研究成果

• 具体成果:

  1. 长期感知变化: 学生对JW的类人性和智能感知在学期内显著变化，而对其喜爱度感知较稳定。
  2. 语言特征影响:
     • 冗长度对三种感知维度均为负相关。
     • 可读性（Readability）、语言适应性（Adaptability）等特征是感知的有效正向预测指标。

• 与现有解决方案比较:

  • 当前大部分研究使用定性方法评估CA表现，难以大规模扩展和动态实时适应。本研究首次引入MToM框架，从语言数据中量化分析CA用户感知，是一种高度自动化且可扩展的解决方案。

• 实验或评估结果:

  • 回归分析结果揭示，语言可读性、适应性、以及语义多样性特征显著与用户的正向感知相关，而冗长度则反向相关。
  • 三个用户感知维度（类人性、智能性、喜爱度）之间存在高度相关性。

• 局限性与未来方向:

  1. 局限性:
     • 本研究数据来自于一个受控的学术环境，结果可能无法直接推广到更为多样和非正式的在线社区。
     • 分析方法为相关性分析，未能直接揭示因果关系。
  2. 未来方向:
     • 探索CAs如何通过语言与用户进行更加直观的能力表达，以帮助用户建立准确的CA心智模型。
     • 扩展到包括私人对话以及更复杂的多模态（如语音、视觉）交互环境。
     • 深入研究不同语言特征如何反映不同上下文与任务中的CA感知。