如何指导任务导向型聊天机器人用户以及何时指导：关于聊天机器人指导类型和时机组合的混合方法研究

文献标题

How to Guide Task-oriented Chatbot Users, and When: A Mixed-methods Study of Combinations of Chatbot Guidance Types and Timings

文献信息

• 主题领域: 任务导向型聊天机器人用户交互优化
• 关键词: 聊天机器人、实验室研究、任务完成、用户指导、交互非进展、工具型智能系统、混合方法

---

研究背景与问题

• 问题或挑战:

  • 用户与聊天机器人顺利完成对话是一项显著挑战，常因机器人对用户意图的误解或表达无法识别的内容导致对话中断。
  • 用户往往高估或误解聊天机器人的能力，从而导致操作上的问题。
  • 现有研究提出，应为用户提供与系统交互的具体指导，但关于何时以及如何提供这种指导存在争论。
  • 当前缺乏关于指导内容类型及时间安排的经验性研究。

• 重要性:

  • 聊天机器人日益流行，任务导向型机器人可节省用户在重复任务上的时间，为用户提高效率。
  • 理解指导的内容和时间如何影响用户体验和任务完成，是改进聊天机器人设计的基础。

• 研究动机:

  • 当前关于指导类型（基于示例与基于规则）与提供时间（初始服务、任务前、失败后、按需展示）的组合作用研究较少。
  • 明确各种组合对用户任务完成效率、连续任务时的学习改进以及用户主观体验的影响。

---

研究目标

本研究旨在回答以下关键问题：

1. 不同指导类型与时机的组合是否能够提升用户完成任务的效率、会话进展及后续任务表现？
2. 用户如何主观评价这些组合？
3. 用户希望获得的指导类型与时间的特点是什么？

---

解决方案

• 研究方法:

  • 提出了包含两种指导类型（基于示例与基于规则）和四种指导时间的八种组合。
  • 使用混合方法，包括两个主要阶段：
    • 定量实验：实验中考察指导类型与时间安排对用户任务绩效的影响。
    • 定性反思研究：通过访谈了解用户对不同指导策略的偏好和主观看法。

• 关键技术与步骤:

  • 开发了基于 IBM Watson 的聊天机器人，支持旅行和电影预订场景，两者包括复杂性不同的任务。
  • 在实验中控制变量，使用混合回归模型分析任务成功率、完成时间及学习效果。
  • 辅以亲和图法进行定性数据的主题归纳。

• 创新点:

  • 对常见指导方法的组合进行了创新性量化和质化分析。
  • 系统分析了指导的内容与时间搭配对用户短期效率与长期学习的综合影响。
  • 提供了关于任务导向型聊天机器人指导设计的实用建议。

---

研究成果

主要发现

1. 任务绩效（定量）:

   • 基于示例的指导在初期任务表现中更优，但在任务间学习改进上表现较弱。
   • 基于规则的指导尽管起初较慢，但带来了显著的学习效应及后续任务绩效提升。
   • 在任务引入阶段提供示例能显著缩短任务完成时间，而在失败后提供规则更利于避免非进展事件。

2. 用户主观偏好:

   • 使用示例型指导（任务引入阶段）受到用户的高度评价，并认为其交互自然、直观。
   • 用户对失败后的规则提示评价最低，因为有时规则被视为“错误信息”，从而影响使用体验。

3. 学习改进与长期效果:

   • 提供规则型指导有助于用户构建对系统的正确心理模型，促进学习。
   • 将示例指导放在按需展示（upon request）时间点能更好促进用户主动探索和学习。

设计建议

• 混合使用:

  • 在任务引入时提供示例型指导，同时在失败后补充使用规则提示。
  • 对于复杂任务或首次用户，建议采用基于任务情境的逐渐引导。

• 避免“无效展示”:

  • 服务初始的指导内容需简洁有效，避免用户对冗长文本的屏蔽。
  • 失败后建议避免过度严肃的语气，减少用户的挫折感。

• 未来方向:

  • 增强以用户学习为导向的指导功能，尤其应关注指导的可迁移性。
  • 探索更多弹性化用户情境适配的推荐算法。

---

局限性与未来方向

• 局限性:

  • 实验在受控实验室环境下进行，数据可能无法完全反映真实世界使用情况。
  • 样本集中于年轻和城市用户，推广性需要进一步验证。
  • 任务复杂性局限在两个场景，未来研究可延伸至更广泛的应用领域（如商业和技术支持）。

• 未来研究:

  • 扩大任务种类和参与者人群，探索跨领域任务的泛化性和指导适用性。
  • 深入探索指导内容中不同细节设置（如指导语言风格、视觉呈现方式）对用户的额外影响。