对话进度指南：增强对话式AI中自我效能的UI系统

研究背景与问题

• 作者发现了哪些问题或挑战？ 用户在与生成式对话人工智能（Conversational AI）互动时常常遇到失败，这种失败会破坏用户的自我效能感（self-efficacy），降低用户继续使用这些系统的意愿和信心。在任务需要多轮对话时，生成式对话AI的不足可能会增加认知负担，使用户觉得难以完成任务并降低其自信。

• 为什么这个问题很重要？ 自我效能感对学习效率和任务表现有直接影响。自我效能感低不仅减少了学习的动力，还会导致用户避免使用生成式AI服务。在生成式对话AI应用越来越广泛的背景下，解决这个问题对于提高用户体验和提升技术接受度至关重要。

• 研究动机与相关工作 许多研究已经探索了如何通过数字设备的界面设计增强特定学习场景下的自我效能感。例如，针对儿童或学生的应用程序通过任务完成的奖励增强他们的信心。然而，几乎没有研究关注生成式对话AI在常规使用场景下对自我效能感的提升。本文的目标是设计系统机制，通过提供视觉任务反馈来提高自我效能感，而不需要改动底层AI技术。

解决方案

• 作者提出了哪些方法或解决方案？ 作者提出了一个名为“Conversation Progress Guide (CPG)”的视觉界面系统，用于生成式对话AI。这是一个交互式工具，使用任务进度条和子任务标记，帮助用户可视化任务进展、提高自我效能感。

• 该解决方案的创新之处是什么？

  • 提供了视觉化的任务反馈，将对话任务拆解为多个子任务，并通过进度条标记完成情况。
  • 强调通过任务的逐步完成体验（mastery experience）来增强自我效能感。
  • 在现有的对话AI平台上直接实现，而无需对底层生成技术进行改动。

• 实施步骤是什么？使用了哪些关键技术？

  1. 架构设计：

     • 系统采用两个AI代理：
       • 任务代理（Task Agent）：负责普通对话生成。
       • 进度反馈代理（Progress Feedback Agent）：负责分析对话内容，判断子任务是否完成，并更新进度条。
     • 使用 GPT-3.5-turbo 和 GPT-4 模型分别实现任务代理与进度反馈代理。

  2. 用户界面设计：

     • 进度条（Progress Bar）：通过激活的子任务标记展示任务完成情况。
     • 子任务标记（Subtask Marker）：突出已完成的子任务，让用户关注正向的任务完成体验。

  3. 系统功能：

     • 根据用户输入和任务代理的输出，进度反馈代理评估任务完成情况。
     • 当评估子任务完成时，相应子任务标记会在进度条中激活。
     • 系统允许用户手动完成额外对话以补充遗漏的任务。

研究成果

• 取得了哪些具体成果？

  • 使用CPG的实验组参与者的自我效能感显著提高，尤其在与任务执行相关的自信心和理解能力方面。
  • 实验组和对照组在认知负担、用户满意度、任务时间和交互次数方面没有显著差异，证明CPG不会增加用户的认知负担或提供负面的使用体验。

• 与现有解决方案相比，它有哪些优势？

  • 与传统的生成式对话AI界面相比，CPG更有效地提高了用户在任务执行中的自信心和积极参与度。
  • 通过不改变底层模型技术，仅通过交互界面优化助力任务表现。

• 实验或评估结果是什么？

  • 在任务相关的六个自我效能问题中，实验组的效能提升效果普遍超过对照组。特别是在任务分步骤完成的理解和执行能力方面，改善明显。
  • 实验发现，CPG对用户认知负担、任务完成时间与交互次数均没有负面影响，且用户的满意度评价相近。

• 局限性与未来方向

  • 局限性：

    • 实验样本较小且受限在计算机科学领域大学生，缺乏普遍性。
    • 当前CPG的设计适用于目标明确的分步任务，但在开放式或非结构化对话中效果有限。
    • 系统未对持续失败提供负反馈，这可能导致少数用户对任务状态的误解或放弃。

  • 未来方向：

    • 扩展CPG适应非线性或更复杂场景，如创意写作或开放式对话。
    • 引入更加复杂的进度评估规则并融合机器学习，以提高评估和反馈精度。
    • 测试更多元的参与者样本，以验证CPG在不同背景下的广泛适用性。
    • 探索如何通过艺术化或幽默方式呈现负反馈，以激励用户在失败中成长。

总结

本文提出了Conversation Progress Guide (CPG)，一个通过视觉化任务反馈提升用户自我效能感的对话AI界面。这一创新设计显著提高了用户自信与参与度，而不会对任务效率或体验造成额外负担。这项研究推动了生成式对话AI在任务导向场景中的用户体验优化，并提出了进一步发展的方向。