GenComUI：探索生成式视觉辅助作为支持任务导向人机通信的媒介

研究背景与问题

• 问题与挑战：

  • 当前基于自然语言的机器人任务编程存在抽象匹配问题：自然语言表述与实际程序代码之间的差距使得用户定义复杂任务难以实现。
  • 仅依靠语音交互可能导致无法清晰表达复杂的逻辑或空间任务需求，并受到语音识别错误的制约。
  • 传统的基于规则或模板的反馈系统难以动态适应用户不断变化的需求。

• 重要性：

  • 随着服务机器人在家庭、教育、医疗和零售等领域的广泛应用，为非技术用户提供直观有效的任务接口变得越来越重要。
  • 动态视觉介质（如图解、路径指示、动画等）可能成为促进人机交互和用户编程体验的重要工具。

• 研究动机与相关工作：

  • 动态用户界面与人工智能（尤其是大型语言模型，LLMs）结合，具有自动生成视觉辅助的潜力，可增强语音与视觉的多模态交互。
  • 借鉴人际交流中广泛使用的视觉辅助工具（如图表、箭头）可帮助更清晰地传递信息，但目前尚缺乏对动态生成视觉辅助在机器人交互中的应用研究。

解决方案

• 提出的解决方案：

  • 提出一种名为"GenComUI"的系统，通过LLM驱动动态生成视觉辅助，结合语音交互进行任务定制与确认。
  • 集成多模态反馈机制，将图形动画与语音输出结合，用于确认和细化机器人任务需求。

• 创新之处：

  • 动态生成视觉辅助工具，与自然语言交互高度同步，使用户能够直观地理解和调整任务。
  • 基于交互上下文，用视觉反馈实时展示改变内容，通过动画突出新增或删除的任务步骤。
  • 深入挖掘人类在任务沟通中使用视觉工具的方式，以设计自然、适应性强的人机交互模式。

• 实施步骤与关键技术：

  • 模块化架构设计：
    1. 语音交互模块：支持语音识别及转换，实现双向交流。
    2. 用户意图理解模块：基于上下文分析用户输入，生成任务步骤并反馈。
    3. 生成式视觉辅助模块：根据对话上下文生成动态图形界面元素。
    4. 任务程序合成与部署模块：生成基于任务指令的可执行机器人运行代码。
  • 主要技术：
    • 使用LLM（如GPT-4）进行意图解析，实时生成结构化输出（包括任务步骤、语音反馈及视觉设计）。
    • 基于预定义 API，通过动画和图形元素动态构建任务流程。
    • 与用户的多轮对话中，实时生成逐步确认和优化的视觉任务表示。

研究成果

• 取得的具体成果：

  1. 系统设计与实现：开发了GenComUI，能够动态生成多模态反馈以支持复杂任务的语音编程。
  2. 用户研究：通过与对照系统比较，验证了视觉辅助对任务沟通的显著支持。
  3. 设计指南：总结了视觉辅助在复杂任务沟通中的适配与应用策略。

• 与现有解决方案的优势：

  • 动态、上下文感知的视觉生成机制比传统静态反馈更贴近用户需求。
  • 有助于用户实时跟踪任务沟通的进展，尤其在复杂空间任务和逻辑处理中表现优异。
  • 用户测试表明，系统可显著降低沟通过程中的认知负担，并增强任务开发的准确性与直观性。

• 实验或评估结果：

  • 用户反馈：GenComUI在方便用户表达意图、确认任务理解以及记忆任务步骤上均有显著优势。
  • 量化结果：
    • 比较基准系统，GenComUI在任务确认和修改流程中提供了更高的互动灵活性。
    • Chatbot Usability Scale和System Usability Scale评分显示GenComUI受到更高的用户认可（p<0.01）。
  • 效果观察：
    • 在复杂任务设置中，用户能更快速地追踪机器人对任务的理解，并即时修改错误。
    • 用户更倾向于选择GenComUI（19/20），尤其在处理复杂逻辑分支和大规模空间任务时。

• 局限性与未来方向：

  • 局限性：
    • 用户群体以大学生和教职工为主，代表性有限。
    • 实验环境为模拟办公室，难以涵盖真实任务场景的多样性。
    • 当前任务主要集中于空间导航，对其他任务类型（如时间调度）仍需进一步研究。
  • 未来方向：
    1. 扩展系统功能至实际应用场景，支持多样化任务与视觉表示。
    2. 探索实现实时生成更复杂的视觉元素并研究其在不同任务沟通中的适用性。
    3. 深化对用户偏好和任务复杂度的适应性，提供更多自由度和个性化选项。

通过这项研究，作者在动态视觉辅助与语音交互的整合中开辟了新的研究方向，对人机交互和自然语言编程的结合提供了重要启示。这些成果为未来更加直观和自然的人机交互界面设计奠定了基础。