ReactGenie：使用大型语言模型开发复杂多模式交互的框架

文献标题

ReactGenie: A Development Framework for Complex Multimodal Interactions Using Large Language Models

文献信息

• 主题领域: 人机交互，界面开发，多模态交互
• 关键词: 多模态交互, 开发框架, 编程框架, 大语言模型, 自然语言处理

研究背景与问题

• 发现的问题或挑战: 随着多模态交互（如触摸和语音）的发展，现有的框架要求开发者手动处理复杂命令，导致开发成本高、时间长。此外，语言交互的表达性和组合性实现困难。
• 重要性: 多模态交互可以增强用户界面的效率和用户体验，但开发繁复复杂多模态应用仍具有较高的技术门槛，限制了其广泛应用。
• 研究动机与相关工作: 存在的框架（如Redux、QuickSet等）多是单纯处理语音或图形接口，并缺乏对多模态命令组合操作的支持。因此，需要一种简化开发流程并促进多模态交互易于实现的新框架。

解决方案

• 提出的方法或解决方案: ReactGenie框架通过重新抽象界面层和计算模型，结合大语言模型（LLM），将用户的多模态命令解析为自定义领域编程语言（NLPL），并通过内部解释器实现命令的执行。
• 创新之处:
  • 提出了对象分层状态抽象，支持多模态命令的自然组合，减少中间变量。
  • 设计了NLPL编程语言和基于LLM的多模态命令解析模型，提高命令理解和语义解析的准确性。
  • 自动化处理UI映射、语义解析和回馈生成，显著减少开发者工作量。
• 实施步骤与关键技术:
  1. 开发者编程: 使用开发者提供的对象状态类和UI组件定义功能，通过注释标记可访问功能。
  2. 框架初始化与生成模块: 自动生成语义解析模块和UI映射模块，通过大语言模型提取开发者功能。
  3. 运行时处理: 监听用户语音与触摸操作，将转录语音解析为NLPL代码，再通过解释器执行生成的代码，自动更新UI并生成文本反馈。

研究成果

• 具体成果:
  • 开发了ReactGenie框架，为开发者提供简单易用的工具构建复杂多模态应用。
  • 使用该框架开发了三个领域代表性应用（如食品订单、社交网络和NDA管理），展示了其在不同领域的适用性。
• 与现有解决方案相比的优势:
  • 开发时间显著减少：对比GPT-3功能调用，ReactGenie减少了近75%的开发时间与效率。
  • 提供高表达性：约90%的用户命令能够正确解析，显著高于传统语义解析框架。
• 实验或评估结果:
  • 开发框架表现评估:
    • 12名开发者平均2.5小时学会并完成构建演示应用。
  • 用户交互测试:
    • 使用者完成任务效率提高约50%（平均耗时从63.6秒减少到33.6秒）。
    • 采用NASA-TLX与SUS标准评价认知负担降低，用户体验提高。
  • 自然语言解析准确率可达90%，且没有出现完全错误的行为。
• 局限性与未来方向:
  1. 语音接口改进: 增加语音反馈功能与更自然的多轮对话支持。
  2. 开发工具增强: 减少解析示例数量，尝试自动生成示例代码。
  3. 更多模态支持: 扩展框架支持复杂手势与其他交互模态，例如图像处理和手势识别。

总结

ReactGenie框架展示了通过大语言模型支持复杂多模态交互的新方式。研究证明了ReactGenie的高效性、易用性以及用户交互的增强性。这项研究为未来多模态应用开发提供了新的思路，潜在推动人机交互领域的发展。