OmniActions: 使用大语言模型预测对现实世界多模态感官输入的数字动作

文献标题

OmniActions: Predicting Digital Actions in Response to Real-World Multimodal Sensory Inputs with LLMs

文献信息

• 主题领域: 多模态感知与大语言模型的结合，人机交互中的数字化行动预测
• 关键词: 数字后续动作, 预测性界面, 大语言模型, 数据集, 泛在增强现实, 日记研究

研究背景与问题

• 发现问题或挑战:
  • 现有系统通常仅针对单一模态输入(文本、图像或音频)，并且只能提供预定义的硬编码动作。
  • 缺乏基于多模态感知的数字后续动作的预测能力。
  • 尚未全面理解用户在真实场景中对多模态信息的“后续动作需求”。
• 重要性:
  • 动作预测能力可以帮助缓解用户在物理、认知或社会上遇到的交互障碍。
  • 能够支持更智能的用户界面设计，对于“泛在增强现实”未来的实现至关重要。
• 研究动机与相关工作:
  • 在以往研究中，尽管已有关于移动信息需求以及多模态交互技术的研究，但对与用户多模态信息交互的动作需求关注较少。
  • 基于LLM（大语言模型）推理能力的潜力，为丰富多模态人机交互提供了新的可能性。

解决方案

• 提出的方法和解决方案:
  • 设计并开发了一个新的管道系统 OmniActions，通过大语言模型处理多模态传感数据，预测用户可能的后续数字化互动动作。
  • OmniActions 包括以下模块：
    1. 转换多模态信息为结构化文本。
    2. 基于“Chain-of-Thoughts (CoT)” 推理机制进行显式推理。
    3. 预测目标信息和后续动作。
• 创新之处:
  • 提出了一个综合的“动作设计空间”，涵盖了7个通用类别和17个具体类别的数字后续动作。
  • 基于LLM展开推理的“Chain-of-Thoughts”推理能力应用于多模态数据。
  • 构建了一个移动端交互原型，从实际用户需求中收集反馈。
• 实施步骤:
  1. 通过日记研究收集用户在现实场景中与多模态信息的交互数据。
  2. 开发OmniActions管道：使用图像描述模型（如InstructBLIP）、目标检测模型（如Detectron2）以及音频分类器（如YAMNet)将多模态信息转化为结构化文本。
  3. 使用大语言模型（如GPT-4）进行基于上下文的学习和精细微调。
  4. 开发并评估移动端互动原型。

研究成果

• 具体成果:
  • 提出了一个设计空间，涵盖了“分享、存储、提醒、查询、数字提取、媒体操作和复杂动作”等七个通用类别，进一步细化为17个具体类别。
  • 通过实验展示了基于GPT-4的“Chain-of-Thoughts”推理在预测数字化后续动作中的高性能（预测top-3通用动作的准确率达到94.3%）。
  • 开发了一个智能手机交互原型，能够提前预测用户的目标信息及相应动作。
• 优势:
  • OmniActions不仅限于单一模态，能够处理图像、音频和其他多模态数据的组合。
  • 在模型透明性和可解释性上有所创新，借助CoT推理让预测的决策过程更加显而易见。
• 实验或评估结果:
  • 48%的参与者表示系统操作简单，78%的参与者对系统的未来可能性感到乐观。
  • 用户认为系统的预测内容大体上准确，但当预测不符合用户预期时，提供“更多”操作选择的功能能有效弥补预测误差。
• 局限性与未来方向:
  • 数据集中的动作类型偏手机生态，无法涵盖未来AR平台可能产生的新需求。
  • 跨平台和多模态增强现实环境的预测能力仍需进一步优化。
  • 用户反馈表明，操作选项过多可能增加认知负担。未来可通过分层菜单及优化选项呈现来减少复杂度。