Rob2HanD：用于IMU交互数据集生成的LLM驱动机械臂

文献标题

Rob2HanD: LLM-Driven Robotic Arm for IMU Interaction Dataset Generation

出版信息

• 研究领域: 基于IMU的人机交互与利用机器人臂和LLM生成数据集。
• 关键词: IMU, 机器人臂, 数据集生成, 大型语言模型, 人机交互, 机器学习, 动作分析, 精细交互, 基于传感器的人类活动识别 (HAR), 轨迹生成。

背景与问题

• 问题/挑战: 现有基于IMU的交互数据集严重依赖于真实用户数据的收集，这不仅耗时费力，还缺乏多样性和个性化。合成数据集往往无法捕捉精细动作或真实的噪声特性。
• 重要性: 应对这些挑战对于提高机器学习模型在人机交互应用中的鲁棒性、泛化能力和效率至关重要。
• 动机与相关工作: 先前的研究探索了利用机器人臂生成数据集以及使用LLM进行动作理解，但这些方法要么缺乏生物逼真性，要么在精细交互场景中表现不佳。本文旨在通过整合LLM和机器人臂来弥合这些差距，从而生成大规模、个性化且逼真的数据集。

解决方案

• 提出的方法: Rob2HanD，一个结合机器人臂、大型语言模型（LLM）和人类动作数据的工具，用于生成大规模IMU数据集以供机器学习使用。
• 创新点:
  1. 提出一个将LLM与机器人臂相结合的框架，用于生成多样化、逼真且大规模的数据集。
  2. 对人类手部运动特征进行详细分析，以指导机器人臂的运动。
  3. 基于LLM对机器人臂运动进行调控，以提高精细交互场景中的生物逼真性。
  4. 提供快速轨迹生成工具，支持零样本和小样本场景。
• 流程与关键技术:
  1. 进行用户研究，收集真实的人类运动数据并分析运动学特征。
  2. 利用LLM根据从人类数据中提取的先验知识调控机器人臂的运动。
  3. 通过配备IMU传感器的机器人臂模拟人类动作，生成大规模数据集。
  4. 融入轨迹生成算法和基于LLM的优化，确保数据集的质量和多样性。

结果

• 具体发现:
  • 在Rob2HanD生成的数据集上训练的模型在真实人类数据集上的准确率达到85.13%，结合少量真实数据后提高至96.14%。
  • 与基于人类的采集方法相比，Rob2HanD将数据收集时间减少了54.1%。
  • 基于LLM的调控提升了数据集质量，相较于未调控数据集，准确率提高了2.57%。
• 相较基线的优势:
  • 在准确率上超越了IMUGPT（结合真实数据增强后96.14%对比82.68%）。
  • 保持了完全由人类采集数据集性能的85.72%，同时显著提高了效率。
• 实验/评估:
  • 将Rob2HanD生成的数据集与真实人类数据和IMUGPT生成的数据集进行比较。
  • 使用CNN-LSTM架构进行5折交叉验证评估模型。
  • 针对五种手势（四种动态手势，一种静态手势）进行实验，参与者包括机器人臂和人类。
• 局限性与未来工作:
  • 在指尖关节运动和长距离全身动作的模拟能力有限。
  • 机器人臂末端执行器的硬件限制。
  • 未来计划包括集成高自由度的指尖模拟，扩展运动特征，并引入多模态轨迹生成方法。

总结

Rob2HanD是一个创新框架，通过整合机器人臂和大型语言模型（LLM），生成大规模、逼真的IMU数据集，用于人机交互中的机器学习。通过分析人类运动数据并利用LLM调控机器人臂，Rob2HanD在显著减少数据收集时间的同时，实现了高质量和多样性的数据集。实验表明，基于Rob2HanD生成数据集训练的模型在性能上可与基于人类采集数据集的模型媲美，并具有较强的泛化能力。该工具在基于传感器的人类活动识别、动作模拟和交互系统中具有广泛的应用潜力，并有望在硬件和轨迹生成技术方面进一步提升。