Log2Motion：基于触摸日志的生物力学运动合成

文献标题

Log2Motion: Biomechanical Motion Synthesis from Touch Logs

出版信息

• 主题领域: 用于触控交互分析的生物力学运动合成。
• 关键词: 生物力学仿真、运动合成、触控日志、强化学习、肌肉骨骼建模、人机交互、人体工学、可用性、运动控制、移动设备。

背景与问题

• 问题/挑战: 现有触控日志对用户交互背后的物理过程洞察有限。以往方法能够预测性能指标，但无法建模生成交互的生物力学过程。目前的生物力学模型通常是任务特定的，与实际应用脱节。
• 重要性: 理解触控交互背后的物理过程可以为用户界面设计、人体工学和可访问性提供支持，减少昂贵用户研究的需求。
• 动机与相关工作: 之前的研究集中于基于日志的分析、前向模型和生物力学仿真，但这些方法缺乏与实际应用的整合，或无法建模精细的运动控制。本文通过引入一种从触控日志合成用户运动的方法来解决这些问题。

解决方案

• 提出的方法: Log2Motion，一种利用强化学习和肌肉骨骼前向仿真从触控日志合成生物力学合理运动的方法。
• 创新点:
  1. 将运动合成表述为一个部分可观测马尔可夫决策过程（POMDP），以支持灵巧的触控交互。
  2. 将软件仿真器与基于物理的生物力学仿真器集成，连接实际应用与运动合成。
  3. 开发奖励模型，用于学习类人运动策略。
• 流程与关键技术:
  • 将运动合成定义为一个包含状态、观测、动作和奖励的POMDP。
  • 将Android Emulator与MuJoCo物理引擎集成，实现实时仿真。
  • 使用强化学习训练运动操作（如点击、滑动），并结合模块化奖励函数。
  • 模拟运动噪声和努力，以反映人类的变异性和感知的消耗。
  • 将合成的运动与人类数据进行对比，以评估其合理性和准确性。

结果

• 具体发现:
  • 合成运动符合费茨定律（R² > 0.96）和人类运动行为。
  • 点击策略的错误率：准确型8.5%，普通型12.5%，快速型42.5%（4毫米按钮）。
  • 肌肉努力分析显示不同策略在峰值努力与总努力之间的权衡。
  • 模拟轨迹与人类运动捕捉数据高度匹配（中位DTW距离：准确型1.43厘米，快速型1.29厘米）。
• 相较基线的优势:
  • 生成具有真实速度曲线和努力指标的类人运动轨迹。
  • 支持任意交互序列，并能以最小的微调适应新姿势。
  • 提供日志无法单独提供的人体工学和性能洞察。
• 实验/评估:
  • 与人类数据对比，用于指向和滑动任务。
  • 基于费茨定律和实证运动数据的验证。
  • 分析点击和滑动策略的错误率、速度曲线和肌肉努力。
  • 应用于大规模日志（Android-in-the-Wild数据集），预测错误率、任务时长和努力。
• 局限性与未来工作:
  • 当前模型支持单手、食指交互以及平放在桌面的设备。
  • 未来工作包括增加双手交互、基于拇指的输入以及认知/感知建模。
  • 有潜力进行多目标优化和自动化强化学习以改进训练。

总结

Log2Motion提出了一种从触控日志合成生物力学合理运动的新方法，弥合了交互日志与生成交互的物理过程之间的差距。通过将软件仿真器与生物力学仿真器集成并利用强化学习，该方法生成与实证数据一致的类人运动轨迹。该方法能够估算速度、准确性和努力等性能指标，为人体工学和可用性提供洞察。应用包括增强日志数据、评估可访问性以及探索替代设计。未来工作旨在扩展支持的交互类型，并整合认知与感知模型。