Mouse2Vec：学习可重用的鼠标行为语义表示

文献标题

Mouse2Vec: Learning Reusable Semantic Representations of Mouse Behaviour

文献信息

• 主题领域: 人机交互与行为建模
• 关键词: 鼠标输入, 表征学习, 自监督学习, 数据增强, 行为检索, Transformer

研究背景与问题

• 问题与挑战: 当前鼠标行为建模通常依赖复杂的人工特征设计或特定应用的模型。这种方法不仅需要专家知识，也耗时并且不通用。
• 重要性: 鼠标是人机交互中普遍使用的输入设备，鼠标行为包含用户交互目标、认知状态等丰富信息，其建模对改进个性化交互系统至关重要。
• 研究动机: 尽管自监督学习方法已广泛应用于其他领域（如用户界面、语音、艺术品等），但尚无专门用于鼠标行为学习的自监督建模方法。

解决方案

• 提出方法: Mouse2Vec是第一个用于鼠标行为学习的自监督方法。其核心是一个基于Transformer的编码器-解码器架构：
  • 编码器学习鼠标轨迹的嵌入；
  • 解码器重建输入并识别鼠标点击事件。
• 创新点:
  • 同时编码鼠标轨迹的时间域、频率域（幅值和相位），以及事件信息（点击与移动）；
  • 提出多任务训练策略（输入重建+鼠标事件检测），支持宽泛应用场景。
• 关键技术与步骤:
  • 数据预处理：鼠标轨迹被归一化、重采样到20Hz并分片；
  • 模型架构：利用Transformer处理时间和频率信息；
  • 多任务训练：联合输入重建任务和点击事件检测任务；
  • 使用公开数据集（Bufalo与EMAKI）进行预训练以增强模型的泛化能力。

研究成果

• 具体成果:
  • Mouse2Vec生成的表征能捕捉鼠标行为的语义特征和潜在关系，支持人类可理解的语义分析；
  • 能有效检索具有相似交互特征的鼠标轨迹。
• 优势:
  • 与基于人工特征的传统方法相比，该模型能显著节约特征设计的时间；
  • 自监督方法无需人工标签，降低了数据标注成本。
• 实验评估:
  • 在3个下游任务（交互任务识别、下一步活动预测、用户身份识别）和多个数据集上均获得持续性能改进：
    • 例如，通过数据增强，互动任务识别的准确率提高了6.79%；
    • 通过直接使用预训练模型作为特征提取器，性能超越传统基于人工特征的基线方法。
  • Fine-tuning进一步提高了模型适应性和性能。
• 局限性与未来方向:
  • 当前仅针对鼠标行为，未涉及其他输入设备（如键盘）或多模态建模；
  • 探索鼠标行为与用户界面表示的交互关系，可进一步提高行为建模效果；
  • 更多公开数据集的发布和使用，有望进一步提升模型性能。

这项研究展示了自监督学习在用户行为建模领域的潜力，具有重要的实际应用价值，特别是在智能化用户界面设计上。