SUPREYES：基于隐式神经表示学习的眼睛超分辨率方法

文献标题

SUPREYES: SUPer Resolution for EYES Using Implicit Neural Representation Learning

文献信息

• 主题领域: 人机交互、计算机视觉、深度学习
• 关键词: 眼动数据超分辨率, 隐式神经表征, 上采样, 自监督学习, 人机交互, 用户身份识别, 时序数据, 深度学习

研究背景与问题

• 问题或挑战:

  • 当前许多低分辨率的眼动追踪器（如移动眼动追踪设备）的分辨率和采样频率较低，限制了眼动数据在许多高级应用中的实际效用。
  • 高分辨率眼动追踪设备价格昂贵，升级硬件也伴随着学习新设备操作、硬件兼容性等成本。

• 研究的重要性:

  • 高分辨率眼动数据在快速眼动检测、基于视觉的用户交互以及身份识别等领域具有重要作用。
  • 提供一种经济、便捷的方式提高低分辨率眼动数据的分辨率，可以大幅提高现有硬件的应用潜力，并支持眼动数据的新应用场景。

• 研究动机和相关工作:

  • 作者受隐式神经表示（INR）在图像超分辨率等任务中的表现启发，提出利用其建模连续信号的能力，用于眼动数据的超分辨率并生成高频数据。
  • 当前已有时间序列建模和超分辨率相关工作，但并未专门针对眼动数据提出对应解决方案。

解决方案

• 方法或解决方案:

  • SUPREYES：一个基于自监督学习的框架，将低分辨率眼动数据映射为连续的隐式神经表征，以提升数据的时空分辨率。
  • 参数化模型：使用多层感知机（MLP）建模将输入时间和局部特征映射为眼动方向。
  • 提供多种上采样策略，包括单阶段上采样（single-stage up-sampling）和多阶段上采样（multi-stage up-sampling）。

• 创新之处:

  • 提出了首个学习驱动的眼动数据超分辨率方案。
  • 首次设计了专用的眼动数据全局特征提取器，并结合额外损失函数优化，提升模型性能。
  • 提供严格的序列损失（L2 loss）指导模型学习，以代表快速眼动行为和保留具体用户特性。

• 实施步骤和技术:

  1. 数据准备：将高分辨率的眼动数据降采样至低分辨率，并将其作为输入。
  2. 全局特征提取：使用卷积编码解码器（1D CNN）生成输入的全局特征。
  3. 局部查询：通过多层感知器对输入的局部特征和相对时间进行查询，生成指定分辨率的眼动数据。
  4. 损失构造：包括位置损失（位置点误差）和重建损失（用于全局特征提取）。
  5. 评估：通过均方误差（MSE）、动态时间规整差异（sDTW）等指标评估生成数据的质量。

研究成果

• 具体成果:

  1. 超分辨率性能: 在眼动数据从25 Hz、50 Hz和100 Hz分别上采样到更高频率任务中，SUPREYES超越线性插值、PCHIP、样条插值等传统方法。
  2. 用户身份识别: 在基于眼动数据的用户身份识别中，SUPREYES生成的高分辨率数据显著提升了识别准确性和降低等错误率（EER）。
  3. 多阶段上采样效果: 多阶段上采样缓解了单阶段上采过程中的性能下降问题，并在超分辨率挑战极大的场景中表现较优。

• 与现有方法的比较:

  • 相比传统插值方法，SUPREYES在数据生成的时序一致性及用户特性保留方面都具有显著优势。
  • 在用户身份识别任务中，SUPREYES对下采样尺度为×2的任务表现尤为出色。

• 实验或评估结果:

  • 在GazeBase数据集上进行基线比较和实际用户任务实验，分别使用MAE、MSE、sDTW等度量评估生成数据与真实数据的差异。
  • 在50 Hz到100 Hz的超分辨率任务中SUPREYES的EER达到2.52%，超越所有插值基线。

• 局限性与未来方向:

  • 局限性:

    • 模型在更高采样率超分辨率任务（如50 Hz到200 Hz）中表现略显不足。
    • 当前方法在处理真实的低分辨率眼动数据时可能面临额外的挑战（如摄像头硬件噪声）。
    • 模型尚未实现实时运行，主要用作后处理工具。

  • 未来方向:

    1. 增加对不同眼动类型（如扫视、平稳追踪）的优化评估。
    2. 研究如何改进模型在大尺度上采样任务中的性能（如统一多个采样频率的特征表示）。
    3. 探索SUPREYES在其他下游任务中的潜力，如学习驱动的眼动模式检测。
    4. 考虑将模型集成到实时低分辨率追踪器中，以增强传感器采样能力。