GazeSwipe：通过无缝结合目光和手指滑动来增强移动触摸屏的可访问性

研究背景与问题

• 发现的问题或挑战:

  • 随着智能手机和平板电脑屏幕尺寸的不断增大，使用一只手操控设备时，拇指难以触碰到屏幕的某些区域。这种“触碰不可达性”问题带来了操作效率低和意外掉落设备等挑战。
  • 当前解决方案（如屏幕缩放技术和光标技术）虽然改善了一些触碰不可达性问题，但牺牲了可用屏幕空间、增加了用户疲劳或缺乏直观性。
  • 传统的目光交互解决方案需要昂贵的眼动追踪设备和繁琐的校准步骤，无法普遍应用于日常设备中。

• 重要性:

  • 大屏设备广泛用于看视频、阅读和多任务处理，解决触碰不可达性问题将显著提升用户体验。
  • 便捷、低摩擦、无需额外硬件的解决方案是增加大屏设备易用性的重要方向，尤其是在娱乐和生产场景下。

• 研究动机和相关工作:

  • 探索如何通过用户设备的内置摄像头实现目光估计，并结合触屏交互设计一种直观的解决方案。
  • 相关领域已提出屏幕变换技术、光标技术以及目光+触控交互，但这些解决方案在准确性、便携性或用户友好度上存在一定不足。

解决方案

• 提出的方法或解决方案:

  • 提出一种名为 GazeSwipe 的多模态交互技术，该技术将目光估计与手势滑动相结合，用于提升拇指在大屏设备上的可触碰范围。
  • 设计了一个基于设备前置摄像头实现的实时目光估计方法，避免了额外硬件和显式校准需求。
  • 引入“用户不感知”自动校准策略，通过记录滑动释放点动态优化目光精度。
  • 提供一种“目光指向+手指滑动”的交互模型，支持直观的屏幕元件选取与操作。

• 解决方案的创新之处:

  • 利用设备内置摄像头，无需外部眼动追踪硬件，增强系统可使用性。
  • 自动校准方法消除了繁琐的显式校准步骤，同时动态适应用户头部动作。
  • 将目光交互与手指滑动巧妙融合，解决了目光交互的“米达斯效应”（触发错误点击）问题。

• 实施步骤:

  1. 实时目光估计: 使用轻量级神经网络从前置摄像头捕获的图像估计屏幕上的目光点。
  2. 自动校准: 在用户交互过程中记录每次滑动释放点，以优化目光估计偏差。
  3. 滑动交互: 用户目光锁定目标后，通过滑动了解光标调整完成目标选择。

• 关键技术:

  • 轻量级深度学习网络，用于快速估计目光点。
  • 距离反比加权策略和头部朝向信息，用于动态校准目光估计结果。
  • 结合触控屏手势和目光的交互模型设计。

研究成果

• 具体成果:

  • 自动校准策略显著降低目光估计误差；相比传统显式校准，提供更好的目标选取精度和用户体验。
  • GazeSwipe针对智能手机和平板电脑的触屏不可达问题表现优异，尤其在平板设备上显著超越其他方法。

• 与现有解决方案的优势:

  • 无需额外硬件，降低了设备部署成本。
  • 动态自动校准免去显式设置，减少用户学习成本。
  • 提供低摩擦、直观的交互方式，适合日常应用场景。

• 实验或评估结果:

  • 多项用户研究表明，GazeSwipe在成功率、拇指移动距离和用户偏好排名方面超过其他技术。
  • 平板设备中，GazeSwipe在所有评估指标上表现最佳，仅次于直接点击方法的完成时间稍长。

• 局限性与未来方向:

  • 局限性:
    • 初始目光估计精度较低，需多次交互进行校准。
    • 技术在光线较暗环境中的表现有限，可尝试通过屏幕亮度调节优化。
    • 起始光标位置的随机性可能影响用户响应时间。
  • 未来方向:
    • 进一步优化目光估计精度，适应复杂的移动环境。
    • 探索基于多模态（如目光、语音、触控）的更多应用场景。
    • 连接用户身份识别和历史校准信息，改进系统实用性。

通过以上分析可以看出，GazeSwipe技术有效解决了大屏设备触屏不可达性问题，同时以其创新设计在用户友好性、可使用性和成本效益方面展现了显著潜力。未来的研究可以在优化技术细节和扩展应用场景上进一步深挖，以推动其全面实际应用。