HandyTrak：从身体轮廓图像识别 commodity 智能手机的持握之手

文献标题

HandyTrak: Recognizing the Holding Hand on a Commodity Smartphone from Body Silhouette Images

文献信息

• 主题领域: 人机交互、移动计算、计算机视觉
• 关键词: 移动计算, 计算机视觉, 商品智能手机, 深度学习, 手部模式识别, 用户界面, 实时跟踪, 身体轮廓, AI应用

研究背景与问题

• 发现的问题或挑战:

  1. 用户持握手机的方式直接影响其用户体验，尤其是在一手操作较困难的情况下。随着手机屏幕尺寸的增大，使用手机拇指触达某些屏幕区域变得更加困难。
  2. 现有方法（如Apple的Reachability功能）需要用户手动启用，或只能在有限情境（如解锁阶段）下识别手部模式，无法实现连续追踪。
  3. 某些方法还需要额外的硬件设备，这使得其在商品化的智能手机上并不普适。

• 重要性:

  1. 改善用户体验：通过自动适配UI布局，减小操作难度。
  2. 提高智能交互的效率，减少用户手动调整UI的需求。

• 研究动机与相关工作:

  • 现有研究使用触摸事件、惯性测量单元（IMU）传感器等输入信息来推断手部模式，但需要用户显式交互，或者依赖额外的硬件。
  • 本研究的目标是开发一种新方法，借助智能手机的前置摄像头，通过捕捉用户的身体轮廓，实现无用户输入的连续追踪。

解决方案

• 提出的解决方案: HandyTrak是一种基于AI的软件系统，使用商品化智能手机的内置前置摄像头捕捉用户的身体轮廓图像，通过深度学习算法持续识别用户是用左手、右手还是双手持握手机。

• 创新之处:

  1. 无需额外硬件，仅需智能手机的内置前置摄像头。
  2. 实现了无需用户显式交互的连续手部模式追踪。
  3. 提出了使用用户身体轮廓图像进行分类的深度学习方法。

• 实施步骤与技术:

  1. 图像预处理:
     • 对前置摄像头捕获的图像进行尺寸归一化（224×224），通过FCN-ResNet101模型进行人体分割。
  2. 深度学习:
     • 使用经过预训练的VGG16模型设计自定义分类网络（HandyNet）。
     • 对分割后的轮廓图像进行左/右/双手的分类，使用softmax层输出结果。
  3. 系统部署:
     • HandyTrak在多种情境下进行训练与测试，模型的参数调整通过实验确定。

研究成果

• 具体成果:

  1. HandyTrak在用户持手机时实现了平均89.03%的分类准确性（采样率2Hz）。
  2. 对于倾斜持握手机的情况，分类准确性更高（95.84%，标准差5.05%）。
  3. HandyTrak的分类准确性在一秒滑动窗口中达到了92.3%，且在不同前置摄像头位置下表现一致。

• 优势:

  1. 与需要显式输入或额外硬件的现有方法相比，HandyTrak更便捷且普适。
  2. 在手机应用中可用于动态调整UI布局，如在自拍时适配虚拟按钮位置。

• 实验或评估结果:

  1. 系统在三种常见情境下（站立、坐着、桌面支撑）表现一致。
  2. 在倾斜持握手机的情况下，准确性显著提升。
  3. HandyTrak对不同任务的效果评估显示：解锁时87.56%，应用内浏览时88.37%，自拍时92.68%。
  4. 续研表明，即使用户在行走状态下使用系统，也能维持88.36%的分类准确性。

• 局限性与未来方向:

  1. 覆盖范围: 当前仅针对站立、坐着和桌面的三种使用姿势进行训练，未来需扩展到更复杂的使用场景（如躺着、行走等）。
  2. 用户独立性: 本研究主要采用用户相关的训练模型，用户独立模型的效果较弱，需要更多数据进行大规模训练。
  3. 能耗与隐私: 持续使用摄像头会增加能耗，未来可通过结合IMU传感器优化系统触发时机。
  4. 低光适应性: 系统在低光环境下表现有限，未来可结合深度相机解决夜间使用问题。
  5. 进一步提升: 使用增强的图像分割技术和多模态数据（如深度图像）提升模型性能。