理解移动交互如何塑造触摸屏之外的手部抓握与接触模式

文献标题

Understanding How Mobile Interactions Shape Grasp and Contact Patterns Beyond the Touchscreen

出版信息

• 主题领域: 人机交互，聚焦于智能手机的人体工学设计与物理交互。
• 关键词: 智能手机交互、手-设备接触、热成像、握持模式、移动设备人体工学、多模态交互、触摸屏、设备背面、用户研究、触觉设计。

背景与问题

• 问题/挑战: 对手指和手掌如何与智能手机表面（触摸屏以外部分）进行交互的理解有限，同时由于视觉遮挡和硬件限制，捕捉详细接触点的方法存在挑战。
• 重要性: 对手-设备交互的深入理解可以为智能手机的人体工学设计提供指导，提升用户舒适度，并推动触摸屏以外的创新多模态交互。
• 动机与相关研究: 之前的研究探讨了常见的握持类型、设备背面的交互以及手指手势，但缺乏针对具体任务的手-设备接触模型。现有方法如外部传感器或压力阵列要么不足，要么过于复杂，导致对空间接触模式的理解存在空白。

解决方案

• 提出的方法: 结合热成像和视频分析的用户研究，捕捉并分析九种常见交互任务中的手-智能手机接触模式。
• 创新点:
  1. 实证性地描述了九种任务中智能手机背面和侧边的手握及接触模式。
  2. 创建了一个包含1023张标注热成像图片的数据集，展示手-智能手机接触区域。
  3. 将热成像技术扩展到电子设备领域，用于捕捉残留的热痕迹。
• 流程和关键技术:
  • 参与者完成九种交互任务，同时通过多视角摄像头记录握持动作。
  • 使用热成像相机捕捉智能手机上的热痕迹。
  • 接触图通过人工精细化和自动分割工具进行标注和分析。
  • 应用统计和机器学习方法分析接触模式并基于热数据预测任务。

结果

• 具体发现:
  • 接触区域在不同任务间差异显著，背面平均占手接触的45.9%，其次是侧边（左侧20.9%，右侧18.3%）。
  • 热成像揭示了独特的空间频率模式，纵向任务显示边缘集中接触，横向任务则表现为广泛的背面接触。
  • 机器学习在基于接触模式预测任务方面取得了较低的准确率（52.5%），表明仅依靠接触数据的区分能力有限。
• 相较基线的优势: 热成像相比压力或电容传感提供了更高的空间精度和生态有效性，能够在不修改设备表面的情况下捕捉详细的手印。
• 实验/评估:
  • 研究包括23名参与者完成九种任务（如打字、游戏、通话），使用Google Pixel 7智能手机。
  • 数据包括1023张热成像图片和多角度视频记录。
  • 通过统计分析和机器学习评估接触模式及任务可预测性。
• 局限性与未来工作:
  • 样本量较小且偏向右手用户。
  • 使用单一智能手机型号限制了结果在不同设备上的普适性。
  • 单靠接触模式不足以可靠预测任务，未来研究可整合实时传感器并探索折叠手机或配件的影响。

总结

本研究通过热成像和视频分析探讨了手在触摸屏以外的智能手机交互中的物理接触模式，涵盖九种交互任务。研究发现了独特的握持配置和空间接触模式，为人体工学设备设计和多模态交互提供了新的可能性。创建的1023张标注热成像图片数据集为后续研究提供了资源。尽管热成像在捕捉详细接触区域方面表现出色，但基于接触模式的任务预测准确率有限，表明需要结合其他传感方法。研究结果可为智能手机设计、触觉反馈布局以及硬件组件定位提供指导。