你在消磨时间吗？通过融合智能手机传感器数据和屏幕截图预测智能手机用户的时间消磨时刻

文献标题

Are You Killing Time? Predicting Smartphone Users’ Time-killing Moments via Fusion of Smartphone Sensor Data and Screenshots

文献信息

• 主题领域: 人机交互与移动计算技术
• 关键词: 时间消磨行为, 截屏, 深度学习, 智能手机传感器数据, 手机使用

研究背景与问题

• 问题或挑战: 虽然手机的使用不总是因为特定目的，许多人利用手机消磨时间，如等待或无聊时，然而目前对这一行为的检测研究较少。现有研究多集中于干扰性或注意力余裕时刻的检测，但很少针对时间消磨行为做深入探索。
• 研究重要性: 检测时间消磨行为不仅有助于为用户提供更适宜的内容推送，还能帮助研究人员分析人们一天中何时以及多频繁地出现这一行为模式，从而改善用户的手机使用习惯，提高生产力。
• 研究动机与相关工作: 检测时间消磨行为能让开发者将产品设计与干预措施更多地聚焦于用户低交互时刻，从而增强应用的用户体验和使用效率。

解决方案

• 方法或解决方案: 提出一种融合智能手机传感器数据和截屏数据的深度学习模型，用以检测用户的时间消磨行为。
• 解决方案的创新点:
  1. 利用智能手机截屏数据和传感器数据的联合特征，增加预测的准确性。
  2. 根据用户手机使用行为进行分组，针对不同组分别构建时间消磨预测模型。
• 实施步骤与关键技术:
  • 数据收集: 通过自研的Android应用程序 "Killing Time Labeling (KTL)" 收集传感器数据、截屏数据以及用户对时间消磨行为的标注，共采集36名参与者的数据，包含超过96万条标注。
  • 特征提取: 从传感器数据中提取手机状态、用户交互特征，从截屏图像中提取图形特征。
  • 模型设计: 使用深度学习技术，包括DeepFM处理传感器数据，ResNet处理图片特征，以及融合注意力机制进行数据整合，形成最终分类预测。
  • 用户分组: 使用基于k-means的两阶段聚类算法，根据用户手机使用习惯进行分组，并为每一组构建专属模型。
  • 模型训练: 采用分阶段训练策略，分别预训练截屏和传感器数据编码器，再联合训练融合网络。

研究成果

• 具体成果:
  • 融合模型在时间消磨行为预测上取得平均精度为0.83，AUROC为0.72的性能。相比仅使用传感器或截屏数据的模型，融合模型表现更优。
  • 基于使用行为分组后的模型进一步提升性能，平均精度达到了0.87，AUROC达到0.76，高于统一通用模型。
• 优势:
  • 与现有研究相比，融合模型的预测时间消磨行为的精度和特异性更高，尤其能减少非时间消磨行为被错误预测为时间消磨的几率。
  • 用户分组模型提高了数据分布差异较大的情况下预测的鲁棒性。
• 局限性与未来方向:
  • 局限性包括样本规模较小（仅36名参与者），且数据来源单一（台湾地区），可能限制模型的普适性。
  • 部分用户标注行为可能受回忆误差影响，数据标注的可靠性有待提升。
  • 未完备采集隐私保护措施可能影响用户行为，仅提供原始截屏可能会对参与者造成隐私困扰。
  • 未来研究方向包括扩大研究样本范围以提升模型普适性，优化隐私保护方法（例如对传感器和截屏数据进行模糊处理），以及探索更多时间消磨行为的特征关联。

总结与贡献

• 总结: 通过独特的截屏和传感器数据融合模型，研究人员成功检测了手机用户的时间消磨行为，为智能内容推送技术和用户行为分析开辟了新路径。在用户分组基础上进行建模的策略展现出更高的预测能力。
• 学术贡献:
  1. 提出了基于截屏和传感器数据融合的深度学习模型，用于精准检测时间消磨行为。
  2. 展示了用户行为分组对模型性能提升的重要性。
  3. 提供了传感器数据和截屏数据在不同用户行为模式下的相对效用评估。