探索智能手机键盘交互在体验抽样方法驱动探测生成中的应用

文献标题

Exploring Smartphone Keyboard Interactions for Experience Sampling Method driven Probe Generation

文献信息

• 主题领域: 人机交互、情绪感知与智能用户界面设计
• 关键词: 智能手机, 键盘交互, 打字, 体验采样法 (ESM), 合适时机, 通知

研究背景与问题

• 研究问题或挑战:

  • 键盘交互模式（节奏和延迟）与情绪感知服务之间的交互关系尚未被深入探索。
  • 使用体验采样法 (ESM) 采集用户情绪标签存在用户疲劳和注意力分散等问题，因此需要设计及时且高效的调查策略以提升用户响应率。
  • 现有研究主要注重用户活动和上下文，而忽略了智能手机键盘交互数据中可能包含的模式和特征。

• 重要性:

  • 智能手机键盘交互模式的研究可以促进情绪感知服务（如界面优化、自适应键盘、自动表情推荐等）的发展。
  • 在繁重的使用场景中优化 ESM 提问时间，可降低用户干扰和疲劳，提高数据质量。

• 研究动机与相关工作:

  • 以往研究已经探索了通过手机活动、时间、上下文等识别合适的通知时机，但操作方式主要依赖外部因素，很少结合用户输入的键盘行为。
  • 本研究旨在结合时间域和频率域分析，挖掘键盘交互数据的潜力，以改进ESM通知的准确性和时效性。

解决方案

• 提出的方法或解决方案:

  • 利用智能手机键盘交互模式，通过时间域特征（如打字速度、会话长度、会话时长）和频率域特征（如峰值振幅数量、峰值大小），识别 ESM 调查的适宜时机。
  • 开发基于随机森林模型的通用机器学习框架，综合时间域与频率域特征，预测合适的调查时机。

• 创新之处:

  • 系统性地引入频率域分析，结合键盘交互中的节奏特征；
  • 设计并实施了一种新型 Android 键盘应用，仅记录用户的触摸事件而非文本内容，从而保护隐私；
  • 将模型的结果可解释性分析（SHAP）应用于情绪自报告时机预测。

• 实施步骤与关键技术:

  1. 数据采集: 开发安卓键盘应用追踪用户的键盘交互数据，同时记录用户在自报告问卷中标记的合适与不合适时机。
  2. 时间域分析: 计算会话长度、时长、打字速度、错误率等特征，比较合适与不合适时机的数据差异。
  3. 频率域分析: 使用离散傅立叶变换 (DFT) 将打字间隔时间转换为频率域特征，并提取主要峰值振幅。
  4. 模型构建: 使用随机森林模型结合时间域与频率域特征进行分类训练。
  5. 模型可解释性分析: 借助 SHAP 方法量化各特征对模型预测准确性的贡献。

研究成果

• 具体成果:

  • 通过时间域特征观察到，与不合适时机相比，合适时机的会话长度和时长显著较短，打字速度较慢，错误率较高。
  • 在频率域分析中，峰值数量和主要振幅在不同调查时机间存在显著差异。
  • 机器学习模型在交叉验证中实现了 93% 的平均 F-score，验证了时间域与频率域特征在揭示调查合适时机上的有效性。

• 与现有解决方案的优势:

  • 提高 ESM 提问时机的适配性，从而增强用户体验与数据质量；
  • 更敏感地捕捉用户键盘行为中隐藏的情绪特征，相比依赖上下文的传统方法更具创新性。

• 实验与评估结果:

  • 基于 22 名参与者的 3 周实验数据，其中包含 3463 次键盘会话（83.3% 为合适时机），模型显示超出基线（仅使用单一特征）的性能。
  • SHAP 分析表明，会话长度（时间域）和第一峰值振幅（频率域）是模型中最具影响力的特征。

• 局限性与未来方向:

  • 实验样本以学生为主，可能不具备普遍性；
  • 未来可通过扩展样本和情绪维度，进一步完善模型表现；
  • 探索键盘交互与其他传感器数据的融合（如加速度计或语音数据），提高情绪感知的精度。