基于眼动预测可用性和用户体验：使用机器学习识别跨刺激交互模式

文献标题

Predicting Usability and UX based on Eye Movements: Identifying Cross-Stimuli Interaction Patterns with Machine Learning

出版信息

• 主题领域: 基于眼动追踪和机器学习的可用性与用户体验（UX）评估。
• 关键词: 眼动追踪、可用性、用户体验、机器学习、实用质量、享乐质量、跨刺激泛化、AttrakDiff、UEQ、扫视模式。

背景与问题

• 问题/挑战: 当前的可用性和用户体验评估主要依赖于自我报告问卷，这种方法具有主观性并需要用户主动参与。眼动数据在预测可用性和用户体验评分方面的潜力尚未被充分探索，特别是在跨不同数字产品的泛化能力方面。
• 重要性: 通过眼动追踪实现可用性和用户体验评估的自动化，可以减少对主观方法的依赖，从而实现对数字产品的被动且可扩展的评估。
• 动机与相关工作: 先前的研究表明，眼动数据可以预测特定的用户行为和心理状态，但通常缺乏跨刺激或领域的泛化能力。很少有研究尝试使用经过验证的问卷（如AttrakDiff和UEQ）来预测可用性和用户体验评分，这在理解跨刺激交互模式方面留下了空白。

解决方案

• 提出的方法: 使用机器学习模型预测基于眼动数据的实用质量（PQ）和享乐质量（HQ）评分，这些数据是在用户与六个网站交互过程中收集的。
• 创新点:
  1. 将经过验证的问卷（AttrakDiff和UEQ）整合为机器学习模型的标签。
  2. 分析基于眼动数据预测的跨刺激泛化能力。
  3. 识别与PQ和HQ相关的特定眼动模式（如扫视和转换）。
  4. 评估五种机器学习模型，包括SVM和MLP，用于预测可用性和用户体验。
• 流程与关键技术:
  • 使用Tobii Pro Fusion眼动仪从121名参与者处收集数据，覆盖六个网站。
  • 特征工程提取三阶和四阶眼动指标，包括扫视转换和基于AOI的特征。
  • 使用分层10折交叉验证和保留验证训练和评估机器学习模型（SVM、MLP、KNN、RF、GB）。
  • 分析特征重要性以及类别不平衡对预测性能的影响。

结果

• 具体发现:
  • 在刺激内预测中，SVM和MLP的MCC得分分别达到0.751和0.780，保留验证中负效应量较小至中等（PQ为-0.313至-0.492，HQ为-0.141至-0.182）。
  • 跨刺激预测中，PQ的MCC得分下降至0.196，HQ的MCC得分为0.338，表明泛化能力有限。
  • 四阶指标，特别是扫视转换，预测能力最强，其中回归扫视与HQ相关，较长的连续扫视与PQ相关。
• 相较基线的优势:
  • SVM和MLP在刺激内和跨刺激预测中均优于KNN、RF和GB，表现出更高的MCC得分和更窄的置信区间。
  • HQ预测在跨刺激泛化方面优于PQ预测。
• 实验/评估:
  • 数据来自六个网站，覆盖两个领域（德国饮用水供应商和德国阿尔卑斯协会）。
  • 标签来源于AttrakDiff和UEQ问卷的简短版本。
  • 评估指标包括MCC、Cohen’s d和90%置信区间。
• 局限性与未来工作:
  • 数据集规模有限（121名参与者）以及类别不平衡影响了模型性能。
  • PQ评分高度依赖于刺激，限制了跨刺激泛化能力。
  • 未来工作应探索更大规模的数据集、多类别预测以及替代交互数据（如鼠标移动）。

总结

本研究表明，眼动数据可以通过机器学习模型适度预测可用性（PQ）和用户体验（HQ）评分，其中SVM和MLP表现最佳。四阶指标（如扫视转换）尤其具有预测能力，回归扫视与HQ相关，较长的连续扫视与PQ相关。尽管刺激内预测可靠，但跨刺激泛化能力有限，尤其是PQ。研究结果突出了眼动追踪作为可用性和用户体验评估的补充工具的潜力，同时强调了进一步研究以提高泛化能力和可扩展性的必要性。