UEQManager：一种用于多语言语音助手中用户体验质量识别与管理的非侵入式实时系统

文献标题

UEQManager: A Non-intrusive and Real-time System for Recognizing and Managing UEQ in Multilingual Voice Assistants

出版信息

• 主题领域: 人机交互 (HCI) 和自适应语音助手系统
• 关键词: UEQ，多语言语音助手，注视追踪，深度学习，自适应界面，实时系统，用户体验，无侵入式感知，SHAP分析，主动适应

背景与问题

• 问题/挑战: 当前评估语音助手用户体验质量（UEQ）的方法主要依赖事后问卷调查，这种方法具有回顾性、侵入性，且无法捕捉用户体验的实时波动。
• 重要性: 实时的UEQ识别与管理对于提升多语言语音助手的用户满意度、参与度和信任度至关重要，尤其是在多样化语言环境中。
• 动机与相关工作: 以往研究探讨了UEQ维度和多语言能力，但缺乏动态、无侵入式的系统来进行实时UEQ评估和自适应交互。行为信号（如注视）在推断用户状态方面显示出潜力，但其在实际系统中的整合尚未得到充分探索。

解决方案

• 提出的方法: UEQManager——一个基于摄像头注视追踪的实时无侵入式系统，用于预测UEQ维度并主动调整语音助手行为。
• 创新点:
  1. 开发可解释的深度学习模型，通过注视特征预测UEQ及其七个子维度。
  2. 将基于注视的UEQ预测整合到使用大型语言模型（LLMs）的自适应交互策略中。
  3. 实现一个实时、隐私保护的系统，用于持续的UEQ监测和管理。
  4. 通过用户测试进行实证验证，显示出相比基线系统显著的UEQ指标改进。
• 流程与关键技术:
  • 模块1: 使用深度学习架构（BiLSTM-A, Hybrid-P, Hybrid-A）基于眼动数据进行注视驱动的UEQ预测。
  • 模块2: 使用LLMs设计自适应界面，根据预测的UEQ缺陷生成特定情境的微干预。
  • 模块3: 系统集成实时摄像头注视感知和隐私保护处理。
  • 用户测试: 18名参与者评估系统效果。

结果

• 具体发现:
  • UEQManager相比基线系统，整体UEQ提升了27.29%。
  • 所有UEQ子维度均有显著改进，其中内容可信度的提升最大（+7.22分）。
  • 预测模型的R²值中等（如UEQKPI为0.19–0.35），且始终优于线性模型、CNN和Transformer基线。
  • 实时系统延迟为39.2 ± 3.1毫秒，符合交互阈值（<50毫秒）。
• 相较基线的优势:
  • UEQManager在用户体验指标和行为语音特征（如语速、抖动）上始终优于非自适应和随机策略基线。
• 实验/评估:
  • 在被试内实验中（N=18），模拟了三种语音助手（基线、随机策略、UEQManager）。
  • 评估指标包括标准化UEQ+问卷和行为语音特征（如语速、抖动）。
  • 统计分析（配对t检验、ANOVA）证实了UEQ指标和语音流畅性在UEQManager条件下的显著改进。
• 局限性与未来工作:
  • 预测准确性仍处于中等水平；未来工作可通过更大数据集增强模型鲁棒性。
  • 可解释性分析的相关性证据未直接验证认知机制。
  • 系统在不同操作条件（如光照、背景噪声）下的鲁棒性尚未测试。
  • 基于摄像头感知的伦理和隐私问题需要进一步的保障措施和参与式设计。

总结

UEQManager是一个概念验证系统，集成了基于摄像头的注视感知、可解释深度学习模型和自适应交互策略，用于识别和管理多语言语音助手中的UEQ。该系统在用户体验指标上表现出显著改进，在主观和行为评估中均优于基线方法。通过利用注视线索进行实时UEQ预测和主动适应，UEQManager为提升语音助手交互中的用户满意度、信任和参与度提供了一个实用的路径。未来工作应解决预测准确性、操作鲁棒性和伦理问题，以支持更广泛的部署。