超越言语：通过语音分析测量语音用户界面的用户体验

文献标题

Beyond Words: Measuring User Experience through Speech Analysis in Voice User Interfaces

出版信息

• 主题领域: 通过语音分析评估语音用户界面中的用户体验。
• 关键词: 语音用户界面、用户体验、语音分析、副语言线索、机器学习、声学特征、实时用户体验感知、自适应系统、交互质量、会话代理。

背景与问题

• 问题/挑战: 现有评估语音用户界面（VUIs）的方法主要依赖事后问卷和任务表现指标，这些方法无法捕捉实时动态，并容易受到如近期效应和社会期望等偏差的影响。
• 意义: 实时、非侵入式的用户体验（UX）评估对于改进VUIs设计和响应能力至关重要，使系统能够动态适应用户需求。
• 动机与相关研究: 先前研究表明，语音中包含的副语言线索能够反映情感和认知努力，但很少有研究系统性地将这些特征与实时VUIs交互中的用户体验联系起来。现有研究通常集中于回顾性测量或受控环境，尚未充分理解语音如何在自然任务导向的交互中反映用户体验。

解决方案

• 提出的方法: 基于语音的框架，用于实时评估VUIs中的用户体验，利用声学、韵律和语言特征推断交互质量。
• 创新点:
  1. 开发了一个包含三个不同VUIs角色和场景的被试内测试平台，以系统性地引发多样化的用户体验。
  2. 引入了一个基于回合的语音特征管道，用于实时和离线的用户体验感知。
  3. 提供了实证证据，将特定语音特征与用户体验维度联系起来，并展示其在机器学习模型中的用户体验分类应用。
• 过程与关键技术:
  • 进行了一项3（角色）×3（场景）的被试内研究，涉及49名参与者。
  • 从用户在交互中的语音中提取声学、韵律和语言特征。
  • 收集标准化的用户体验评分（如吸引力、信任、满意度），并分析其与语音特征的相关性。
  • 训练机器学习模型（如SVM、1D-CNN），基于语音特征分类用户体验水平（正面、中性、负面）。

结果

• 具体发现:
  • 语音特征如频谱质心、抖动和参与率在不同用户体验水平之间系统性变化。
  • 负面用户体验与更亮、更嘈杂的频谱、更大的语音不稳定性以及较低的参与率相关。
  • 使用语音特征的机器学习模型在分类用户体验水平方面的准确率最高达到76.47%。
• 相较基线的优势:
  • 证明语音特征能够可靠地实时推断用户体验，优于传统事后方法在捕捉交互动态方面的表现。
  • 提供了可解释的声学标记，用于隐私保护的非词汇分析。
• 实验/评估:
  • 在一个定制的基于网络的平台上进行实验，平台包含三个VUIs角色，分别在响应延迟、错误处理和语音质量方面有所不同。
  • 通过主观用户体验评分、声学分析和机器学习分类进行评估。
• 局限性与未来工作:
  • 录制条件的异质性和有限的人口多样性可能影响结果的普适性。
  • 需要进行受控实验以分离特定设计因素的影响。
  • 未来工作应探索先进的深度学习模型、跨文化验证以及整合声学、语言和交互特征的多模态方法。

总结

本研究表明，语音特征可以作为语音用户界面（VUIs）中用户体验（UX）的可靠实时指标。通过分析声学、韵律和语言特征，作者识别出语音行为与用户体验维度（如信任、满意度和吸引力）之间的系统性模式。机器学习模型在用户体验水平分类方面表现出较高的准确性，突显了自适应VUIs动态响应用户状态的潜力。这些发现为隐私保护的现场用户体验评估铺平了道路，并为设计更具响应性和以用户为中心的会话代理提供了指导。未来研究应解决普适性问题，探索先进的建模技术，并整合多模态信号以增强用户体验预测能力。