理解语音助手故障后用户信任的混合方法论

文献标题

A Mixed-Methods Approach to Understanding User Trust after Voice Assistant Failures

文献信息

• 主题领域: 人机交互、语音助手信任研究
• 关键词: 语音助手、信任、问卷调查、访谈研究、失败案例、用户行为、自然语言处理、数据集、可靠性、用户体验

研究背景与问题

• 问题与挑战:

  • 尽管自然语言处理(NLP)取得了巨大进展，但语音助手仍然常常不能满足用户期望，包括准确响应复杂任务。
  • 用户对语音助手的信任度往往较低，阻碍其更广泛的应用。

• 重要性:

  • 用户信任是保证技术采纳的重要因素，而语音助手越来越多地被设计用于复杂任务，如医疗保健、心理健康建议和高风险决策。
  • 探讨语音助手失败及其对用户信任的影响，有助于优化技术设计并提升用户体验。

• 研究动机与相关工作:

  • NLP模型的评估通常基于标准化数据集，而实际应用场景（混杂语音、不完整输入等）与之存在显著差异，这导致技术在用户实际使用时的适配度较差。
  • 仅少量研究系统性关注用户对语音助手失败的感知及失败对信任的具体影响。

解决方案

• 方法与解决方案:

  • 提出一种混合方法研究，为检视语音助手失败对用户信任的影响。
  • 通过访谈获取用户关于语音助手失败经历的深入见解。
  • 构建用户提供的失败数据集并进行分类分析。
  • 设计并实施问卷调查，量化不同失败类型对信任（能力、善意、诚信三个维度）的影响。

• 创新之处:

  • 扩展已有的NLP失败分类模型，形成适用于语音助手的12种失败来源分类。
  • 公布了一个包含199个用户提交失败案例的数据集，为后续研究奠定基础。
  • 将用户对信任的量化评估与实际场景中的失败体验相结合，提供系统化洞察。

• 实施步骤:

  • 访谈：招募12名受访者，收集有关语音助手失败经历的详细描述。
  • 失败数据收集：通过Amazon Mechanical Turk众包平台收集199个语音助手失败案例。
  • 问卷调查：构建问卷以评估不同失败情境对用户信任及未来任务使用意愿的影响。
  • 数据分析：通过定量统计方法和定性编码框架分析信任维度的差异。

研究成果

• 具体成果:

  • 分类结果显示，12种失败来源包括：MISSED TRIGGER（无响应）、SPURIOUS TRIGGER（误触发）等。失败频率最高的是误解(MISUNDERSTANDING)，最少的是截断(TRUNCATION)。
  • 调查结果表明，某些失败（如模糊性导致失败）对用户信任的负面影响较小；而无响应(MISSED TRIGGER)、错误操作(CORRECT ACTION)等会显著削弱用户对语音助手的能力和善意的信任。

• 与现有解决方案的比较:

  • 本研究首次系统地比较了多种失败类型对信任的多维度影响，深化了用户行为模式的理解。
  • 与单纯关注技术维度的研究不同，本研究提供了用户感知和行为的关键见解。

• 实验或评估结果:

  • 定量分析揭示：用户在经历简单任务如播放音乐的失败后，更易于恢复对语音助手的信任。
  • 信任的三个维度对复杂任务（如转账）是否再次尝试的预测效应：能力 > 善意 > 诚信。

• 局限性与未来方向:

  • 局限性：
    • 数据收集基于用户的回忆，可能存在回忆偏差。
    • 调查使用的是模拟失败情境，可能与真实使用场景中的反应有所不同。
    • 样本主要包含频繁使用语音助手的用户，不能完全代表不常使用或者对失败更敏感的群体。
  • 未来方向：
    • 使用情境实验或日志研究捕捉实时失败情境。
    • 扩展研究对象至更广泛的用户群体。
    • 深入研究信任修复机制和动态过程。

输出格式

• 研究成果清晰有条理，并结合了用户体验与技术改进的实际需求。
• 本研究对构建未来语音助手信任系统的策略和方向有直接指导意义，为进一步探索用户技术交互行为提供了坚实数据支持。