与主动智能扬声器交互时可能会出什么问题？一项使用ESM应用程序的案例研究

文献标题

What Could Possibly Go Wrong When Interacting with Proactive Smart Speakers? A Case Study Using an ESM Application

文献信息

• 主题领域: 语音用户界面 (VUIs) 和智能设备人机交互
• 关键词: 语音用户界面, 智能音箱, 语音助手, Google Home, 用户体验, 交互错误

研究背景与问题

• 发现的问题或挑战: 语音用户界面 (VUIs) 的互动错误频率较高，可能影响用户体验和应用的实用性，尤其是当 VUIs 具有主动交互功能时还可能引发其他复杂问题。
• 问题重要性: 主动型智能音箱被认为在数据收集、健康护理和娱乐等领域具有巨大潜力，但其实际使用中面临的错误可能导致用户放弃使用此类设备。
• 研究动机与相关工作: 当前研究主要集中在实验室环境中的 VUIs 或总结普通智能音箱的基本错误，却缺乏针对主动型智能音箱在现实环境中的详细互动错误分析。

解决方案

• 提出的解决方案: 为研究主动型智能音箱的交互错误，作者开发了一款基于 Google Home 的主动音箱原型，并构建了一款语音驱动的经验采样方法 (ESM) 应用。
• 解决方案的创新之处:
  • 引入主动音箱通过先发性询问用户并收集数据的方式，而不仅仅是响应用户的命令。
  • 利用结合辅助音频录音和交互日志的方法定位交互错误并分析用户如何应对这些错误。
• 实施步骤和技术:
  1. 开发硬件原型，利用 Raspberry Pi 和 Google Home 集成实现“主动”触发功能。
  2. 构建自定义 Google Action 并实现多轮语音交互的经验采样内容。
  3. 在 13 名参与者的家中部署原型进行 3 周数据收集。
  4. 通过音频记录和交互日志分析错误的发生率、用户策略和交互时间成本。

研究成果

• 具体成果:
  • 总计收集了 1,213 次 ESM 数据，其中包含完整记录的语音交互音频和 30,000 次日志。
  • 发现即使只是回答简单的数字问题，使用 Google Home 的主动型音箱仍存在显著频率的交互错误，包括系统默认错误（如“没有输入”或“不匹配”错误）和意外终止错误（如错误触发地图搜索功能）。
  • 用户采用多种策略来解决错误，包括提高音量、重复回答、改变词汇/发音以及寻求其他人的帮助。
• 对现有解决方案的优势:
  • 整体分析了主动型音箱在真实家庭环境中工作时产生的错误，而不是停留在实验室环境的测试。
  • 提供了用户面对主动型音箱错误时的详细策略分类，这可以为未来的设计提供实际指导。
• 实验或评估结果:
  • 37.2%的完整交互出现至少一次系统错误，而 14.4%的记录是因交互中断错误未完成。
  • 错误会显著增加用户完成任务的时间成本，影响了主动音箱的易用性。
• 局限性与未来方向:
  • 限于 Google Home 平台，研究结果可能无法适用于所有智能音箱或 VUI 应用。
  • 音频记录的隐私问题须进一步解决。
  • 未来可以将主动型音箱扩展为支持更多复杂交互、探索更广泛的用户群体以及使用辅助传感器（如相机）研究环境干扰因素对交互的影响。

总结

这篇论文通过真实世界中的长期实验研究了主动型智能音箱遇到的交互错误及其对用户体验的影响，同时对如何优化语音驱动 VUI 应用设计和研究方法提出了具体建议。这些发现将有助于提高智能音箱的实用性，并为未来的 VUI 应用开发奠定基础。