探索在家环境中使用多模态智能扬声器进行情境感知心理健康自我追踪

文献标题

Exploring Context-Aware Mental Health Self-Tracking Using Multimodal Smart Speakers in Home Environments

文献信息

• 主题领域: 通过多模态智能音箱进行心理健康自我追踪
• 关键词: 自我追踪、心理健康、多模态智能音箱、体验抽样方法(ESM)、家庭环境、IoT 感知

研究背景与问题

• 问题与挑战:
  • 传统医疗无法高频监测心理健康动态变化。
  • 移动设备（如手机、手表）用于 ESM 存在在家携带不足的问题。
  • 现有的基于语音的智能音箱方法用户体验研究缺乏多模态探索。
• 重要性: 心理健康问题已成为全球关注点，通过长期跟踪可更准确反映个体动态心理状态并支持干预。
• 研究动机与相关工作:
  • 居家环境普遍引入智能音箱，但其多模态交互设计尚未得到充分探索。
  • 体验抽样方法（Experience Sampling Method, ESM）可捕捉心理健康的实时波动，但对触发时机和用户交互模式的研究较少。

解决方案

• 方法或解决方案:
  • 设计并开发基于 IoT 感知的多模态智能音箱心理健康自我追踪系统，结合语音和触摸交互。
  • 系统通过声光传感器、CO2 传感器和摄像头触发上下文感知式 ESM 问卷，用户以语音或触摸形式响应。
• 创新之处:
  • 探讨多模态交互（语音与触摸）在心理健康自我追踪中的用户体验。
  • 使用环境传感器感知用户行为变化，优化触发体验抽样任务的时机。
  • 在居家场景中长时间收集用户数据，研究真实场景的用户偏好和反应。
• 实施步骤:
  1. 设计传感器系统感知用户上下文（如噪音水平变动、光线变化、CO2 浓度变化）。
  2. 开发 ESM 系统，包含语音引导与触摸选项。
  3. 运用多模态智能音箱与 Google Nest Hub 收集用户的心理健康问卷回复。
  4. 进行四周的实地测试，招募有轻度抑郁症状的受试者分布系统。
  5. 使用访谈、问卷（USE）和多层逻辑回归分析用户数据。

研究成果

• 具体成果:
  1. 用户参与与依从性:
     • 使用上下文感知的传感器触发 ESM，可以提升用户的响应率（总体响应率 57%）。
     • 在光线、人体存在等外界上下文触发下响应率高达 76.2%。
  2. 交互模式偏好:
     • 93.8% 的用户选择以触摸方式完成问卷，首因交互时间较短且技术准确性高。
     • 多任务行为（如做家务、个人卫生）时偏好语音交互。
  3. 用户体验反馈:
     • 系统促使心理健康的自省，尤其是主动提醒用户关注情绪波动。
     • 多模态设计带来的「类人」感增加了用户的沉浸感。
     • 单调的语音内容降低了交互新鲜感。
  4. 隐私与技术问题:
     • 尽管摄像头仅用于检测人数，不保存图像，但用户对隐私风险依然有所顾虑。
     • Google Assistant 的语音识别误差引发部分用户不满。
• 与现有解决方案相比的优势:
  • 系统结合了 IoT 环境感知技术，提高了心理健康问卷触发的适时性和个性化水平。
  • 系统设计考虑了用户在居家环境下的活动分布和技术使用习惯。
• 实验或评估结果:
  • 用户普遍认为该系统易用（USE问卷评分：学习易用性 M=6.44）、操作便利性与满意度 也获得较高评价(M=4.64)。
  • 活动丰富性和系统反馈的交互方式显著提升用户体验。
• 局限性与未来方向:
  • 局限性:
    • 单人家庭场景局限性：未涵盖多人家庭的行为兼容性。
    • 语音识别系统存在准确性不足等技术问题。
    • 固定问卷内容导致用户出现厌倦感，数据质量可能下降。
  • 未来方向:
    • 探索多用户家庭环境的上下文感知互动，结合可穿戴设备和手机交互优化精准性。
    • 开展更智能的语音和图像隐私保护机制。
    • 进一步研究调动用户反馈行为的视觉数据呈现。