为什么压力大，妈妈？：通过家庭信息学探索家庭对社交和情感传感器数据的反思

文献标题

Why stressed, Mom?: Exploring Family Reflection on Social and Emotional Sensor Data through Family Informatics

出版信息

• 主题领域: 家庭信息学与通过传感器数据进行社会情感学习。
• 关键词: 家庭信息学，社会情感学习，关系反思，多模态感知，情感数据，家庭动态，共同反思，基于传感器的系统，人机交互，家庭沟通。

背景与问题

• 问题/挑战: 现有的家庭信息学系统主要关注个体或聚合健康数据的追踪，但缺乏支持家庭反思其社会和情感互动的工具。对社会情感状态的多模态感知并将此类数据呈现给家庭，技术上具有挑战性且研究较少。
• 意义: 通过反思理解家庭互动可以增强关系、促进儿童的社会情感发展，并揭示共同的行为规范。然而，缺乏在日常家庭生活中实现对称、平衡反思的工具，限制了这些益处的实现。
• 动机与相关工作: 先前研究已证明使用传感器辅助系统进行家庭反思的可行性，但主要集中于单向、以父母为主导的指导场景。关于传感器如何支持普通家庭环境中的协作反思，特别是针对社会和情感动态的研究，实证证据有限。

解决方案

• 提出的方法: SELaD（通过多模态数据进行社会情感学习），一个家庭信息学系统，通过音频、视频和生理传感器捕获和可视化家庭互动中的社会情感数据。
• 创新点:
  1. 引入了关系反思的概念，家庭通过协作解读多模态数据来理解对话和情感动态。
  2. 设计并实现了SELaD，将多模态数据（音频、视频、生理）整合到可视化和反思提示中。
  3. 通过对17个家庭的半自然环境研究，探讨了SELaD如何促进反思，并识别出深化反思过程的因素。
• 流程及关键技术:
  • SELaD在家庭用餐对话期间捕获多模态数据。
  • 数据类型包括对话摘要（关键词、正面词汇）、对话行为（语速、轮流发言）、互动行为（眼神接触、情感同步）和生理反应（压力、情感唤起）。
  • 家庭使用SELaD界面回顾同步的视频和数据可视化，并通过问题提示引导反思。

结果

• 具体发现:
  • 家庭获得了对对话模式（如主导性、轮流发言）和情感影响（如压力水平、情感同步）的洞察。
  • 情感数据，特别是其模糊性和跨来源的不一致性，促进了更深入的讨论和视角转换。
  • 家庭通过回忆共同的历史和期望，进行关系反思，从而实现自我评估、共情以及对积极改变的认识。
• 相较基线的优势:
  • SELaD支持多模态数据的协作解读，与以往专注于个体数据或单向反馈的系统不同。
  • 情感数据相比于直接的对话数据，促成了更丰富、更细致的反思。
• 实验/评估:
  • 在一个半自然的家庭环境中，对17个家庭（n = 51）进行了用户研究。
  • 家庭参与了三个结构化的对话主题（回忆、支持、计划），随后使用SELaD进行反思环节。
  • 数据分析包括对327个反思实例的主题编码和访谈。
• 局限性与未来工作:
  • 实验室研究可能无法完全反映真实的家庭动态；未来应在家庭环境中进行部署。
  • 由于文化和人口学的同质性（韩国家庭），研究的普适性有限。
  • 情感识别模型的准确性和某些数据组件（如关键词上下文）的可用性需要改进。
  • 隐私和权力动态的伦理问题，尤其是针对儿童的部分，需要进一步探讨。

总结

本研究提出了SELaD，一个通过多模态传感器数据促进家庭互动中社会和情感动态关系反思的家庭信息学系统。通过对17个家庭的用户研究，研究表明SELaD如何支持家庭协作解读数据，发现对话模式，并探索情感影响。情感数据，尤其是其模糊性和不一致性，在深化反思中发挥了关键作用。研究结果突出了多模态感知在支持家庭意义建构中的潜力，并提出了对可争议性、对称性和隐私意识系统的设计启示。未来工作应解决技术、可用性和伦理方面的挑战，以增强此类系统在不同家庭环境中的适用性。