DataSentry：通过多年迭代设计方法构建野外移动传感器数据收集的缺失数据管理系统

研究背景与问题

• 作者发现的问题或挑战：随着移动传感器数据被广泛应用于分析人类行为（例如诊断健康状况、预测生产力等），“在真实环境下”（in-the-wild）采集的传感器数据经常因参与者行为或系统问题导致数据丢失。这种丢失会引发数据质量下降，进而影响后续建模和分析。现有检测丢失数据的监测系统大多关注个体传感器流或简单的聚合指标，并未提供综合诊断和应对数据丢失的方法，特别是在传感器数据具备参与者内外变化特性时的情况下。
• 为什么这个问题重要：传感器数据丢失不仅降低了下游任务（如健康状况监测或行为分析）精确性，还会显著增加研究人员的数据整理工作量。及时发现并处理数据丢失问题对于提高研究效率和确保数据质量至关重要。
• 研究动机与相关工作：尽管已有若干系统试图通过可视化或模型化提高监测能力，但它们的局限性在于：
  1. 难以跨参与者和传感器类型提供一个全面的视图。
  2. 未能有效诊断并解决数据丢失的根本原因。 基于这些不足，作者提出设计一个专注于数据丢失管理的创新系统。

解决方案

• 提出的解决方案：作者开发了一个名为 DataSentry 的数据丢失管理系统，通过三轮多年的迭代设计方式完善系统功能。该系统为研究人员提供以下功能：综合数据视图、细粒度数据诊断工具、与参与者的沟通机制以及基于参与者内外变化分析的数据丢失检测。
• 创新之处：
  1. 在数据丢失的检测和诊断过程中引入“参与者内外变化”（within and between-participant variability）的分析视角。
  2. 提供用户友好的交互式可视化，支持研究人员观察数据上下文并快速找到丢失数据原因。
  3. 提供多种应对机制，包括自动化规则设置和参与者沟通支持，为传感器数据采集中的实际操作提供便利。
• 实施步骤和关键技术：
  1. 需求分析：通过访谈具有移动数据收集经验的研究人员，确定系统功能需求。
  2. 多轮迭代设计：根据需求进行原型设计，并在实际数据收集中测试系统，逐步优化。
     • 第一轮：基于Tableau的快速原型。
     • 第二轮：使用React.js和D3.js重新设计系统，增加细化分析功能。
     • 最后一轮：引入新的功能如时间间隔比较视图和基于规则的参与者沟通支持，从数据丢失的可检测性和沟通角度完善系统。
  3. 评估与用户反馈：通过两轮实际数据收集测试及一轮控制用户研究验证系统的有效性和用户体验。

研究成果

• 具体成果：
  1. 提出了一个集成检测、诊断和应对机制的综合数据丢失管理系统。
  2. 结合参与者内外变化的分析，显著提高了数据丢失检测的准确性。
  3. 开发了基于规则的联系机制，减少人工沟通的负担。
  4. 系统源码开源，支持自由扩展与实际应用。
• 与现有解决方案的优势：
  1. 提供从宏观到细粒度的多视角检测，结合不同参与者和传感器的变化特性进行数据分析。
  2. 在数据检视过程中支持对多传感器流的交叉验证对比。
  3. 提供规则化、自动化的参与者联系机制，使用户可以快速实施干预。
• 实验或评估结果：
  1. 多轮部署表明系统能够有效发现和诊断数据缺失问题。
  2. 全部26位参与的用户研究表明，完整版本的DataSentry使用体验显著优于传统方法（例如Python绘图）的手动数据检查流程。
  3. 研究人员表示系统从数据可视化到参与者管理的综合功能有效降低了监测负担，提高了操作效率。
• 局限性与未来方向：
  1. 系统在面对大规模数据和参与者时可能遇到性能瓶颈，需要优化整体响应效率。
  2. 增强实时监测功能和跨平台兼容性，以满足更多实际场景需求。
  3. 扩展系统的规则表达能力，例如动态设置复杂规则（AND/OR条件）以实现更精细的自动化操作。
  4. 尽管在实验室和小范围部署环境中效果显著，仍需在大规模、长期实际使用中进一步验证。