技术辅助反思量表的发展与验证

文献标题

The Development and Validation of the Technology-Supported Reflection Inventory

文献信息

• 主题领域: 人机交互（HCI）、技术支持反思
• 关键词: 个人信息学、反思、追踪、构念、反思技术、量表开发、效度验证、测量工具
• 会议: CHI Conference on Human Factors in Computing Systems (CHI '21)
• 发表时间: 2021年5月

研究背景与问题

• 发现的问题:

  • 人机交互领域越来越关注支持用户反思的技术设计，但评估这些技术如何以及在何种程度上帮助用户反思仍然是一个挑战。
  • 缺乏关于反思技术支持的评估方法使得难以比较不同设计，阻碍进一步的技术创新。
  • 当前的评价方法（定量或定性）存在局限性，如焦点偏向于用户体验而非反思、反思定义的模糊性等。

• 研究重要性:

  • 反思被认为对提升用户福祉和个人成长极具价值，如何通过技术增强用户的反思能力是一项重要课题。
  • 在已有的反思技术设计中，缺乏一致的、标准化的评估标准制约了领域发展。

• 研究动机与相关工作:

  • 现有的反思研究多数基于传统心理学定义，但针对技术设计的"反思支持"评估工具未被充分开发。
  • 尽管个别技术（如个人信息追踪系统、健康监测技术）被报道能成功支持反思，但如何量化这些技术的支持程度仍然不明确。
  • Baumer等人（2014）指出了反思支持技术评估中缺乏共识的困境，这激发了作者开发一个统一、有效的测量工具。

解决方案

• 提出的解决方案:

  • 创建了一个名为"Technology-Supported Reflection Inventory (TSRI)"的量表，用于评估系统支持个人反思的程度。
  • TSRI由专家指导，通过文献综述、条目生成、因子分析、验证等多个步骤开发完成。

• 方法创新性:

  • 首个经过系统验证的、以互动系统为中心的反思评估量表，为研究者提供了一种标准化的比较工具。
  • 将反思具体化为三个维度（洞察力、探索性、比较性），每个维度包含与人的技术交互设计紧密相关的条目。

• 实施步骤:

  1. 条目生成: 结合文献研究与专家讨论，初步形成115个可能的量表条目。
  2. 专家审查: 经过两轮、多学科专家的反馈，将条目提炼至58个。
  3. 因子分析: 使用探索性因子分析对条目进行降维，形成最终的9个条目量表，分为3个维度。
  4. 有效性和可靠性测试: 通过构念验证（如与相关量表比较）和重测信度验证测试TSRI工具的鲁棒性。

• 关键技术:

  • 采用Likert量表收集用户数据。
  • 运用统计方法（如因子分析、信度分析）优化条目质量、验证量表模型。
  • 设计实验对不同用户群体的反应进行区分测试。

研究成果

• 具体成果:

  • TSRI量表包含9个条目，分为“洞察力”（Insight）、“探索性”（Exploration）、“比较性”（Comparison）三个维度，每个维度以帮助用户反思的核心功能命名。
  • 洞察力：描述系统是否为用户提供新见解，激励思维转变。
  • 探索性：评估用户分析和浏览个人数据的便利性和吸引力。
  • 比较性：衡量用户通过系统与其他人进行讨论和比较的能力。

• 与现有解决方案比较的优势:

  1. 专注于技术-用户互动的反思支持而非个体心理学特性，适用于特定交互系统的评估。
  2. 经过严格的验证流程（如构念效度、区分效度、测试重测信度），具有科学性和可靠性。
  3. 可用于快速原型评估，支持跨设计方案的直接比较。

• 实验或评估结果:

  • 验证性因子分析结果显示，量表的理论模型适配良好（TLI=0.91，RMSEA=0.04）。
  • TSRI能区分对反思支持效果不同的系统设计，构念效度显示TSRI与个体反思能力的弱到中等相关性。
  • 重测信度验证的结果（κ=0.73, p<0.01）表明TSRI在不同时间点间具有稳定性。

• 局限性与未来方向:

  1. 文化偏置: 样本集中于欧美国家，缺乏跨文化效度验证。
  2. 适用范围: 量表目前偏重数据驱动的交互技术，对于非数据型反思支持技术适用性有限。
  3. 未来工作:
     • 将量表扩展到不同类型的交互技术。
     • 结合更多文化背景，验证其跨文化的一致性。
     • 在更多实际使用场景中应用和测试量表的有效性。

总结

该研究开发并验证了TSRI这一技术支持反思评估工具，填补了HCI领域中标准化反思量表的空缺，并为未来设计、研究反思支持系统提供了重要参考工具。同时，通过严格的开发和验证方法，确保了量表的科学性和实用性。