Data@Hand：利用语音和触摸交互在智能手机上促进个人数据的视觉探索

文献标题

Data@Hand: Fostering Visual Exploration of Personal Data on Smartphones Leveraging Speech and Touch Interaction

文献信息

• 主题领域: 可视化、多模态交互、个人数据
• 关键词: 个人信息学, 数据可视化, 多模态交互, 语音, 智能手机

研究背景与问题

• 问题:

  • 现有的大多数移动健康应用在导航和探索个人健康数据方面支持有限，无法灵活处理时间维度。
  • 在移动设备（特别是智能手机）上的数据可视化研究较少，面临屏幕空间有限和输入精确度低的挑战。
  • 传统鼠标设备支持的交互方式（如悬停、详细信息显示）在移动设备上难以实现。

• 重要性:

  • 随着智能手机成为日常信息访问的主要设备，人们越来越需要高效、便捷地探索个人健康数据。
  • 灵活地导航时间段数据（如特定日期或时间范围）可帮助用户更深入地了解和自我反思健康数据。

• 研究动机与相关工作:

  • 前期研究表明，多模态交互（如将语音与触摸结合）能提高用户体验。
  • 针对目前多数移动健康应用对时间操作支持有限的问题，通过引入语音互动，可以扩展灵活性和表达自由度。

解决方案

• 方法或解决方案:

  • 提出并开发了Data@Hand，一款支持语音与触摸交互的智能手机应用，用于探索个人健康数据。
  • 应用集成了语音框架（Apple或Microsoft Speech API）以及Fitbit REST API以获取用户的健康数据，用户可通过言语和触摸多模态交互的方式对数据进行导航、时间比较、数据查询。

• 创新之处:

  • 首次在移动设备（尤其是智能手机）上结合语音和触摸两种交互方式以实现复杂的数据探索功能。
  • 提供灵活的时间操作，例如用户可以通过自然语言指定时间范围（如“去年感恩节”）。
  • 在有限屏幕空间内保留简单直观的图形可视化形式，同时支持详细的时间段比较。

• 实施步骤与技术:

  • 用户界面设计包括导航页面、详细数据源页面和两种时间比较页面（双范围比较和周期比较）。
  • 提供三种交互方式：仅触摸、仅语音、触摸+语音组合。
  • 数据查询通过用户自然语言命令（例如“高于10,000步的天数”）实现结果高亮。
  • 应用基于TypeScript和React Native实现，兼容iOS和Android平台。

研究成果

• 具体成果:

  • 通过探索性实验，研究了信息可视化中语音与触摸结合互动的优势。
  • 参与者能够通过多模态交互，灵活和流畅地探索个人健康数据，进行导航、比较和查询。
  • 设计了适配小屏幕设备的聚合图（aggregation plot），在时间比较时以平均值和范围高效呈现数据。

• 与现有解决方案的优势:

  • 相较于仅依赖触摸的移动应用，Data@Hand提供更灵活的时间导航操作。
  • 不同时间段数据的并排比较功能提升对趋势和差异的感知力，而无需依赖记忆连续切换页面。
  • 通过语音与触摸结合，简化了操作步骤并提升了操作精度。

• 实验或评估结果:

  • 共有13名长期Fitbit用户参与实验，报告了积极体验，多数表示希望继续使用该应用。
  • 定量结果表明，用户平均使用多模态交互完成各种数据操作（时间导航、比较、查询）。
  • 定性分析发现，用户通过Data@Hand获取了丰富的个人洞察，如行为比较趋势、数据极值以及时间模式。

• 局限性与未来方向:

  • 局限性：
    • 当前语音识别技术对个人事件的处理能力有限（如"毕业典礼"或"暑假"等）。
    • 高亮查询结果在长期数据聚合视图中表现有限。
    • 公共场所的使用可能因隐私和环境干扰而受限。
  • 未来方向：
    • 增强对语音命令的支持，加入用户自定义语义标签（如个人重要事件）。
    • 研究更高效的可视化表达方式，尤其是适配长期数据的表示形式。
    • 扩展至更多领域，如生产率、财务历史等其他个人数据探索场景。

总结

Data@Hand将语音交互与触摸互补集成，优化智能手机环境下的个人数据探索，为移动可视化领域提供了一种具有实践价值的新型解决方案。