触摸、手势与对话：数据物理化交互编排的案例研究

文献标题

Touch, Gesture, and Conversation: A Case Study in the Choreography of Interaction with a Data Physicalization

出版信息

• 主题领域: 在社会和物理环境中与数据物理化的交互。
• 关键词: 数据物理化、具身认知、触摸交互、手势研究、意义建构、交互分析、人机交互、具身交互、数据可视化、社会交互。

背景与问题

• 问题/挑战: 关于数据物理化过程中意义建构时的详细、逐时逐刻的交互——触摸、手势和语言对话——的研究仍然有限。现有研究主要关注人们触摸的位置以及任务如何影响这些交互，但缺乏对整体具身体验的细粒度分析。
• 重要性: 理解这些交互可以为数据物理化的设计提供指导，从而更好地支持共享社会空间中的沟通、问题解决和具身意义建构。
• 动机与相关工作: 之前的研究探讨了数据物理化及其他场景中的触摸和手势，但仍然存在关于这些行为如何与对话和认知整合的研究空白。本文基于具身认知理论和手势研究来填补这些空白。

解决方案

• 提出的方法: 对一名参与者与静态数据物理化的交互进行详细案例研究，重点分析其在三个任务中的触摸、手势和对话。
• 创新性:
  1. 对意义建构过程中个体触摸和手势进行细粒度分析。
  2. 将触摸和手势分类为交流型和反思型，并进一步细分为子类别。
  3. 探索交互的编排，包括重复、时间安排和措辞，以理解其在意义建构中的作用。
  4. 强调触摸和手势之间的相互作用，指出在数据物理化研究中需要同时关注两者。
• 过程与关键技术:
  • 从之前的研究中选择一名参与者进行深入分析。
  • 使用视频编码记录并分类三个任务中的383次触摸和125次手势。
  • 制定详细的交互时间线，将触摸、手势和对话对齐。
  • 分析重复、时间安排和空间分布等模式，以理解交互的编排。

结果

• 具体发现:
  • 参与者在三个任务中共进行了383次触摸和125次手势，不同任务的频率存在差异（例如，任务1中触摸频率为20.9次/分钟，而任务3为7.5次/分钟）。
  • 36%的触摸和16%的手势属于反思型（方向和思考），而非直接与交流或信息收集相关。
  • 重复行为以三种形式出现：对同一点的重复触摸、对同类特征的重复触摸、以及跨特征的相同触摸模式。
  • 触摸和手势常常重叠或过渡，呈现出连续的运动。
• 相较基线的优势:
  • 提供了比以往研究更详细和更深入的触摸和手势行为理解，以往研究通常关注汇总或静态指标。
  • 确定了反思型交互是重要组成部分，扩展了对数据物理化中有意义交互的定义范围。
• 实验/评估:
  • 任务包括探索和描述模型、假设其数据编码方式以及解释揭示的数据。
  • 数据收集包括视频分析、触摸模式成像和对话转录。
  • 编码将交互分类为交流型（基于特征、表达型）和反思型（信息收集、方向和思考）。
• 局限性与未来工作:
  • 结果基于单一参与者，可能无法推广到其他人群。
  • 研究未捕捉视线或面部表情，这些可能提供额外的上下文信息。
  • 未来工作应分析多个参与者，探索动态数据物理化，并研究设计选择对交互行为的影响。

总结

本案例研究详细分析了一名参与者通过触摸、手势和对话与静态数据物理化的交互过程。研究将交互分类为交流型和反思型，突出了反思行为在意义建构中的重要作用。研究还展示了触摸与手势之间的相互作用，强调在数据物理化研究中需要同时考虑两者。这些发现有助于理解与数据物理化交互的具身和社会方面，并为设计更有效、更具吸引力的数据表示提供了洞察。