Escapement：一种通过传感器介导的时间抽象进行视频交互原型设计的工具

文献标题

Escapement: A Tool for Interactive Prototyping with Video via Sensor-Mediated Abstraction of Time

文献信息

• 主题领域: 人机交互设计
• 关键词: 视频原型制作, 创造力支持工具, 跨设备交互, 传感器中介交互, 时间抽象, 多屏交互, 设计工具, 快速原型

研究背景与问题

• 作者发现了哪些问题或挑战？

  1. 当前的视频原型虽然广泛用于设计领域，但它们缺乏交互性，设计师只能观看无法直接操控其交互，“感受式”体验不足。
  2. 创建高度交互性和视觉精细的原型通常需要高昂的工程成本，需要大量的编码和开发投入。
  3. 在设计跨设备交互或多屏应用时，快速迭代和同步设备状态难度较高。

• 为什么这个问题很重要？ 视频是一种广泛采用的设计工具，但其静态特性限制了设计师探索和验证动态交互的灵活性。提供交互性强、快速原型制作的方法可以支持设计师更深入地探索和塑造设计概念，有助于创造更高质量的交互设计。

• 研究动机与相关工作：

  1. 作者受已有的交互设计原型方法启发，如视频原型、烟雾与镜像原型等，但认为这些工具在与实时传感器数据整合以及跨设备协作方面不足。
  2. 视频的时间维度因其难以交互控制而常被忽略，研究希望将“时间”引入为设计的关键设计材料。
  3. 过往研究如Astral工具证明了屏幕抓取与传感器驱动交互的可能性，但没有将视频视为主要的设计材料。

解决方案

• 作者提出了哪些方法或解决方案？ 作者提出了一种新的设计工具 Escapement，通过传感器值与视频的动态播放控制建立灵活的映射关系，提出“视频-逃逸原型”的概念。该工具允许设计师在单一或多设备屏幕中快速生成基于视频的交互原型。

• 该解决方案的创新之处是什么？

  1. 时间作为设计材料: 将视频时间抽象出来，通过传感器输入灵活操控时间维度，让时间成为可设计、可交互的材料。
  2. 传感器与视频的规范化映射: 将传感器输入及视频时间线标准化为0到1之间的维度，使得不同传感器和视频可以无缝组合与替换。
  3. 多设备支持: 设计师可通过Escapement轻松同步跨屏幕设备的状态变化，支持局域网和云端设备之间的交互。
  4. 快速迭代与低技术门槛: 不需要复杂的编码，设计师可以通过拖拽、选择传感器映射选项快速完成交互设计。

• 实施步骤是什么？使用了哪些关键技术？

  1. 视频准备与切片: 使用工具将视频分解成一系列静态图像帧。
  2. 传感器映射配置: 定义传感器值如何动态映射到视频帧，支持过滤器、反转和缓动函数。
  3. 跨屏幕与设备同步：通过UDP多播或Azure云服务实现跨设备传感器数据共享。
  4. 实时调整与多角度试验: 提供控制面板，设计师可在设计过程中随时调整传感器输入或动画映射。

研究成果

• 取得了哪些具体成果？

  1. 提出一种独特的“视频-逃逸原型”方法，重新定义了视频在互动设计中的作用。
  2. 完成了“Escapement工具”的开发，支持多设备、实时传感器交互的快速视频原型制作。
  3. 工具已被20多位研究人员和设计师使用，广泛应用于多种设计情景，包括远程工作、倾斜响应界面、双屏设备等。

• 与现有解决方案相比，它有哪些优势？

  1. 零编码需求，但支持复杂交互原型构建。
  2. 方法兼容不同的传感器和设备，不局限于单一硬件或平台。
  3. 降低视频及交互设计门槛，缩短从概念到可操作原型的时间。

• 实验或评估结果是什么？

  1. 工具在3年内的长时间实践中表现出对快速设计与多样化创意的强大支持。
  2. 在多种设计场景中的实际应用案例中证明其灵活性，例如远程设备的数据共享响应、传感器输入快速切换等。
  3. 蒙特利尔CHW’23等展示项目中强调了工具的易用性与高效交互性。

• 局限性与未来方向：

  1. 离散交互支持不足: 目前主要支持连续的时间维度交互，对状态切换场景支持有限。
  2. 局限于视觉反馈: 缺乏对音频、触觉等其他反馈模式的支持。
  3. 从原型到最终代码过渡有限: 原型中的传感器逻辑尚未实现代码导出或开发再利用。
  4. 未来方向:
     • 支持非视觉模态，如震动反馈。
     • 增加与运行代码或实际软件系统集成的能力。
     • 优化云端同步的时延问题。