用计算机视觉标记材料交互

文献标题

利用计算机视觉标记物探究材料交互

文献信息

• 主题领域: 物理计算、计算机视觉驱动的交互设计、切实可行的接口开发
• 关键词: 物理计算、切实交互、计算机视觉、Maker文化、材料性

研究背景与问题

• 发现的问题或挑战:

  • 传统的电子驱动物理计算方式（如使用微控制器或传感器）存在电路构建复杂、调试困难等问题，尤其对设计入门者不友好。
  • 设计者在创建切实可行的互动系统时需要解决硬件基础设施的门槛，同时扩大材料与接口设计的可能性。
  • 环境光线、空间要求等计算机视觉特性对系统设计提出一定限制。

• 重要性:

  • 提供传统电子驱动之外的替代方法，简化交互设计，让设计师及教育者能利用简单的工具创建功能性的切实接口。

• 研究动机与相关工作:

  • 受Reactivision、Sauron及其他基于计算机视觉标记的工作启发，设计了一种新的计算机视觉（CV）驱动的物理计算方式。
  • 上文以材料的潜力（materials potential）的视角探究CV标记物的多样性应用，并且希望通过“注释归档法”整理设计实例，以开辟新的物理交互设计方向。

解决方案

• 提出的方法:

  • 使用CV标记物（如Aruco标记）作为互动设计材料，结合相机+电脑+网络平台，通过标记物进行实时交互事件检测。
  • 提出了专用JavaScript开发库“Beholder”，支持实时标记检测，同时和用户界面设计工具（如p5.js）无缝兼容。
  • 利用教学设计工作坊开展实验，协助设计者创建切实可行的接口，并通过注释归档法分析其成果。

• 创新点:

  • 标记物同时标识交互事件及约束条件，支持便捷设计多样化交互。
  • 将调试嵌入设计流程中，通过人类视觉直观验证交互逻辑，减少调试负担。
  • 利用“民主材料”（如纸板、日常工具），扩展交互设计材料的范围。

• 实施步骤/关键技术:

  1. 开发及引入Beholder软件库，用于标记物检测及调试。
  2. 举办三个设计工作坊，并通过教学任务促进互动设计及探索：
     • DIY CV Interfaces：以简单日常活动为主题开发切实接口，探索标记物的多样性用法。
     • Tinycade：创建基于移动设备机的DIY游戏控制器平台。
     • CV Arcade：设计新型DIY游戏平台，针对不同用户需求适配标记物接口。
  3. 整理设计作品，利用注释归档法（annotated portfolios）进行反思和总结。

研究成果

• 具体成果:

  • 开发了15个具体项目，包括教育工具、物理治疗设备及游戏控制器，其中涵盖滑动、按压、翻转、识别光线及风等多种广泛交互。
  • 提出了CV标记作为交互设计材料的新方式：标记物可以记录物理对象身份、交互约束，并支持在物理层面定义交互事件。
  • 总结CV标记的材料性，包括其适应日常材料的能力及环境光线对设计的制约。

• 与现有解决方案的对比优点:

  • 提供了一种无需电路和传统传感器的切实交互设计方式，通过特性简单的二维图案实现交互。
  • 标记物的经济性和设计灵活性降低了学习门槛，支持不同领域用户参与。

• 实验或评估结果:

  • 各工作坊的项目成果展示了设计师如何利用CV标记进行交互设计，验证了其在教育、游戏、疗法中的广泛实用性。
  • 设计者通过“视觉调试”理解并改善其物理交互机制，有助于增加设计者信心及提高作品迭代效率。

• 局限性与未来方向:

  • 局限性：
    • 对外部环境敏感，例如光线、运动模糊可能影响系统检测准确性。
    • 设计方法目前仅支持输入交互，而无法支持弹性反馈和主动控制。
    • 需要确保摄像头与标记物的视野范围兼容，存在空间设计限制。
  • 未来方向：
    • 开发标准化标记模板库以及更完善的开发工具。
    • 扩展CV标记功能至输出和控制领域，使其能够与其他材料组合使用。

通过这项研究，设计者突破了传统传感器及电子接口的限制，展示了计算机视觉驱动的切实交互设计的潜力，同时为物理计算领域开辟了新的创新方向。