InteRecon：在混合现实中重构个人难忘物品的交互性

研究背景与问题

• 问题与挑战: 当前的数字化方法（如照片、视频、3D 扫描）主要关注物品的外观复制，但缺乏对物品互动性的保留，导致数字化的物品无法捕捉与记忆相关的丰富交互特性。
• 重要性: 物理物品在其互动与功能使用中承载了丰富的情感记忆和故事，这些交互性是增强记忆保存和日常实用性的核心。然而，这种交互性在传统数字化方法中经常被忽视或丢失。
• 研究动机: 通过对用户的成型研究，作者发现记忆物品（如玩具、电子设备）的互交特性（如几何形状、界面特性和嵌入内容）是记忆触发的重要因素。此研究旨在填补现有数字化保存工作中的这一空白，从而实现互动性与记忆性的统一数字化。

解决方案

• 方法与技术: 提出了互动数字物品 (Interactive Digital Item，IDI) 的新概念，并开发一个AR原型工具InteRecon，支持用户在增强现实环境中创建和展示包含交互性的数字物品。
• 创新点:
  1. 提出了IDIs的设计目标，强调数字化物品应保留现实世界的几何属性、交互界面和嵌入内容。
  2. 引入用户友好的创建流程，支持非专家用户，如创建具有可变动关节或电子设备按钮功能的数字物品。
  3. 开发了四大功能模块以支持交互性重建：3D外观重建、物理变换添加、界面重建和嵌入内容添加。
• 实施步骤:
  1. 3D外观重建: 基于3D扫描，创建忠实复制物理外观的数字模型。
  2. 添加物理变换: 支持用户分割模型并定义物理约束（如旋转、铰链或球型关节），以模拟物品的物理动态。
  3. 界面重建: 允许用户在数字模型上添加虚拟按钮、旋钮、屏幕等交互式部件，并绑定对应功能。
  4. 嵌入内容添加: 用户可为模型添加歌曲、照片、视频或其他数字内容。

研究成果

• 具体成果:

  1. IDI的概念被用户接受，并被评价为一种更具表达力的记忆保存形式。
  2. 通过InteRecon，用户能够成功重建具有交互特性的数字物品，例如为玩具狗添加关节运动、为电子设备添加按钮功能等。
  3. IDI被认为比传统静态3D扫描或相片更具情感连接。

• 优势:

  • 与现有解决方案相比，IDI不仅关注物品的静态外观，还保留了其互动性，使得构建的数字对象更具多维度记忆展示能力。例如，用户重建的AR模型能够实现与现实物品一致的动态交互。
  • 丰富的定制功能使得非专家用户可轻松参与交互设计，将复杂的功能细化为用户易于理解的编辑操作。

• 实验与评估结果:

  1. 功能评价: 用户针对各功能模块的评价整体偏向积极（如功能的易用性评分为5.81/7，表达力评分为6.08/7）。
  2. 成功案例: 用户通过InteRecon重建了多种物品，包括带有真实物理关节的玩具、功能性按钮和动态屏幕的电子设备等。
  3. 局限与用户反馈:
     • 模型分割在某些情况下触发用户情感上的"残酷感"（如将玩具身体的关节分割为不同部分）。
     • 现有物理模拟功能较为基础，缺乏对材质属性（例如柔软性、纹理）的建模。
     • 部分操作在戴AR头显设备时精确度尚未最优，如手势识别的操作精度可改进。

• 未来方向:

  1. 技术扩展: 增强对材质、物理特性的模拟，支持更复杂的关节和动态，例如滑轮系统或摩擦力。
  2. 情感优化: 探讨2D界面与3D环境的切换，以降低高度拟真分割的情绪影响。
  3. 新应用场景探索: 除了个人记忆的数字保存，还可拓展为教育、博物馆展示和医疗模拟等领域，特别是在文化遗产生动化方面。
  4. 社区建设: 创建支持用户上传和分享互动3D资产的平台，推动交互式虚拟资产的普及。

总结

IDIs为丰富记忆保存与交互设计提供了一种新视角，广泛适用于个人场景和专业环境。InteRecon有效地将交互嵌入3D重建流程，但未来需在功能多样性及用户情感体验优化上进一步提升。