ShapeFindAR：使用混合现实探索物理文物检索的现场空间搜索

文献标题

ShapeFindAR: Exploring In-Situ Spatial Search for Physical Artifact Retrieval using Mixed Reality

文献信息

• 主题领域: 人机交互与个人制造（3D打印、混合现实）
• 关键词: 个人制造, 空间搜索, 情境内搜索, 混合现实, 物理工件检索, 模型库, 3D打印

研究背景与问题

• 发现的挑战:

  • 当前的3D打印模型检索多依赖文本查询，难以有效表达物理属性（如比例或形态）。
  • 搜索与预览过程通常与物理环境脱节，增加了操作复杂性。
  • 非专家用户难以以精确文本或标签定义需求，影响3D打印或其他个人制造工具的使用门槛。

• 问题的重要性:

  • 使个人制造更易于大众使用，满足多样化的个性化需求。
  • 通过改善搜索和预览过程，进一步降低个人制造的门槛，特别是对于缺乏设计技能的普通用户。

• 研究动机与相关工作:

  • 当前存在许多旨在降低个人制造门槛的工具（如简化建模的界面和自动生成工具），但这些工具仍未能解决从物理环境到搜索请求的直接映射问题。
  • 现有工作对基于3D几何特征的搜索、情境内（in-situ）设计工具等进行了初步探索，但在使用物理上下文的信息改进搜索体验方面仍有较大差距。

解决方案

• 方法与创新点:

  • 提出一种结合空间和文本查询的情境内空间搜索概念，允许用户利用物理环境直接检索3D打印模型。
  • 开发了ShapeFindAR，作为混合现实原型应用，通过HoloLens 2实现直接情境内搜索。
  • 提供多种输入方式（如空间草图、照片标签提取、文本检索）和组合查询，使用户可以通过偏模糊的方式表达需求。

• 实施步骤及技术:

  1. 空间查询:
     • 用户可在空中绘制3D草图，也可以通过追踪现实物体的特征轮廓生成查询。
     • 使用基于体素和物体对齐的匹配算法实现草图查询与3D模型数据库的映射。
  2. 文本查询:
     • 支持语音或输入文本进行检索，同时结合图像标签提取（基于Google Cloud Vision API）以补充文本查询的准确性。
  3. 迭代搜索与结果预览:
     • 用户可通过调整查询或结果对象的草图特征优化搜索结果。
     • 在混合现实中进行情境预览，以评估模型与环境的适配性。
  4. 数据库与架构:
     • 使用Thingiverse和MyMiniFactory获取模型数据集。
     • 数据库基于MongoDB，支持文本索引和基于几何特征的空间索引。

研究成果

• 具体成果:

  • 提出了情境内空间搜索的概念，并阐明了其优势。
  • 开发了ShapeFindAR，作为上述搜索概念的原型实现。
  • 通过不同的使用场景（绕过术语、迭代优化和情境特征使用）展示了搜索工具的多样化效率和用户友好度。

• 与现有方案相比的优势:

  1. 对用户更加友好，特别是对普通消费者和设计新手。
  2. 支持多模态输入（文本、草图、图像标签），更加适应多样化的需求表达方式。
  3. 提供了更高效的情境内预览功能，直接弥合设计与实际应用环境之间的脱节。

• 实验与评估:

  • 对于小型数据集（4118个对象）的初步测试显示，系统在检索相关对象时能够找到匹配项，但某些搜索场景下计算效率有待提高（如草图匹配耗时）。
  • 通过情境内原型测试，展示了其对非专业用户的实际意义。

• 局限性与未来方向:

  • 局限性:
    • 当前的草图匹配算法性能较低，特别是数据集规模增大时。
    • 插值算法和空间索引对某些草图输入并不完全适配，可能导致检索性能下降。
    • 对于高度精确的几何需求（如机械部件），草图方式可能显得粗略。
  • 未来方向:
    • 优化匹配算法以提升计算效率，如引入更高级的几何匹配模型。
    • 探索将3D扫描技术结合到搜索过程中的可能性。
    • 扩展工具至其他应用领域（如家具、配件购物平台）并进行用户研究。