Tesseract：通过操纵微型世界查询空间设计记录

文献标题

Tesseract: Querying Spatial Design Recordings by Manipulating Worlds in Miniature

文献信息

• 主题领域: 人机交互，虚拟现实，空间设计记录查询
• 关键词: 空间设计记录查询, 世界微缩模型, 查询工具, 虚拟现实, 多模态数据, 时间导航, 数据检索, 用户交互, 设计学习

研究背景与问题

• 问题或挑战: 空间设计记录是一种包含用户活动、工作流程和工具使用的多模态数据记录，但传统的查询工具难以支持用户高效地在多个记录中查找关键时刻。这些记录包含人、对象及交互等多种信息，并且分布在多个时间点和会话中。
• 重要性: 通过回顾空间设计记录，设计师能够反思自己的设计过程、学习工作流程并理解他人的设计意图。这对于提高设计效率、减少重新设计成本以及知识共享至关重要。
• 研究动机与相关工作:
  • 以前的工作主要集中在导航单一空间记录或单一时间轴上，但缺乏支持跨多记录查询的工具。
  • 方法例如直接操作场景对象或通过时间轴重播记录存在功能局限性。
  • 需要更先进的工具支持设计师通过多模态方式表达查询意图，并促使检索检索相关关键设计时刻。

解决方案

• 提出的方法:
  • Tesseract系统基于“世界微缩模型”（Worlds-in-Miniature，WiM），通过“Search Cube”界面以及四种查询工具（对象搜索、邻近搜索、视点搜索和语音搜索）支持空间设计记录的查询。
  • 用户可以使用搜索立方体界面创建空间查询，定义对象、人员行为及交互内容，进而检索过去的设计活动片段。
• 创新之处:
  • 首次引入WiM微缩模型用于查询多模态的空间设计记录，结合4种查询工具使得用户能够表达复杂设计情境。
  • 允许用户组合查询工具进行混合表达，提升查询的精确度与多样性。
  • 系统支持跨记录进行筛选，而非局限于单一记录或时间轴。
• 实施步骤与关键技术:
  • 对象搜索: 用户将对象拖入搜索立方体，定义位置和权重属性（存在、不存在及重要性），并通过相对布局关系（如临近或对齐）生成查询。
  • 邻近搜索: 定义特定时间点内人员与对象的空间邻近关系，通过可调整尺寸的选择圆盘进行可视化。
  • 视点搜索: 定义人员或记录视角，支持通过时间帧描述动态移动路径或视角变化。
  • 语音搜索: 利用文本嵌入方法将用户的对话匹配到记录交互日志以及人员的对话内容。
  • 检索出的片段以空间片段（spatial clip）的形式呈现，用户可预览或跳转至1:1比例重现设计活动。

研究成果

• 具体成果:
  • Tesseract支持设计师通过微缩模型查询复杂设计记录，并快速检索到内置数据库中的设计活动和关键时刻。
  • 用户能够利用不同的查询工具或组合查询工具，返回具有较高精确度的目标片段。
• 与现有方法的优势:
  • 与传统的时间导航相比，Tesseract支持跨记录查询、多模态表达以及复杂情境下的搜索，匹配用户需求的灵活性更高。
  • 其查询逻辑允许用户通过熟悉的设计元素（如对象、人员活动等）以及多样的方式表达搜索意图。
• 实验与评估结果:
  • 用户评价表明，微缩模型提供了直观的查询概念，且查询工具易于学习和使用。
  • 实验证实，参与者能够利用Tesseract检索空间设计中的核心设计时刻，并达到目标片段。
  • 综合评价中所有查询工具接受度较高，其中语音搜索及对象搜索工具尤受欢迎。
• 局限性与未来方向:
  • 对查询精度的改善需求：例如更多复杂场景中的对象关系的处理（如包含对象“在…之上”、“在…内部”的关系）。
  • 问题规模：随着记录数量增加，如何优化查询时间、结果排序以及数据表示。
  • 支持更多数据类型：未来可扩展至设计软件更多交互数据（如颜色、纹理、姿态、手势等）。
  • 应用扩展：研究如何适配更大规模场景（如城市规划）及其它空间设计领域（如汽车设计和建筑设计）的查询需求。

此文献为查询空间设计记录的关键性创新提供了技术指南和评估实证，代表了空间数据领域的新进展。