XSynth：生成式AI赋能的扩展现实概念设计协作共享心智模型构建

文献标题

XSynth: GenAI-Empowered Shared Mental Model Building for Conceptual Design Collaboration in Extended Reality

出版信息

• 主题领域: 扩展现实（XR）中设计协作的人机交互（HCI）与计算机支持的协同工作（CSCW）。
• 关键词: 共享心理模型，概念设计，扩展现实，生成式人工智能，知识图谱，C–K理论，团队认知，设计协作，创造力支持，XR工具。

背景与问题

• 问题/挑战: XR介导的设计协作工具缺乏结构化的认知支架来支持共享心理模型（SMM）的构建，导致创意分散、心理模型不一致以及团队绩效下降。
• 重要性: 解决XR介导设计协作中的认知挑战对于提升团队一致性、创造力和设计成果在跨学科和沉浸式环境中的表现至关重要。
• 动机与相关工作: 先前的研究探索了XR在增强共在感和创造力方面的潜力，但尚未系统性地解决SMM构建的认知支架问题。概念-知识（C–K）理论提供了一个结构化的设计推理框架，但其在XR介导的协作工具中的应用尚未被探索。

解决方案

• 提出的方法: XSynth是一个基于C–K理论的生成式人工智能（GenAI）驱动的XR系统，通过知识图谱在概念设计协作中为个体和共享心理模型的构建提供支架。
• 创新点:
  1. 将C–K理论与生成式人工智能相结合，在XR中结构化和可视化团队认知。
  2. 开发了一种基于知识图谱的方法，用于外化和对齐个体与共享心理模型。
  3. 实证验证XSynth在降低认知负荷、增强创造力和改进设计成果方面的有效性。
• 流程与关键技术:
  • XSynth实现了一个设计认知共演路径：设计问题 → 个体心理模型（IMM） → 共享心理模型（SMM） → 设计解决方案。
  • 通过基于C–K理论和F–A–T模式（功能、外观、技术）的提示工程，GenAI为认知提供支架。
  • 知识图谱外化IMM并将其合成为统一的SMM，从而在XR中实现可视化和交互。
  • 技术实现包括心理模型的获取、结构化、合并和可视化，使用字节跳动的Doubao大语言模型（LLM）、NetworkX和Spatial XR平台。

结果

• 具体发现:
  • XSynth在NASA-TLX工作负荷评分中降低了心理需求（53.70 vs. 67.07），并提高了感知绩效（50.13 vs. 65.77）。
  • 创造力支持指数（CSI）评分在探索性（6.78 vs. 5.77）、表达性（6.73 vs. 5.53）、沉浸感（7.33 vs. 6.07）和总分（66.48 vs. 58.84）方面显著提升。
  • 感知SMM的5-PSMMS评分在执行（5.43 vs. 4.69）、互动（5.99 vs. 4.84）、组成（5.58 vs. 4.67）和时间协调（5.90 vs. 4.67）方面显著更高。
  • 专家评估显示，使用XSynth生成的设计概念在新颖性（6.80 vs. 6.17）、完整性（7.03 vs. 5.87）和质量（6.87 vs. 6.03）方面评分更高。
• 相较基线的优势: XSynth在降低认知负荷、增强创造力支持、强化感知SMM以及改进设计质量方面优于基线系统（未结合理论支架的Doubao LLM）。
• 实验/评估:
  • 采用2×2组内平衡实验，30名参与者（10个团队）完成两项概念设计任务，比较XSynth与基线系统的表现。
  • 衡量指标包括NASA-TLX、CSI、5-PSMMS、TEQ以及设计质量的专家评估。
• 局限性与未来工作:
  • XSynth依赖文本输入，限制了表达的丰富性；未来应探索如草图等多模态输入。
  • 知识图谱生成的稳定性问题需要技术改进。
  • 参与者主要为高级设计专业学生；需要更广泛的参与者群体和真实世界应用验证。
  • 未来研究可探讨神经认知方法以追踪动态SMM的演变。

总结

XSynth结合生成式人工智能与C–K理论，为XR介导的概念设计协作中的共享心理模型构建提供支架。通过将个体和共享认知外化为知识图谱，XSynth降低了认知负荷，增强了创造力，并改善了团队一致性和设计成果。实证结果表明，其相较于基线系统的有效性，同时定性洞察揭示了其在社会情感和认知方面的影响。该研究为HCI和CSCW领域提供了一个可扩展的生成式人工智能驱动的认知支持框架，用于沉浸式协作环境。