理解混合现实系统设计以丰富饮品体验

文献标题

Towards Understanding the Design of Mixed Reality Systems to Enrich the Beverage Experience

出版信息

• 主题领域: 人类-食物交互（HFI）与多感官饮品体验中的沉浸式技术。
• 关键词: 混合现实、人类-食物交互、珍珠奶茶、味觉感知、多感官设计、自适应系统、大型语言模型、虚拟环境、感官参与、个性化。

背景与问题

• 问题/挑战: 现有的人类-食物交互（HFI）系统主要是静态且由设计者主导，缺乏自适应性以及支持有意义参与者互动的具身行为机会。对于自然语言输入如何塑造沉浸式环境中的多感官响应，研究关注较少。
• 重要性: 饮品体验中的多感官设计可以增强感官参与，个性化味觉感知，并创造出充满趣味性和社交性的消费时刻。这对美食学、健康以及交互系统设计具有重要意义。
• 动机与相关工作: 先前的研究探索了静态多感官系统（如 MetaCookie+、Vocktail）和沉浸式虚拟现实环境，但尚未整合能够实时响应用户输入的动态自适应系统。大型语言模型（LLMs）的进步为自适应个性化提供了机会，但其在趣味性饮品体验中的应用仍未被探索。

解决方案

• 提出的方法: XTea，一个结合物理饮用动作与通过自然语言输入调节的自适应虚拟环境的混合现实（MR）系统。
• 创新点:
  1. 引入 XTea，一个整合视觉、听觉和物理组件的多感官混合现实系统，用于自适应饮品体验。
  2. 关于感官参与、个性化味觉调节以及沉浸式环境中的社交存在的主题性发现。
  3. 提出四种多感官饮品体验设计策略，强调动态视觉线索、用户自主性和社交维度。
• 流程与关键技术:
  • 参与者通过 VR 头显与定制设计的 XTea 杯和虚拟环境“Flavor Drift”进行交互。
  • 系统基于 GPT-4.5-preview 处理的语音输入，调节视觉、听觉和几何特征。
  • 自适应参数包括光晕强度、灯光颜色、几何数量、环境动态和音乐选择。

结果

• 具体发现:
  • 显著的视觉变化（如颜色变化）增强了感官参与，而微妙的变化往往被忽视。
  • 基于语音的交互增强了参与者的自主性和个性化体验，将饮用过程转变为一种共同创作的体验。
  • 叙事线索和虚拟伴侣在饮用体验中促进了目标感和社交存在。
• 相较基线的优势: XTea 引入了动态自适应性和参与者驱动的感官调节，与先前 HFI 工作中的静态、设计者主导系统形成对比。
• 实验/评估:
  • 对 12 名年龄在 19 至 36 岁之间的珍珠奶茶爱好者进行研究。
  • 参与者在消费个性化珍珠奶茶的同时体验自适应虚拟环境。
  • 数据通过访谈的主题分析和行为观察收集。
• 局限性与未来工作:
  • 控制的实验室环境限制了生态效度；未来研究应探索真实场景中的应用。
  • 当前系统聚焦于甜味和酸味；需要扩展到其他味觉维度（如苦味、鲜味）。
  • 基于语音的交互对话深度有限；未来工作可整合情感计算和多模态反馈。
  • 虚拟饮品的表现与物理饮用动作缺乏同步性；未来系统可加入液位跟踪功能。

总结

XTea 是一个将自适应虚拟环境与物理饮用动作相结合的混合现实系统，旨在丰富珍珠奶茶的体验。通过利用自然语言输入和感官线索，XTea 实现了动态个性化，增强了感官参与，并促进了社交存在。一项对 12 名参与者的定性研究揭示了显著的视觉变化、基于语音的交互和叙事线索如何塑造味觉感知和享受体验。本文提出了四种多感官饮品体验的设计策略，强调动态视觉线索、用户自主性和社交维度。未来工作应解决生态效度问题，扩展味觉维度，并优化系统响应性，以提升沉浸式饮品体验。