GustosonicSense：迈向理解有趣的味觉声音饮食体验的设计

文献标题

GustosonicSense: Towards Understanding the Design of Playful Gustosonic Eating Experiences

文献信息

• 主题领域: 人机交互，特别是人类-食物交互（HFI）和多感官体验设计
• 关键词: 人类-食物交互、味觉音感体验、游戏化、饮食、耳塞

研究背景与问题

• 问题或挑战:

  1. 现有饮食相关系统多关注技术实现或以减肥、减低食物浪费等工具性目标为主，但忽视了饮食体验本身的快乐与享受。
  2. 尽管此前研究已探讨如何利用声音等多感官体验增强饮食趣味，但这些研究多需特定传感器和设置，具有侵入性或专属性，缺乏通用性。
  3. 关于如何设计具有游戏化的多感官饮食体验的知识仍较为不足。

• 研究重要性:

  1. 饭时的愉悦和享受是生活中的重要组成部分，理解和设计游戏化的饮食体验可以丰富日常生活。
  2. HFI领域呼吁采用更为庆祝性和游戏化的技术设计，以增强多感官饮食互动。

• 研究动机:

  • 结合"味觉音感交互"与庆祝性技术的理念，探索设计一种非侵入性的、多用途的游戏化饮食支持系统。

解决方案

• 提出的方法或解决方案:

  1. 设计了一种名为 GustosonicSense 的系统，它依靠无线耳塞采集用户咀嚼、饮水及其他口腔活动的数据，通过机器学习模型分类这些活动，并实时播放与这些活动相匹配的趣味声音。
  2. 方法包括：
     • 使用非侵入性的可穿戴耳塞设备。
     • 利用内置六轴惯性测量单元（IMU）和麦克风捕捉用户的颞肌振动。
     • 开发机器学习模型识别进食活动（如硬质食物、软质食物、饮料等）。
     • 在移动应用中通过随机音频播放增强惊喜和互动感。

• 创新之处:

  1. 系统支持任何食物和饮料类型，无需专属硬件或食材。
  2. 系统可在日常环境中移动使用，避免侵入性或固定设置。
  3. 通过与肌肉运动和进食动作关联的声音设计，激发用户的趣味、自我反思和多感官参与。

• 实施步骤与技术:

  1. 数据采集：从6位参与者中收集5种口腔活动（硬质食物、软质食物、饮水、说话和静止）的数据。
  2. 数据分析：使用随机森林模型进行训练，分类精度F1评分达到0.86。
  3. 系统架构：耳塞传感器将IMU数据发送至移动应用，经由云端模型预测后返回声音结果。
  4. 实验设计：应用旨在增强用户的探索性，播放与饮食行为相关的短声片段（每4秒更新一次）。

研究成果

• 具体成果:

  1. 探讨了GustosonicSense系统的功能性，证明其可以通过声音增强饮食时的游戏感受。
  2. 用户体验洞察:
     • 玩乐性（stimulation）：声音的延迟播放和与食物的非匹配性激发了用户的好奇心与乐趣。
     • 享乐性（hedonism）：系统支持独自用餐自我享受，消除了对视觉屏幕的依赖。
     • 自省性（reflexivity）：用户可以自由控制系统并根据自己的需求创造互动方式。
  3. 三大设计启示:
     • 采用非侵入性技术支持有意义的饮食。
     • 以不一致（音效与食物特性的不匹配）作为设计资源以激发用户兴趣和延展性。
     • 优先考虑用户的基本价值观，加强个性化与自我表现。

• 与现有解决方案的比较:

  • 系统更通用，支持多种食物类型而非依赖特定设置。
  • 设计的非侵入性耳塞相比早期贴面或挂颈式传感器具有更强的日常适应性。

• 实验与评估结果:

  • 系统的F1分类精度达0.86，误判结果提升了用户的探索感。
  • 用户通过系统声音增强了解自身饮食节奏、习惯变化，并以互动形式创造新的饮食方式。

• 局限性与未来方向:

  • 当前测试参与者数量和背景较局限，需要扩展至不同文化环境和更广泛的社会群体。
  • 系统的机器学习模型需进一步提升分类精度，并有潜力整合更多种类的食物。
  • 除个人体验外，应探索多用户、社交场景下的饮食互动。
  • 未来可以研究如何设计促进健康饮食的声音反馈机制，从而引导用户形成良好的饮食习惯。

结论

GustosonicSense系统展示了通过耳塞结合声音与机器学习增强日常饮食体验的可能性。研究结果表明，添加“游戏化”的多感官互动不仅可以丰富个人用餐体验，还为未来的食品交互技术与设计提供了参考。