使用漫画的视觉语言来改变增强现实中的感觉

文献标题

Using the Visual Language of Comics to Alter Sensations in Augmented Reality

文献信息

• 主题领域: 增强现实（AR）和视觉语言在人机交互中的应用
• 关键词: 增强现实（AR）, 漫画, 感官增强, 用户体验, 人机交互, 定性研究, 视觉符号, 感知操控, 游戏化, 用户界面

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 当前增强现实系统主要聚焦于视觉感知，而难以直接增强非视觉的感官如听觉、嗅觉和触觉。
  • 如何通过现有技术手段增强非视觉感官的信息传递仍具有很大挑战，例如如何让用户感到更加“强壮”或“更快”。

• 为什么这个问题很重要？

  • 非视觉感官在用户体验中同样重要，增强这些感官可以大幅提高沉浸感、互动感以及任务完成的趣味性和效率。
  • 解决这个问题可以帮助拓展增强现实技术的应用场景，例如在教育、娱乐、运动和医疗等领域。

• 研究动机与相关工作

  • 作者借鉴漫画这一媒介的视觉语言，以漫画符号的丰富表达力为基础探索其在增强现实中的潜力。
  • 此前研究中，漫画风格的视觉符号在其他交互媒介（如电影、视频游戏）中已经证明了其价值，但在现实世界的增强现实交互中的作用仍未被充分探索。

解决方案

• 作者提出了哪些方法或解决方案？

  • 提出了一个基于漫画元素的设计空间，将漫画视觉符号划分为针对非视觉感官的四个类别（听觉、触觉、嗅觉/味觉、本体感知）和三种视觉表达类别（文本、线条、符号）。
  • 构建了八个增强现实原型（例如通过速度线让用户感知“更快”、通过“气泡”让饮品看起来更有气泡感），并通过用户研究评估其有效性。

• 该解决方案的创新之处是什么？

  • 这是首次系统性地将漫画符号的视觉语言应用于增强现实，用于增强非视觉感知。
  • 提出了一个可供设计者参考的设计框架，建立了感官类别与视觉表达之间的联系，开创了漫画与增强现实结合的新方向。

• 实施步骤是什么？使用了哪些关键技术？

  • 设计空间构建: 基于漫画研究文献进行收集和分类，生成感官类别与视觉表达类别的匹配框架。
  • 原型开发: 使用Unity引擎实现八个增强现实应用原型，借助Varjo XR-3和Meta Quest Pro等硬件完成视觉增强。
  • 用户研究: 招募20名参与者，通过定性测试和访谈评估用户对这些增强现实效果的感知和体验。

研究成果

• 取得了哪些具体成果？

  • 多数参与者（至少75%）能够正确理解这些漫画元素的意义，并表明增强现实的视觉效果可以改变他们对非视觉感官的感知。
  • 视觉符号提升了用户的情绪体验（例如更有趣、更激励人心）、与环境的互动感，以及对常规任务的投入感。

• 与现有解决方案相比，它有哪些优势？

  • 不同于传统感官增强技术（如物理反馈设备），利用漫画符号可以通过纯视觉手段模拟非视觉感知，成本低且具有更广泛的适用性。
  • 视觉符号的卡通化风格被用户普遍接受，并被认为可以避免“恐怖谷”效应。

• 实验或评估结果是什么？

  • 听觉增强：音乐符号设计被广泛接受，15名参与者报告听觉体验得到了提升。
  • 触觉增强：震动线条和冲击爆发效果使11名参与者认为自己更加强壮。
  • 本体感受增强：速度线等元素让13名参与者感知到了“更快”的效果。
  • 味觉与嗅觉增强：7名参与者表示在视觉符号的影响下，食物的气味更强或饮品更有气泡感。

• 局限性与未来方向

  • 局限性:
    • 研究场景局限于实验室环境，未能在日常生活中测试效果。
    • 视觉效果对不同用户的接受度差异较大，部分符号容易引发误解。
    • 当前实现对硬件设备（例如追踪摄像机）的依赖限制了实际应用场景的多样性。
  • 未来方向:
    • 定量测试这些增强效果对用户行为和感知的具体影响程度。
    • 研究视觉符号对用户长期体验的影响，以及符号效果与对象特性的匹配优化。
    • 探索如何通过用户个性化的方式增强符号的解释性和视觉吸引力。
    • 拓展到多用户环境场景下的社交体验研究，例如使用漫画符号增强社交交互的游戏化表现。