InterFACE：建立一个无手操作扩展现实交互的面部动作单元输入词汇，从VR游戏到AR网络浏览

研究背景与问题

• 问题与挑战: 作者指出现有虚拟现实 (VR) 和扩展现实 (XR) 交互通常依赖手部动作或控制器输入，这对具有运动障碍的用户或在特定场景下暂时无法使用手部的用户来说是不可用的。此外，现有的语音输入或眼睛跟踪等替代交互方式存在社交接受度低、功能有限等问题。
• 重要性: VR 和 XR 被认为在其设计上对残疾人存在某种程度上的“能力主义”，这使得部分用户无法感受技术本身的优势，例如沉浸感或交互能力。
• 研究动机: 面部动作单元 (Facial Action Units, FAUs) 提供了一种无需动手的交互方式，它能够为无法使用传统交互方式的用户提供机会，同时为那些暂时或特定场景中无法使用手部的用户开放了新的交互可能性。
• 相关工作: 作者借鉴了之前使用面部表情进行游戏控制的研究，但这些研究面临范围有限、性能不稳定以及无法通用的问题。本篇论文旨在系统地评估和识别可用的FAUs，并将其应用于广泛的XR场景中。

解决方案

• 提出解决方案: 作者的解决方案包括：

  1. 系统地评估当前消费级VR设备（如Meta Quest Pro）所支持的53个FAUs的使用性能，包括舒适度、努力程度和响应时间。
  2. 提出一个由7个最佳FAUs组成的交互词汇，用于支持XR设备的无手交互。
  3. 设计并评估两个能够完全基于面部交互操作的原型应用：一个VR游戏和一个AR网页浏览器。

• 创新之处: 最显著的创新是作者提出了一种基于单个面部动作单元的通用交互方式，而不是依赖于情绪表情或单用户定制。这让该方法能更广泛地适应不同用户，为VR和AR设计提供了一种切实可行的无手交互方式。

• 实施步骤:

  1. 通过用户实验评估53种FAUs的主观与客观性能，筛选出适合的交互式FAUs。
  2. 基于筛选的FAUs，训练一个分类模型实现高准确度识别（97%分类准确率）。
  3. 将该分类器集成到虚拟环境中，用于实际交互测试，包括VR游戏和AR浏览器。
  4. 进行用户评估，了解面部交互在实际场景中的性能及用户接受度。

研究成果

• 具体成果:

  1. 识别出适合用于XR交互的面部动作单元（例如JawDrop, LidTightener）。
  2. 训练了高效的分类模型，能够准确区分休息状态与激活状态（总体F1分数为0.95）。
  3. 成功开发了完全基于面部交互驱动的两个XR原型应用。
  4. 初步验证了面部交互在实际使用中的可行性，特别是在促进XR技术的辅助功能和无手交互的潜力上。

• 优势对比:

  • 与基于语音或眼睛跟踪的交互相比，面部交互提供了更多可控性和输入维度，可以更好地适配复杂交互任务。
  • 对于具有永久性或临时性运动障碍的用户，面部交互提供了非侵害性且易获取的解决方案。

• 实验或评估结果:

  • 用户实验表明，面部交互在某些场景中具有较高的使用性能（例如网页浏览），但在长时间使用时可能会导致面部疲劳。
  • 社会接受度仍然是一个问题，用户更倾向于在私人或半私人场景中使用面部交互，而不是公共场合。

• 局限性与未来方向:

  1. 头戴设备传感限制: 当前设备的识别范围和精度可能限制某些FAUs的使用。未来应探索新的面部追踪技术（例如舌头追踪和更多复合动作）。
  2. 目标用户群: 当前研究主要关注非残疾用户，尚未深入研究如何为特定障碍群体优化面部交互方案。
  3. 交互设计改进: 实现更多个性化调整，例如用户可选择的FAUs绑定和自定义操作方案。
  4. 疲劳问题: 后续研究应进一步量化长时间使用某些FAUs的疲劳或健康影响。
  5. 并发输入: 目前无法同时激活多个FAUs。未来可能需要探索多标签分类或将面部交互与其他输入方式结合（例如语音、眼神交互）。

通过本文研究，作者证明了基于面部动作单元的无手交互具有广泛的应用潜力，不仅可以解决已有的XR技术中的辅助功能痛点，还为未来日常生活中的无手交互开启了新的可能性。这为XR以及更广泛的人机交互领域的无障碍设计提供了重要启示。