Tutor In-sight：使用混合现实avatar展示工具引导和可视化学生注意力

文献标题

Tutor In-sight: Guiding and Visualizing Students’ Attention with Mixed Reality Avatar Presentation Tools

文献信息

• 主题领域: 人机交互与教育技术
• 关键词: 虚拟化身, 远程演示, 增强现实, 混合现实, 教育工具, 注意力引导, 远程教学, 学生注意监控, 用户研究, 学生参与度

研究背景与问题

• 发现的挑战:

  • 当前视频会议工具（如Zoom）限制教师通过摄像头直播进行表现，难以充分利用肢体语言，从而降低了教师与学生之间的共在感与参与度。
  • 虽然虚拟现实（VR）工具提高了学生的沉浸感，但教师实施这些工具时面临技术壁垒，且VR头显可能妨碍学生在物理空间中与学习材料的互动（如笔记记录）。
  • 现有远程教育系统的设计未完全满足教师与学生的需求，如关注学生参与度和教学效率的不平衡问题。

• 重要性:

  • 随着在线学习与远程教学的日益普及，设计能够提升教师与学生互动质量的远程教育工具变得至关重要。
  • 有效引导学生的重要学习材料并提高其参与度是提高在线教学质量的重要因素。

• 研究动机:

  • 针对以上问题，作者希望找寻一种兼顾教师操作便捷性与学生沉浸感的解决方案。
  • 通过整合虚拟与物理工作空间，开发更可用的教育工具，为师生创造更佳的远程学习与教学环境。

解决方案

• 提出的方法:

  • Tutor In-sight 系统包括两个部分：教师仪表盘和学生使用的混合现实（MR）虚拟化身工具。
  • 学生工作空间被增强现实化，加入一个自动生成肢体语言（包括眼神、手势、动作）的教师虚拟化身，与材料进行实时互动。
  • 教师仪表盘通过实时监测学生的眼动数据来提升教师对学生注意力的了解以及教学控制。

• 创新点:

  • 教师化身根据PowerPoint互动内容自动生成肢体语言并实时适配教学内容，无需高昂的硬件设置或额外培训。
  • 教师仪表盘可在二维屏幕上监测学生的注意力分布，减少使用头戴设备的限制。
  • 设计了兼具易用性与沉浸性的MR工具，兼顾了师生需求。

• 实施步骤:

  1. 教师仪表盘: 开发用于实时监测学生注意力的仪表盘，基于PowerPoint插件跟踪教师鼠标及内容展示逻辑。
  2. 学生增强工作空间: 使用微软HoloLens 2等MR设备，将虚拟化身与物理内容重叠，提供具体的视觉线索来引导学生注意力。
  3. 虚拟化身动画生成: 通过教师动作和学生眼动数据实时生成教师化身的动作。
  4. 评价与调整: 通过两项用户研究对Tutor In-sight进行比较测试，并根据反馈优化功能设计。

研究成果

• 具体成果:

  • Tutor In-sight系统通过两轮用户研究显著提升师生对系统的接受度，尤其是在注意力引导、共在感和参与度方面表现优于传统视频会议和VR技术。
  • 教师对仪表盘实时反馈功能表示肯定，而学生对MR化身的互动特性感到满意。

• 相较现有解决方案的优势:

  • 提供了更便捷的教师操作方式，理解门槛低。
  • 模拟教师肢体语言与沉浸互动的环境，学生能够专注于学习材料同时保留笔记记录能力。
  • 系统设计通过虚拟与物理空间的整合，解决了VR工具中的学生分心问题。

• 实验与评估结果:

  • 教师研究: 多数教师更偏好Tutor In-sight，它在监测学生注意力和课程管理方面更有效。
  • 学生研究: 学生感觉MR化身更具沉浸感，并促进了注意力分配，但VR头显可能影响笔记记录。
  • 整体偏好: 两项研究中的大多数参与者都将Tutor In-sight列为优选解决方案。

• 局限性与未来方向:

  • 尚未完全支持动态或动画幻灯片，仅支持静态幻灯片内容。
  • 当前研究测试环境以预录演示为主，未来需要验证实时互动场景下的实用性与学习效果。
  • 需进一步开发用于多方互动（如学生间协作）的功能，并探索处理隐私数据的替代监控方式（如头部动作）。

总之，Tutor In-sight系统为远程教育中的教师与学生提供了潜在的增强型工具，并启发了设计更有效MR教育解决方案的思路。