虚拟现实中的生成性角色扮演沟通训练对自闭症个体的应用：一项关于就业辅导员在职业培训项目中经验的研究

研究背景与问题

• 作者发现了哪些问题或挑战？
  作者指出，传统的为自闭症人士进行软技能培训的过程需求巨大，要求工作教练花费大量时间制作个性化内容，并在一对一的角色扮演培训中不断重复。与此同时，现有方法难以广泛采纳先进技术，例如基于虚拟现实（VR）和大型语言模型（LLM）的工具，原因包括教练技术熟练度不足以及现有技术环境不够友好等。

• 为什么这个问题很重要？
  自闭症人士在就业上的软技能提升可以显著增强他们的就业能力。提升技术工具的可用性不仅可以缓解工作教练的压力，还能为更多自闭症人群提供有效和高效的培训技术支持。

• 研究动机与相关工作
  作者基于之前研究成果探讨了虚拟现实和 AI 驱动解决方案的潜在优势，例如低成本、高适应性和安全的培训环境。同时，现有的相关研究大多集中于学员的体验，而忽略了工作教练的痛点。这项研究的目标是从工作教练的视角评估整合 LLM 驱动的 VR 平台的可行性和实际问题。

解决方案

• 作者提出了哪些方法或解决方案？
  作者开发了一个基于 VR 和 LLM 的软技能训练平台，旨在支持工作教练为自闭症学员创建并执行软技能培训。平台包含一个 VR 应用程序，配备了 LLM 驱动的虚拟角色，以及一个支持教练通过文本生成角色扮演场景的网页界面。

• 解决方案的创新之处是什么？
  平台整合了 LLM 和 VR 技术，允许生成多样化、适应性强的培训场景，同时为工作教练提供简单易用的界面以设计角色扮演内容。这一设计降低了技术操作门槛，并在自闭症培训应用场景中引入了生成式技术的概念。

• 实施步骤是什么？使用了哪些关键技术？

  1. 平台内容框架：网页界面支持场景创建（输入标题、角色标签和场景指令）及对话记录回顾。
  2. 核心技术：利用 OpenAI 的 GPT-3.5 模型和 VR 环境生成适应现实场景的角色扮演对话。
  3. 系统整合：通过服务器连接网页和 VR 应用，确保场景信息和训练会话数据同步。
  4. 训练流程：教练创建场景，学员通过 VR 进行角色体验，其所有交互均记录于平台用于后续评估。

研究成果

• 取得了哪些具体成果？
  作者进行了为期三个月的纵向研究，与 13 位工作教练合作，通过分别进行有指导的培训（第一阶段）和基于长期使用的反馈访谈（第二阶段）验证平台可行性。在三个月中，总计生成 12 个场景，并进行了 151 次场景会话。

• 与现有解决方案相比，它有哪些优势？

  • 客制化场景：教练能根据学员需求生成场景内容，增强培训个性化。
  • 沉浸式体验：平台通过 VR 提供身临其境的训练环境，对提高学员参与度和信心有效。
  • 操作简单：优化设计使工作教练能轻松掌握 LLM 提示编写技巧。

• 实验或评估结果是什么？

  • 工作教练普遍认为平台友好且功能强大，但也提到一些技术和使用上的困难（如设置时长、屏幕投影复杂性）。
  • 自闭症学员在使用中展现较高参与度，而一些挑战（如语音识别问题、佩戴眼镜者的舒适度）仍需关注。
  • 教练反映学员逐渐提升了信心，并能独立与虚拟角色交互。

• 局限性与未来方向

  • 局限性：研究主要关注教练视角，而未深入探讨学员在真实环境中技能迁移的长期表现；同时，设备及场景限制可能影响训练质量。
  • 未来方向：
    1. 探讨不同 VR 设备的优化使用。
    2. 增加更高现实感的训练场景和虚拟角色。
    3. 考虑混合应用方法（如桌面版本）以应对自闭症学员个性化需求。
    4. 扩展至硬技能培训模块，进一步提升 VR 工具在职业培训中的功能。

总结：本研究强调了 LLM 驱动的 VR 平台在自闭症职业培训领域的独特价值，同时揭示了其可持续性整合的一些瓶颈。研究为未来类似技术开发提供了宝贵的设计准则和改进建议，对推动该领域技术融合具有重要影响。