LingoQ：通过AI生成的工作相关测验弥合EFL学习与工作之间的差距

文献标题

LingoQ: Bridging the Gap between EFL Learning and Work through AI-Generated Work-Related Quizzes

出版信息

• 主题领域: 面向职场环境的人工智能辅助英语作为外语（EFL）学习
• 关键词: EFL学习, AI生成测验, 基于LLM的系统, 职场英语, 个性化学习, 自我效能, 任务型语言教学, 提取练习, 情境化学习, 微学习

背景与问题

• 问题/挑战: 现有的EFL学习工具通常依赖于通用且缺乏情境的材料，无法满足非母语人士在专业环境中的具体英语需求。员工也认为在工作时间之外手动复习和练习职场英语是一项负担。
• 重要性: 英语能力对于全球化行业中的非母语人士至关重要，影响他们完成任务的能力，例如阅读技术文档、撰写电子邮件以及理解领域特定术语。解决这一差距可以提高任务表现并增强语言学习的参与度。
• 动机与相关研究: 先前研究强调了任务型和情境化学习的优势，以及上下文感知内容生成的潜力。然而，很少有研究探索利用员工与LLM的交互来直接生成与其专业任务相关的个性化EFL学习材料。

解决方案

• 提出的方法: LingoQ，一个通过AI生成个性化英语测验的系统，从员工与LLM的语言查询中提取内容，提供轻量化的职场相关EFL练习。
• 创新点:
  1. LingoQ的设计与实现，将LLM语言查询与自动测验生成相结合，实现情境化的EFL学习。
  2. 三周部署研究的实证证据显示初学者的持续参与和可测量的学习收益。
  3. 在尊重工作与生活界限的同时，提出将AI辅助EFL学习整合到专业工作流程中的设计考虑。
• 流程与关键技术:
  1. 员工通过LingoQuery，一个优化用于英语相关查询（例如查找、翻译、校对）的桌面聊天机器人进行交互。
  2. 后端管道从查询-响应对中生成选择题，结合屏幕截图和对话历史的上下文。
  3. 问题经过迭代质量保证，确保可回答性和适合性后加入问题池。
  4. 员工通过LingoQuiz移动应用练习测验，混合新问题与已解决问题，提供即时反馈和解释。

结果

• 具体发现:
  • 参与者的英语自我效能平均提高9.5% (p < 0.001)。
  • 初学者在基于TOEIC的测试中显著进步，平均提高4分（满分30分）。
  • 生成了4,462个经过验证的问题，首次尝试的平均准确率为82.6%，重复练习后提高到92.4%。
• 相较基线的优势:
  • 在可持续性（+1.0）、内容相关性（+1.6）以及对工作任务的帮助性（+1.3）方面显著高于现有EFL方法（所有指标p < 0.001）。
  • 专家评估确认生成问题的质量，答案可回答性F1分数为0.86，适合性F1分数为0.88。
• 实验/评估:
  • 对28名韩国EFL员工进行三周部署研究，分析使用模式、学习成果和自我效能。
  • 对30个抽样问题进行专家质量评估。
  • 通过研究前后调查和基于TOEIC的测试衡量学习收益和用户感知。
• 局限性与未来工作:
  • 仅限于阅读和写作技能；未来工作应包括听力和口语。
  • 主要集中于填空题；需要扩展问题形式和模式。
  • 研究在韩英语境中进行；推广到其他语言需要进一步研究。

总结

LingoQ是一个通过AI将员工的LLM语言查询转化为个性化英语测验的系统，提供轻量化、与工作相关的EFL练习。对28名韩国EFL员工进行的三周部署研究显示了持续参与、自我效能的提升以及初学者的可测量学习收益。专家评估确认了生成问题的质量，参与者认为该系统在情境相关性和工作任务实用性方面具有价值。未来工作应扩展问题形式，涵盖口语交流技能，并探索更广泛的语言环境。LingoQ展示了利用LLM交互实现个性化、任务特定语言学习的潜力。