Lookee：基于凝视追踪的婴儿词汇理解评估与分析

研究背景与问题

• 作者发现的问题或挑战：早期鉴别婴幼儿词汇理解能力对于发展评估和干预至关重要，但现有评估方法面临一些重大挑战。例如，通过父母报告的方法容易受到主观偏差影响，而实验性方法如“跨模式偏好视觉测试范式”（Intermodal Preferential Looking Paradigm, IPLP）需要手动收集和分析数据，限制了其在临床和家庭环境的可扩展性。此外，针对婴幼儿的语言理解评估工具缺乏客观、便捷的解决方案。
• 为什么这个问题重要：婴幼儿在9-12月龄开始理解词汇，这一发展对于早期检测语言迟缓以及预测未来语言能力非常关键。准确评估这一阶段的语言能力不仅能帮助儿童更早获得适当的干预，还能为语言研究提供珍贵的数据资源。
• 研究动机与相关工作：目前广泛采用父母报告（例如 M-B CDI）和实验性方法（例如 IPLP）的现有评估工具存在主观性偏差以及数据可靠性和可扩展性方面的限制。此外，近年来人工智能驱动的方法开始崭露头角，但尚未与婴幼儿评估工具充分结合。

解决方案

• 作者提出的方法或解决方案：设计了一个名为“Lookee”的评估工具，利用人工智能和视线追踪技术，自动化地评估婴幼儿的词汇理解能力。Lookee通过结合IPLP的实验方法和随机森林（Random Forest）模型分析婴幼儿的注视行为，提供更加客观、高效的语言能力评估。
• 该解决方案的创新之处：
  • 整合了AI技术和IPLP实验范式，提供自动化和可扩展的评估方案。
  • 利用基于摄像头的视线追踪减少了对专业设备（如眼动仪）的依赖，同时省略了复杂的校准流程，简化了评估过程。
  • 为实现广泛适用性，Lookee支持配置个性化参数来满足不同人群和研究目标。
• 实施步骤与关键技术：
  1. 实验设计：总共设置40组词汇理解试验，包括目标词和干扰词（以图片形式呈现）。
  2. 数据采集与分析：通过摄像头捕获婴儿注视点数据，利用随机森林模型分析注视行为，提取特征（如注视比例、反应时间等）。
  3. 结果报告：提供综合评估报告，包括儿童的年龄组对比成绩、词汇理解估算以及试验详情显示。
  4. 用户研究：通过实验研究和访谈，验证工具的准确性和实用性，收集多方观点（如临床医生、父母、研究者）。

研究成果

• 具体成果：
  • Lookee在19组父母-婴幼儿测试中，分析结果与父母报告的词汇理解能力对比，准确率达到80%以上。
  • 在System Usability Scale（SUS）评分中，该工具获得了74.56分，表明具有良好的可用性。
• 与现有解决方案相比的优势：
  • 减少了对手动数据记录和分析的需求，提高了评估工具的效率和可扩展性。
  • 提供了一种客观、自动化的评估方式，有效降低了现有方法中的主观性偏差。
  • 可通过简易设备（例如普通网络摄像头）进行远程评估，方便家庭环境使用。
• 实验或评估结果：
  • 随机森林模型在交叉验证中展示出一致性，说明模型具有一定的推广能力。
  • 对年龄组较大的儿童（18-30个月）分析准确度较高（90.96%），而较幼的组别（11-18个月）可能因注意力较难维持而导致测量误差。
• 局限性与未来方向：
  • 数据集规模较小，仅包含31名儿童的先验实验数据以及19名新实验数据，限制了模型的泛化能力。
  • 实验环境设置在儿童博物馆，可能受环境因素干扰，未来需要更广泛的实验环境研究（如家庭或临床环境）。
  • 当前测试集中于韩国单一文化背景，未来推展需覆盖更多语言、文化及临床状态（如语言发展迟缓或听力缺陷的儿童）。
  • 探索发展更高级的AI模型（如LSTM和Transformer）以及多模态数据输入（如面部表情、手势）有望进一步提升评估准确性和全面性。

以上分析总结了该论文的主要贡献及技术创新，同时指出了该研究现阶段的不足和未来可能的发展方向。