针对智力障碍人士的简化文本数字可理解性评估

文献标题

数字化阅读测试：智力障碍群体对简化文本的可理解性评估

文献信息

• 主题领域: 人机交互与自然语言处理
• 关键词: 自动文本简化, 可理解性评估, 智力障碍, 阅读行为, 数字测试, 读写障碍, 人机界面设计

研究背景与问题

• 发现的问题或挑战: 自动文本简化（ATS）越来越被使用，但其评估通常由专家或群众工人完成，而非简化文本的主要目标用户（例如智力障碍人士）。已有的研究缺乏针对这些特定目标群体的详细评估和阅读行为测量。
• 重要性: 简化文本的可理解性对于智力障碍人士等目标群体具有重要意义。随着自动简化工具的普及，将数字化评估应用于目标群体，既可以提高评估效率，也能捕捉阅读行为的细节。
• 研究动机与相关工作: 当前研究主要依赖专家对简化文本的评分或简单度的主观评价，忽略了语法错误、文本流畅性及目标用户的真实阅读行为。本文为德语文本首次通过ATS对智力障碍群体及对照组进行人类评估，为领域研究填补了实验方法的空白。

解决方案

• 提出的方法或解决方案: 作者设计了一项数字化实验，通过移动应用测量用户对原始文本、人工简化文本和自动简化文本的阅读行为及理解程度，包括以下四种测量形式：
  1. 选择题理解测验：通过多选题评估文本核心细节的理解能力。
  2. 主观难度评分：用户对阅读文本的困难程度进行主观评价，使用五点量表。
  3. 阅读问题响应时间：测量回答每个问题的时间作为理解程度的行为代理。
  4. 阅读速度：计算初次阅读文本时每分钟阅读的单词数。
• 创新点:
  1. 在易阅读性评估中首次引入针对智力障碍人群的数字化方法。
  2. 使用用户交互数据（如滚动行为、阅读速度等）深入分析阅读行为。
  3. 与控制组对比，揭示目标群体与一般读者的阅读行为和理解能力的差异。
• 实施步骤:
  1. 选用德语简化语言的原始与简化文本，并制作每篇文档的理解测验题目。
  2. 开发了专门设计的移动应用 "Okra"，适配不同用户阅读习惯。
  3. 在智力障碍群体和对照群体中招募参与者，分别完成三次实验，包括阅读任务和认知任务。
  4. 数据通过贝叶斯统计方法分析文本版本间的理解表现。

研究成果

• 具体成果:
  1. 智力障碍群体的选择题理解测试准确率为47.5%，而对照组为92.8%，显示智力障碍群体阅读行为和理解表现的显著异质性。
  2. ATS生成的文本对目标群体的阅读行为改善有限，尤其在主观评分上表现微弱。
  3. 自动文本简化在控制组中未显示显著的理解提升，甚至比原始文本更难。
  4. 手动简化文本能显著提高两组用户的理解表现。
• 优势与贡献:
  1. 提出四种测量方法，并验证选择题测验最可靠，难度评分对智力障碍群体则效果有限。
  2. 比较人工和自动简化文本的效果，发现手动简化更具优势，同时揭示ATS优化的潜力和方向。
  3. 使用移动设备记录阅读行为，为数字化评估和可达性开发提供数据支持。
• 局限性与未来方向:
  1. 自动简化文本质量仍有限，需要进一步研究如何克服语法和语义错误。
  2. 未深入分析目标群体和控制组对语言错误的敏感性差异。
  3. 后续研究可结合高级语言模型（如大型语言模型），提升ATS系统的表现。
  4. 推荐进一步探讨阅读交互数据的模式及在不同障碍群体中的适配性。

总之，本文通过数字化方法结合认知测验，揭示了简化文本评估的新路径，为未来文本简化技术的开发和人机交互研究奠定了基础。