比较评估不同识字水平聋人和重听成人简化文本复杂性的方法

文献标题

Comparison of Methods for Evaluating Complexity of Simplified Texts among Deaf and Hard-of-Hearing Adults at Different Literacy Levels

文献信息

• 主题领域: 无障碍设计与文本简化研究
• 关键词: 自动文本简化, 方法学研究, 聋人与弱听者, 无障碍设计, 文本复杂性评估, 阅读理解, 响应评分, 主观评价, 低识字率, 信息技术

研究背景与问题

• 作者发现的问题或挑战:

  • 聋人和弱听者群体（Deaf and Hard-of-Hearing，DHH）存在多样化的阅读能力，较低的识字率可能导致阅读复杂文本的困难。
  • 自动文本简化（ATS）作为一种助读技术，对DHH用户有益，但此前针对DHH群体的研究在如何评估简化文本的复杂性方面缺乏指导。
  • 文本复杂性评估中常用的指标（如阅读速度、理解问题、主观判断等）尚未经过验证，无法确定其对DHH用户的适用性。

• 为什么这个问题很重要:

  • 简化文本的质量评估是开发适合DHH用户的辅助阅读工具的关键。
  • 如果无法可靠评估文本复杂性，就难以提升辅助技术的准确性和用户体验。

• 研究动机与相关工作:

  • 作者对比了现有的DHH用户研究、语言技术评估方法和ATS相关文献，并发现许多研究未明确针对DHH群体的文本复杂性评估方法。
  • 结合过往在字幕工具、美国手语（ASL）动画的评估经验，本研究旨在建立一种更可靠的ATS评价框架。

解决方案

• 提出的方法或解决方案:

  • 对比不同复杂性等级的新闻文章（手动简化版本）以确保高质量语料。
  • 测试多种评估指标，包括客观指标（如阅读速度、理解问题解答成功率）和主观指标（如文本可读性和可理解性评估）。

• 创新之处:

  • 辨别哪些评估指标能够有效区分不同复杂性等级的文本，尤其是针对具有不同识字率的DHH用户。
  • 提出了将阅读者分组（基于识字率高低）并控制实验设计，以揭示指标有效性的统计显著差异。

• 实施步骤及关键技术:

  1. 语料选择: 从Newsela网站选取文章，该平台提供了不同复杂性水平的新闻，保证等长的统一标准。
  2. 实验指标:
     • 阅读速度（计算字数/阅读时间）。
     • 理解问题（主事实题，分为高复杂性问题和低复杂性问题）。
     • 分数预测（参与者预测自己在理解问题中的得分）。
     • 主观评估：包括文本的理解便利性和可读性判断。
  3. 方法验证: 基于WRAT（Wide Range Achievement Test）测试将参与者分为高低识字率组（WRAT-H和WRAT-L）。
  4. 实验设计: 采用拉丁方框设计对文章复杂性和问题显示顺序进行随机分配，减少实验偏差。

研究成果

• 具体成果:

  • 主观指标（尤其是可读性评价）表现最好: 无论参与者的识字率高低，此指标能有效区分文本的复杂性。
  • 低复杂性理解问题在低识字率组表现较好: 仅能区分最低复杂性和最高复杂性条件。
  • 高复杂性理解问题和阅读速度效果有限: 不适合用作评估文本复杂性的核心指标。

• 与现有解决方案的比较:

  • 与仅依赖客观指标的研究不同，该研究强调主观评价的优越性，尤其是在DHH群体的复杂性评估中。
  • 与评估字幕工具或ASL动画的工作形成对比，本文发现提高复杂文本评估困难主要集中在高识字率读者。

• 实验或评估结果:

  • 阅读速度和理解问题解答成功率受限于参与者的识字能力，主观指标更为有效。
  • 消除不同识字率读者的响应偏差是跨研究对比的关键因素。

• 局限性与未来方向:

  • 局限性:
    • 由于COVID-19限制，未能用眼动追踪来获得更复杂的注意力数据。
    • 高复杂文本可能不足以挑战高识字率组，需进一步验证。
  • 未来方向:
    • 测试加入有错误和语法问题的ATS输出文本，研究错误对指标效度的影响。
    • 针对使用ASL的DHH群体进行语种特异性研究。
    • 探讨其他文本类型（如小说、科技文档）的复杂性评估有效性。
    • 扩展研究到其他阅读困难群体（如非母语阅读者）。

总结

本文为DHH群体文本复杂性评估提供了明确的指导，强调主观评价指标的实用性，并建议研究者在分析中控制参与者的识字率，以保证结果的可靠性和跨研究对比的可行性。