评估具有不同读写水平的聋人和重听成人自动简化文本流利度的方法

文献标题

Methods for Evaluating the Fluency of Automatically Simplified Texts with Deaf and Hard-of-Hearing Adults at Various Literacy Levels

文献信息

• 主题领域: 自动文本简化 (Automatic Text Simplification, ATS) 和无障碍设计
• 关键词: 自动文本简化, 无障碍, 聋人和听障, 方法学研究, 阅读流利度, 文本简化评估

研究背景与问题

• 发现的问题或挑战:

  • 自动文本简化(ATS)可能引入语法或语义错误，对文本的流利度和完整性产生负面影响。
  • 在评估ATS系统输出时，关于面向聋人和听障者（DHH）用户群体的文本流利度的评估指导尚不完善。
  • 以往研究主要使用高识字率的“专家读者”来评估简化文本的流利度，缺乏面向特定目标用户的评估方法。

• 为什么重要:

  • DHH个体的识字水平多样化，部分人群存在低识字率问题，因此针对具体用户群体进行文本简化评估至关重要。
  • 设计针对目标用户的评估方法，有助于开发更符合用户需求的无障碍阅读辅助工具。

• 相关工作与研究动机:

  • 以往研究已探讨DHH人群对文本复杂度的评估方法，但未明确如何全面评估简化文本的流利度（语法正确性）与忠实度（语义保真性）。
  • 本研究旨在填补这一方法学空白，特别是探讨如何在DHH个体中，使用适合的评估指标区分文本流利度。

解决方案

• 方法或解决方案:

  1. 通过严格设计的实验，使用多种指标（阅读速度、理解问题的回答、主观评分等）来评估简化文本的流利度是否可以在DHH群体中可靠测量。
  2. 针对DHH个体的不同识字水平（高 vs 低）探讨这些指标的适用性及潜在的“识字偏倚”问题。
  3. 设计与实施生成控制文本集的方法，以确保实验中流利度水平的实验对比严格可控。

• 创新之处:

  • 提出了评估流利度的新方法，首次结合阅读速度、主观语法评分等指标直接测量简化文本的流利度。
  • 将高识字率读者以外的目标用户群体（如DHH个体）引入流利度评估研究。
  • 提出了面向DHH个体的研究框架，指导后续评估文本流利度和ATS性能的研究。

• 实施步骤及技术关键:

  • 文本生成与验证:
    • 从新闻平台（Newsela）选取6篇科学教育相关的文章；使用两种最新的ATS模型和人工改写生成低复杂度文本。
    • 对生成的文本进行主观评分（语法正确性、复杂度）。
    • 使用基于Python的贪心算法，从这些来源生成控制流利度的实验文本。
  • 参与者分组:
    • 招募29名DHH成年个体，将其识字水平分为高（WRAT-H）和低（WRAT-L）两组。
  • 评估方法:
    • 测量阅读速度、理解问题得分、主观指标（如对文本可读性、理解性、语法正确性的评分）等。
    • 分析上述指标的区分能力和潜在的识字偏倚。

研究成果

• 具体成果:

  1. 阅读速度与语法判断的有效性:
     • 阅读速度和主观语法评分能够可靠区分“高”、“中”、“低”三种流利度文本，在两组识字水平的参与者（WRAT-H 和 WRAT-L）中均有效。
  2. 识字偏倚及高识字水平的显著效果:
     • 主观的理解性和可读性评估仅在高识字水平的DHH读者中能够区分文本流利度。
     • 理解问题得分对识字水平敏感（高识字参与者得分显著更高），但未能区分流利度等级。
  3. 不推荐的指标:
     • 理解问题未能有效区分文本流利度，但可用于保持参与者对实验的专注。
  4. 隐性发现:
     • 素材的科学性与复杂性控制可能抑制了部分潜在指标的有效性。

• 与现有解决方案比较的优势:

  • 当前评估方法多集中于文本复杂度或基于专家读者的基准评分，对目标用户群体（如DHH成人）和不同识字水平的影响鲜有研究。
  • 本研究创新性地引入阅读速度和主观语法评分等指标，应对流利度的评估问题，方法更加全面且实用。

• 实验或评估结果:

  • 阅读速度：在两组识字水平中均出色，能有效区分“低”和“高”流利度文本。
  • 主观语法评分：对流利度具有部分区分能力（低 vs 高）。
  • 可读性与理解性：在高识字水平下区分有效，但在低识字水平下无明显作用。
  • 理解问题：未能区分流利度，存在明显的“识字偏倚”。

• 局限性与未来方向:

  • 样本量限制：部分指标可能因统计功效不足未显示显著性。
  • 单一文本领域：研究仅涉及科普文本，未来需验证其在其他类型文本（如故事、技术文档）中的适用性。
  • 指标扩展：未来可尝试其他评估手段，如眼动追踪、Cloze测试等，与多模态方法结合。
  • 研究扩展：引入语义保真性评估，设计支持DHH人群偏好的ATS界面调整研究。