超越准确性：面向运动障碍者的面部手势识别中配置性伤害的审计

文献标题

Beyond Accuracy: Auditing Allocative Harms in Facial-Gesture Recognition for People with Motor Impairments

出版信息

• 主题领域: 面向运动障碍用户的面部手势识别系统中的公平性与包容性。
• 关键词: 面部手势识别, 运动障碍, 分配性伤害, 传感运动对齐, 算法公平性, 感知差距, 运动轨迹, 包容性设计, 辅助技术, 无障碍性。

背景与问题

• 问题/挑战: 当前的面部手势识别模型主要基于健全人数据集进行训练，假设了规范的运动控制和本体感受。这导致了对运动障碍人群（PwM）执行的手势的系统性误分类或排除，从而引发分配性伤害。
• 重要性: 面部手势界面对免手操作至关重要，尤其是对PwM而言。确保这些系统的包容性和鲁棒性对于实现技术的公平访问至关重要。
• 动机与相关工作: 先前的研究集中于面部分析中的人口统计公平性（如种族、性别），但很大程度上忽略了传感运动的多样性。现有模型未能考虑PwM常见的非典型、不对称或低幅度手势，导致在包容性设计和评估方面存在差距。

解决方案

• 提出的方法: FairGesture，一种旨在量化和解释面部手势识别系统中意图与识别不匹配的诊断审计方法。
• 创新点:
  1. 引入感知差距（Perception Gap, PG）指标，用于衡量用户感知成功与模型识别之间的差异。
  2. 运动维度分析，用于识别执行偏差（如幅度、方向、时间、激活区域）。
  3. 融入用户感知视角，以情境化不匹配并为包容性设计提供信息。
  4. 发布可操作的审计资源，包括脚本、可视化工具和解释工具。
• 程序和关键技术:
  • 进行了一项混合方法研究，22名参与者（11名PwM，11名健全人对照组）执行了37种面部手势。
  • 收集了MediaPipe和OpenFace的识别输出、自我评估分数、运动轨迹和定性反馈。
  • 计算PG分数，并在幅度、方向、时间动态和激活区域四个维度上分析运动轨迹。
  • 综合定量和定性数据以识别意图与识别不匹配的模式。

结果

• 具体发现:
  • PwM的识别准确率显著较低（MediaPipe: 56.2% ± 26.8%; OpenFace: 53.94%），相比之下，健全人参与者的准确率更高（MediaPipe: 74.8% ± 16.5%; OpenFace: 77.03%）。
  • 正向感知差距（PG）集中在涉及低幅度、不对称和方向不稳定的手势中，表明存在系统性的意图与识别不匹配。
  • PwM对手势执行的自信度较高（自我评估平均分: 7.12 ± 1.74），尽管频繁出现识别错误。
• 相较基线的优势:
  • 不同模型（MediaPipe和OpenFace）之间的不匹配模式具有一致性，表明问题并非模型特定，而是系统性问题。
  • FairGesture提供了针对分配性伤害的可操作见解，而传统的以准确率为中心的评估无法做到这一点。
• 实验/评估:
  • 22名参与者（11名PwM，11名健全人对照组）的混合方法研究。
  • 指标: 识别准确率、自我评估分数、感知差距、运动轨迹。
  • 统计测试: 双样本t检验、Mann-Whitney U检验和Benjamini-Hochberg FDR校正。
• 局限性与未来工作:
  • 参与者多样性有限（如未包含老年人和认知障碍者）。
  • 仅关注一位手势，未涉及更复杂的手势。
  • 定性注释的中等一致性（Cohen’s κ = 0.69）。
  • 未来工作将扩展FairGesture至视觉-语言模型（VLMs）和其他用户群体。

总结

本文提出了FairGesture，一种用于审计面部手势识别系统中分配性伤害的诊断方法。通过混合方法研究，作者揭示了由传感运动多样性引起的系统性意图与识别不匹配问题，PwM的识别准确率显著较低。感知差距指标、运动维度分析和用户感知视角为包容性模型和界面设计提供了可操作的见解。研究结果强调需要将手势识别重新框定为传感运动对齐问题，倡导设计能够容纳运动多样性的系统，而非将其视为噪声。