美国手语到英语词典的混合搜索设计与评估：充分利用不完美的手语识别

文献标题

Design and Evaluation of Hybrid Search for American Sign Language to English Dictionaries: Making the Most of Imperfect Sign Recognition

文献信息

• 主题领域: 美国手语（ASL）学习与翻译技术，混合搜索接口设计及用户体验研究
• 关键词: 手语, 美国手语 (ASL), 字典, 搜索界面, 视频搜索, 用户满意度, 信息检索有效性, 搜索评估, 搜索系统设计

研究背景与问题

• 问题或挑战:

  • 学习者在使用手语与英语字典查找陌生手语词汇时存在困难，例如无法通过定义输入查询。
  • 当前的视频识别技术无法完全精准识别复杂的3D手势，导致结果列表冗长，用户需要耗费大量精力寻找正确词汇。
  • 传统基于特征的搜索字典对手语学习者要求较高，尤其是初学者往往难以回忆精确的语言特征。

• 重要性:

  • 随着美国手语学习人数不断增长（约20万人），设计更高效的手语翻译工具对于促进聋哑人和听力正常人士之间的交流与社会包容至关重要。

• 研究动机与相关工作:

  • 以视频查询为基础的搜索系统的兴起为手语字典提供了新的可能，但仍需解决识别结果不准确的挑战。
  • 没有针对手语字典的“混合搜索”方法设计的研究，而该方法结合视频查询和特征过滤可能解决上述问题。

解决方案

• 提出的方法:

  • 混合搜索系统：结合视频查询与基于语言特征的过滤功能。
  • 用户首先提交视频以生成潜在匹配结果列表，然后通过过滤接口根据语义特征（如手型、位置）缩小结果范围。

• 创新之处:

  • 引入后查询结果过滤功能，改善用户在处理长结果列表时的体验，并减少用户对精确搜索的需求。
  • 改善现有视频搜索的使用体验而非改善其人工智能识别性能。

• 实施步骤和关键技术:

  • 调查初学者对过滤界面、结果页面内容和呈现的需求。
  • 基于研究设计Wizard-of-Oz原型，评估其性能。
  • 学习用户偏好，优化过滤功能及文本或图像标签的设计。

研究成果

• 具体成果:

  • 提供针对混合搜索界面和结果页面设计的用户偏好数据，例如自动循环播放视频、多种语言学特征过滤功能。
  • 用户对含过滤功能的混合搜索系统的满意度显著高于无过滤的视频搜索系统。
  • 混合搜索用户感觉对搜索过程具有更多的控制权，任务成功率略有提升。

• 优势性对比:

  • 混合搜索比传统的视频搜索更易浏览与定位目标词汇，尤其是在结果列表冗长的情况下。
  • 显著提高用户满意度、减少用户搜索放弃率，同时无需提高视频识别技术精度。

• 实验或评估结果:

  • 混合搜索用户的满意度平均值高于视频搜索用户。
  • 用户使用混合搜索找到正确词汇的比例为84%，而视频搜索组比例为79%。
  • 混合搜索在结果靠前时表现出更快的搜索速度，但整体搜索耗时略长。

• 局限性与未来方向:

  • 局限性：
    • 本研究仅在桌面浏览器上的原型系统上测试，未覆盖手机或其他设备的使用场景。
    • 实验任务仅涉及单个手语词汇的搜索，未包括长语料、历史记忆及语言学习等使用情境。
  • 未来方向：
    • 探索更广泛的用户群体，例如未参加正式手语课程的年轻学习者及聋哑用户。
    • 研究过滤界面的布局优化以及对用户选择行为影响。
    • 长期纵向研究评估混合搜索的教育效益。

总结

本文通过设计与实验验证了视频与特征结合的混合搜索方法在手语字典中的适用性，提出了一系列设计优化建议，并拓展了相关搜索技术在语言学习与身体动作识别中的应用前景。这项研究不仅为手语学习工具的未来设计提供了重要参考，还激发了对其他语言或视频搜索系统的混合方法研究与应用的兴趣。