SPECTRA：通过交互式机器学习为聋人和听力障碍用户提供个性化声音识别

研究背景与问题

• 作者发现了哪些问题或挑战？
  作者指出，许多聋人和听障(DHH)用户希望拥有更准确且能识别广泛声音类别的声音识别工具，以满足个人安全、社交参与以及日常任务需求。然而，这些声音识别技术缺乏对用户本地声音环境的个性化适配，导致准确性不足。此外，一个主要的挑战是如何支持并引导DHH用户收集有效的音频数据，选择适当的数据集来训练机器学习模型，而这些用户无法完全访问声音内容。

• 为什么这个问题很重要？
  声音在许多现实场景中非常关键，例如识别警报、与社交环境互动以及监控家庭用具。因此，声音识别技术对DHH用户具有改变生活的潜力。然而，由于个性化需求与声音识别复杂性的缺乏结合，目前的解决方案难以满足多样化的DHH用户需求。

• 研究动机与相关工作
  过去的工作已开始探索声音识别的定制化概念，但仍缺乏能够提供完整端到端解决方案的系统，尤其是在涉及非听觉用户时。此外，现有的商用设备提供的声音定制选项有限，无法达到用户需要的透明度和控制感。

解决方案

• 作者提出了哪些方法或解决方案？
  作者提出了一个名为“SPECTRA”的交互机器学习(IML)管道，专门设计用于DHH用户以个性化声音识别模型。SPECTRA通过三阶段流程支持用户：录制数据、编辑训练集并生成模型、实时评估模型性能。此外，SPECTRA设计了几个关键界面功能，包括波形与频谱图的音频可视化反馈、数据集的互动式集群可视化，以及允许用户添加文本注释的功能。

• 该解决方案的创新之处是什么？

  • 提供了首个面向DHH用户的完整端到端声音识别个人化系统，能够覆盖录音、训练和测试所有环节。
  • 引入了互动式数据集群图形化工具，使用户可以探索和优化音频数据集。
  • 增强用户对训练数据集的透明度和理解，允许对数据进行迭代筛选与更新。
  • 提供实时预测和信心分数，使用户能够评估模型性能。

• 实施步骤是什么？使用了哪些关键技术？

  1. 录音与数据集创建： 用户通过波形和频谱图可视化实时监测环境声音并录制音频。每次录制被切片为1秒片段，并自动生成Mel频谱以供后续模型使用。
  2. 数据过滤与模型训练： 用户通过互动式集群图和波形选择优质的音频片段进行训练，同时排除噪音及错误样本。
  3. 实时测试与评估： 用户在真实环境中测试模型并观察实时输出，同时可查看预测的信心分数和模型对过去识别的回忆轨迹。 使用的关键技术包括TensorFlow.js中的预训练Speech Commands API、UMAP用于数据集降维，以及多维图表的可视化工具（如ScatterGL）。

研究成果

• 取得了哪些具体成果？

  • 通过评估，在实验中，所有参与者成功训练了个性化的声音识别模型并对其进行了测试。用户表现出对集群可视化工具的强烈支持，认为它显著提高了对模型数据的理解和控制。
  • 数据注释功能帮助参与者捕捉和区分声音的复杂变化，并提高了数据质量。
  • 参与者对个性化声音识别技术表现出积极态度，并提出了具体的未来应用场景。

• 与现有解决方案相比，它有哪些优势？

  • SPECTRA系统结合了非听觉用户的需求，通过视觉化工具打破了传统声音识别工具的局限性，使用户能够主动参与数据收集与模型优化。
  • 提供完整的交互式训练流程，比现有商用解决方案（如Android和iOS平台）更具灵活性和适用性。

• 实验或评估结果是什么？

  • 十二名参与者中大多反馈SPECTRA能很好地指导他们通过训练和模拟声音识别的流程，包括使用波形图和集群工具。
  • 参与者成功创建了用于识别家庭环境中多达六种的声音类别模型，并提供了详细的定量和定性数据支持。

• 局限性与未来方向

  • 局限性包括用户无法在一个固定时间内实施复杂的多次模型重训，同时结果并未在真实环境中经过长期测试。
  • SPECTRA依赖较小的Mel频谱输入和有限的数据处理能力，未来可以将其与更强大的预训练框架（如ProtoSound）结合优化执行效率。
  • 系统仍需探索如何在复杂的声学环境中提升性能，且应改进轻量化移动端适配以便日常使用。

通过该研究，作者成功验证了交互式机器学习在非听觉用户个性化声音识别系统中的重要性，为后续优化和扩展这一领域提供了有力基础。