设备端AI在保护工作中的前景与风险

文献标题

The Promise and Peril of On-Device AI for Conservation Work

出版信息

• 主题领域: 在保护领域工作中应用设备端人工智能。
• 关键词: 设备端人工智能，保护技术，大型语言模型（LLMs），EarthRanger，现场数据采集，语音转文本，低资源环境，技术接受度，野生动物监测，可持续性。

背景与问题

• 问题/挑战: 保护领域工作面临诸多挑战，例如在资源有限环境中的数据管理、人力短缺以及对可扩展解决方案的需求。现有的人工智能系统通常假设有强大的基础设施（如互联网、电力），而这些在偏远的保护区域往往无法获得。
• 重要性: 解决这些挑战可以改善生物多样性监测，减少数据录入负担，并提高关键生态系统保护工作的效率。
• 动机与相关研究: 保护技术的进步提升了数据采集能力，但同时也加剧了高成本、对外部技术支持的依赖以及数据隐私问题等问题。人工智能助手在其他领域（如医疗）中表现出潜力，但在保护领域，特别是设备端部署方面，尚未得到充分探索。

解决方案

• 提出的方法: 开发一个与EarthRanger集成的设备端转录-语言模型管道，使现场工作人员可以通过语音记录观察内容，并自动将其格式化为结构化数据。
• 创新点:
  1. 探索设备端人工智能在低资源保护环境中的应用。
  2. 将语音转文本和大型语言模型（LLMs）集成，用于实时离线数据录入。
  3. 分析用户接受度以及保护领域特有的基础设施挑战。
  4. 应用推测性方法展望人工智能部署的未来影响。
• 流程与关键技术:
  • 对保护组织（Panthera和GCF）进行参与式观察、调查和访谈。
  • 开发一个结合Whisper语音转文本和Llama 3.2-1B语言建模的原型系统。
  • 使用从EarthRanger事件表单生成的合成数据集对LLM进行微调。
  • 在多种移动设备上评估系统的准确性、电池消耗和温度表现。

结果

• 具体发现:
  • Whisper的转录准确率因口音不同而异，其单词错误率（WER）分别为：纳米比亚德式英语10.5%、纳米比亚英语24.1%、美式英语19.6%。
  • 微调后的LLM在Panthera表单上的字段完成率达到96.4%，大多数错误是字段缺失而非值错误。
  • 与传统输入方法相比，设备端人工智能增加了电池消耗和设备温度。
• 相较基线的优势:
  • 实现了离线数据录入，解决了偏远地区缺乏互联网的问题。
  • 减少了复杂表单的手动数据录入时间。
  • 通过避免基于云的处理，提升了隐私保护和数据治理合规性。
• 实验/评估:
  • 在三种移动设备（OnePlus 7 Pro、Pixel 8、Blackview BL7000）上测试了原型系统。
  • 与Panthera（美洲狮追踪）和GCF（长颈鹿调查）合作开展实地工作，观察系统的实际使用情况。
  • 对来自多个大洲的七名EarthRanger用户进行了调查，了解他们的数据录入实践和对基于语音系统的态度。
• 局限性与未来工作:
  • 设备端人工智能的高计算需求导致了能源消耗增加和设备过热。
  • 微调LLMs需要大量技术专业知识和GPU资源，这可能超出保护组织的能力范围。
  • 未来工作包括与其他组织合作部署系统，探索基于社区的数据采集，以及改进模型效率。

总结

本文探讨了设备端人工智能在提升保护领域数据采集中的潜力。通过将语音转文本和LLMs集成到EarthRanger平台，作者证明此类系统可以在离线环境下减少数据录入负担，这对于偏远地区尤为重要。然而，高能耗、设备过热以及微调基础设施需求等挑战凸显了设备端人工智能部署的权衡。研究强调了以用户为中心的设计和基础设施支持的重要性，以确保人工智能在保护领域的可持续性和可用性。未来研究将重点扩展部署范围并解决技术限制问题。