主动决策与被动决策：NLP 研究中伦理选择是如何做出（以及被遗漏）的

文献标题

Active and Passive Decisions: How Ethical Choices Are Made (and Missed) in NLP Research

出版信息

• 主题领域: 学术自然语言处理（NLP）研究中的伦理决策
• 关键词: 人工智能伦理、决策制定、NLP研究、隐性伦理、研究实践、学术基础设施、决策识别、人类-基础设施过程、伦理思考、社会技术系统

背景与问题

• 问题 / 挑战: NLP研究中许多具有重要影响的选择由于默认设置、规范和机构结构而未被识别为决策。现有伦理框架假设研究人员能够识别决策点，但实际上往往并非如此。
• 重要性: 未被识别的决策可能将伦理和方法论问题嵌入研究成果中，从而影响公平性、问责制以及更广泛的人工智能实践。
• 动机与相关工作: 之前的人工智能伦理研究主要关注决策结果和框架，但很少探讨决策如何被识别。本研究通过分析学术NLP研究中替代方案浮现的条件来填补这一空白。

解决方案

• 提出的方法: 提出一个概念框架，将决策分为“主动”和“被动”，基于替代方案是否可见、可行和被表达（VVV）。
• 创新点:
  1. 引入“决策时刻”的概念以及VVV框架，用于分析决策识别。
  2. 实证研究四个NLP研究项目中的决策动态。
  3. 提议从基于合规的伦理转向基于识别的伦理研究实践。
• 程序与关键技术:
  • 对四个NLP项目的八位研究人员进行了决策追踪访谈。
  • 开发了一个光谱，用于根据VVV标准将决策分类为主动或被动。
  • 分析了机构结构、时间压力、资源限制以及分布式专业知识如何影响决策识别。

结果

• 具体发现:
  • NLP研究中的许多决策是被动的，由默认设置、规范和限制塑造，而非明确的思考。
  • 替代方案的识别取决于是否跨越了可见、可行和被表达的阈值。
  • 时间压力、机构结构、资源限制以及分布式专业知识是影响决策识别的关键因素。
• 相较基线的优势: 与之前专注于决策结果的研究不同，本研究强调了决策变得可识别的条件，为研究中的伦理分析提供了新的视角。
• 实验 / 评估:
  • 四个案例研究：隐私检测、Cobweb模型复兴、写作辅助工具评估以及地理位置隐私风险。
  • 方法包括半结构化访谈和决策时刻的回顾性分析。
  • 使用VVV框架将发现分类为被动-主动光谱。
• 局限性与未来工作:
  • 仅限于单一机构的四个项目，发现可能无法推广到所有NLP或AI研究环境。
  • 回顾性访谈可能遗漏未被识别的决策时刻。
  • 未来工作可以探索纵向研究、工业中的决策动态以及增强决策识别的干预措施。

总结

本研究探讨了学术NLP研究团队如何识别（或未能识别）决策时刻，提出了一个框架，根据替代方案的可见性、可行性和表达性将决策分类为主动或被动。四个案例研究的发现表明，许多决策受到机构结构、时间压力和资源限制的影响，导致替代方案不可见或不可行。研究倡导从基于合规的伦理转向基于识别的伦理，强调需要创造条件以显现隐藏的替代方案。本研究为通过解决决策前的人类-基础设施过程来改善研究中的伦理思考奠定了基础。