《“那很重要,但……”:计算机科学研究人员如何预见其研究创新的意外后果》
AI 伦理、公平与问责科技伦理与批判性HCIAI/ML 研究员与工程师HCI 研究员
文献标题
“That’s important, but… ”: How Computer Science Researchers Anticipate Unintended Consequences of Their Research Innovations
文献信息
- 主题领域: 人机交互、技术伦理、计算机科学研究的社会影响
- 关键词: 非预期后果, 计算机伦理, 社会影响, 技术创新, 学术实践缺陷, 伦理规范, 研究者责任, 学术工具, 多样性, 人机交互
研究背景与问题
-
发现的问题或挑战:
- 计算机科学研究尽管创造了突破性创新,也导致了对社会负面影响的批评,这些负面影响常常出人意料(如隐私监控问题、深度伪造传播虚假信息等)。
- 学术实践往往更加重视快速进展和发表成果,而不是其社会后果。
- 当前计算机科学研究(特别是学术领域)缺乏正式的流程和框架来考虑非预期后果。
-
问题重要性:
- 科技正在以加速的步伐变革社会生活方式,未预见的负面后果会对个人和社会造成深远影响。
- 未能适时意识到可能的社会影响,会降低学术研究对伦理问题的敏感性,影响技术的长远发展和社会信任。
-
研究动机与相关工作:
- 作者希望提升计算机科学研究领域对非预期社会后果的敏感度,倡导在整个研究过程中的伦理反思。
- 借鉴与社会技术关联的已有成果(如价值敏感设计)以及最近诸多呼吁伦理责任的学术规范,进一步探讨学术研究者的实际态度、实践与困难。
解决方案
-
研究方法:
- 通过对 20 名北美计算机科学研究人员进行半结构化访谈,调查他们在研究过程中对“非预期后果”的态度、实践与障碍。
-
关键发现:
-
重要性认同但行动稀少
- 虽然大部分研究者强调考虑非预期后果的重要性,但只有在被动情况下(如撰写资助申请、伦理声明时)才会进行简单反思。
- 研究者普遍倾向于在实验或公众反馈之后而非过程中发现问题。
-
障碍分析
- 正式方法缺失: 缺乏有效的工具、指南或案例借鉴。
- 多样性欠缺: 研究群体中的身份背景多元性不足限制了未来研究应用与更多视角考量。
- 知识和经验缺乏: 特别是年轻研究者,对伦理实践和社会后果的认识薄弱。
- 学术压力: 高度重视快速发表与实验进度,罔顾长远社会影响。
-
内部矛盾
- 不少研究者错误依赖伦理委员会 (IRB) 来充分审查负面影响,实际上,IRB 常期望规避直接社会后果。
- 存在“无我责任感”,仅假定负面影响不会发生在自己研发的原型或技术中。
-
-
提出的解决建议:
- 收集并传播案例: 建立数据库总结过往技术负面效果的研究案例,以资警示。
- 开发支持工具: 针对学术论文和研究者需求,优化现有反思工具(如 Tarot Cards of Tech)。
- 多样性与公众参与:
- 增加团队的多元化背景。
- 提倡公民和研究人一起参与共创过程,增进不同背景的视角融合。
- 前置伦理考量: 鼓励科研提案阶段就全面描述技术伦理影响,培养预测社会后果的态度。
- 激励机制: 将“反思非预期后果”纳入学术考核指标,并设置出版特定研究成果的快速审查通道。
研究成果
-
具体成果:
- 总结计算机科学研究者对非预期后果的基本态度和存在的实践模式缺陷。
- 阐明了目前学术环境中对伦理考量的结构性障碍。
- 提出在未来设计领域工具、激励和协作新方法的具体实践建议。
-
与现有方案的比较和优势:
- 本文一般研究系统性地探讨计算机伦理学与学术差异结合,与注重伦理声明的简单描述学术会议实践相比,分析深入。
- 使用访谈方法提供了高细粒度的质性数据支持。
-
实验或评估结果:
- 研究明确指出研究者目前未能形成考虑伦理后果(尤其负面影响)的正式过程。
- 在重视资助申请或伦理审查时有少量改善,但无法覆盖研究全流程。
-
局限性与未来方向:
- 局限:
- 样本局限在北美 R1 院校,未包括行业研究者或其他国家学术研究者。
- 访谈方法可能存在主观偏差(如受访者可能过分注重伦理)。
- 未来方向:
- 扩大研究范围,涵盖更具跨文化和跨行业的受访者。
- 探讨对技术伦理行之有效的反应机制,以及研究过程中伦理反思的真实组织形式。
- 局限:
以上分析结合文献量化信息和访谈质性内容,指出当前计算机科学研究社区存在的伦理反思陷阱,并从制度与实践两个层次提出了改进提案,可为未来的学术改革和价值敏感的技术研发提供指导。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
help
研究问题
3- 计算机科学研究者如何预测他们创新可能带来的非预期后果?分类: 机器学习公平性与数据开发实践同类问题arrow_forward
- 当前学术实践中存在哪些缺乏非预期后果考虑的结构性障碍?分类: 机器学习公平性与数据开发实践同类问题arrow_forward
- 哪些机制可以帮助研究者更主动地在研究早期反思技术的社会影响?分类: 游戏互动、玩家行为与参与体验同类问题arrow_forward
lightbulb
现实痛点
1- 技术创新可能产生深远的负面社会影响,研究者往往未充分预见。分类: 游戏互动、玩家行为与参与体验同类问题arrow_forward
- 100%
我们为什么要这样做?:道德压力与实践中伦理的情感体验
CHI '25· AI 伦理、公平与问责 +1
- 80%
主动决策与被动决策:NLP 研究中伦理选择是如何做出(以及被遗漏)的
CHI '26· AI 伦理、公平与问责 +2
- 67%
为善资助AI:呼唤有意义的参与
CHI '26· AI 伦理、公平与问责 +2
- 67%
表层偏见:头像外观如何影响AI招聘感知
CHI '26· AI 伦理、公平与问责 +2
- 67%
什么是安全?企业话语、权力与生成式人工智能安全的政治学
CHI '26· 生成式AI(文本、图像、音乐、视频) +2
- 67%
面向跨学科、主动式和公众参与的AI伦理的科幻小说
CHI '26· 设计虚构(Design Fiction) +2
- 67%
超越微软和孟山都:去化计算中的单作隐喻
CHI '26· AI 伦理、公平与问责 +2
- 60%
你会这么做吗?在虚拟现实中实施道德困境以理解伦理决策
CHI '20· 沉浸感与临场感研究 +1
- 60%
走向实践中的公平性:评估公平机器学习工具包的实践者导向标准
CHI '21· AI 伦理、公平与问责 +1
- 60%
陪审团学习:将不同意见整合到机器学习模型中
CHI '22· AI 伦理、公平与问责 +1
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
广告推荐
学习 AI 编程到 CodeNow
open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3544548.3581347
一眼看懂
fact_check论文快照
dataset
来源
CHI
calendar_month
年份
2023
emoji_events
奖项
未标记奖项
group
作者
4 位作者
sell
研究子方向
AI 伦理、公平与问责、科技伦理与批判性HCI
work
职业/产业
AI/ML 研究员与工程师、HCI 研究员
article
内容状态
已索引正文
hub
相关论文
10 篇相关论文