无家可归研究中以人类为中心的算法回顾
AI 伦理、公平与问责算法公平与偏见无家可归者服务机构政府官员与公务员
文献标题
A Human-Centered Review of Algorithms in Homelessness Research
文献信息
- 主题领域: 人道主义危机、无家可归问题与算法应用
- 关键词: 算法决策、公平性、资源分配、无家可归风险评估、算法设计、人本主义计算、社会影响
研究背景与问题
- 作者发现的主要问题或挑战: 无家可归问题影响全球约16亿人,并随着城市人口增长和社会服务压力持续加剧。政府机构开始采用数据驱动模型来预测个人面临无家可归的风险并分配有限资源。然而,许多决策性算法设计缺乏公正性,易对无家可归者产生偏见,且忽视了现实环境中复杂的生态因素。
- 研究重要性: 无家可归问题深刻影响了贫困人口的生活质量,并与健康、子女福利、刑事司法等领域相互交织。决策性算法如果得当,可以更高效地分配资源并改善服务质量,但也可能因偏见或设计问题导致不公平的结果。
- 研究动机与相关工作:
- HCI研究者已对高风险环境中的算法决策进行了深入探讨,如教育、儿童福利和在线行为治理。
- 既有算法研究中,许多模型难以反映行为互动和个案详细情况,导致资源分配的不公平与归纳性数据偏差。
- 本研究采用“以人为中心的设计”框架,批判性地审视既有算法的设计结构与社会影响。
解决方案
- 提出的方法或解决方案:
- 系统性文献回顾:作者审查了1998年至2023年间的57篇论文,分析无家可归领域的决策性算法。
- 使用以人为中心的算法设计框架(HCAD)评估算法所采用的计算方法、预测变量与目标结果,并分析它们的现实生态有效性。
- 创新之处:
- 以人为中心的评价视角强调了算法设计不仅关乎技术性能,还涉及社会公平、司法意义和人类本身的影响。
- 独特地揭示了算法在公平性与可解释性之间的张力,同时指出资源分配模型通常基于模拟数据,这些数据无法在实际条件下有效应用。
- 实施步骤与关键技术:
- 分类分析计算技术,包括广义线性模型(GLM)、机器学习(ML)、深度学习(DL)和优化技术。
- 使用编码方法对预测变量进行结构化分析(如人口统计数据、服务需求、健康风险等)。
- 跨分析目标变量与计算方法之间的关系,揭示模型的设计偏向及局限性。
研究成果
- 具体成果:
- 找到大部分算法只关注无家可归者“是谁”(例如个人人口统计数据和健康状况),而忽视“需要什么服务”和“服务是否可用”的系统性问题。
- 确定了无家可归算法在设计中存在模拟数据不够现实、忽略社会结构性因素和采用简单化强度指标的问题。
- 仅有少量研究考量了公平性和偏差问题(9篇,占整体15.7%)。
- 优势:
- 提供了更为体系化的算法设计洞察,促进了算法公平性与现实环境适配性的研究。
- 提出以人为中心的深度反思框架,帮助学界关注社会低收入群体的需求。
- 实验或评估结果:
- 预测模型普遍集中于风险评估(53.4%),其结果解释力强但生态有效性低。
- 资源分配模型(25.9%)采用复杂的优化技术,但面临实际部署缺乏可靠性的挑战。
- 局限性与未来方向:
- 局限性包括:研究集中于北美地区,未涉及全球不同的无家可归政策与环境;数据多来源于行政记录而非基层案例。
- 建议未来研究:
- 鼓励跨领域合作与以人为中心的设计实践。
- 使用真实世界数据而非模拟数据进行资源分配算法开发。
- 制定预测变量选择指南,确保算法更加公平并以客户需求为导向。
附加点
- 总结性设计指南:
- 强调受影响者的参与以界定算法可行性。
- 从理论视角评估数据来源与预测准则。
- 采用以人为本的叙述策略重新定义资源分配系统,并促进跨学科对话与协同设计。
- 推动转向关注数据本身质量的AI设计范式。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
help
研究问题
3- 现有的关于无家可归问题的决策算法存在哪些设计偏差和局限性?分类: 算法决策问责、可争议性与用户审计同类问题arrow_forward
- 基于以人为本的设计框架,如何评估无家可归领域的算法的生态有效性(是否适用于真实环境)?分类: 算法决策问责、可争议性与用户审计同类问题arrow_forward
- 决策算法如何平衡公平性与可解释性之间的张力?分类: 算法决策问责、可争议性与用户审计同类问题arrow_forward
lightbulb
现实痛点
1- 政府使用的预测无家可归风险算法常偏向不公平,难适应现实需求。分类: 算法决策问责、可争议性与用户审计同类问题arrow_forward
- 60%
《谁是合适的无家可归者?》:算法化无家可归者服务提供和机器学习研究中的价值观
CHI '23· AI 伦理、公平与问责 +2
- 60%
理解前线工作人员和无家可归者对在无家可归服务中使用AI的看法
CHI '23· AI 伦理、公平与问责 +1
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
广告推荐
学习 AI 编程到 CodeNow
open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3613904.3642392
一眼看懂
fact_check论文快照
dataset
来源
CHI
calendar_month
年份
2024
emoji_events
奖项
未标记奖项
group
作者
2 位作者
sell
研究子方向
AI 伦理、公平与问责、算法公平与偏见
work
职业/产业
无家可归者服务机构、政府官员与公务员
article
内容状态
已索引正文
hub
相关论文
2 篇相关论文