看！它是计算机程序！它是算法！它是人工智能！：术语是否影响人类对算法决策系统的感知和评估

文献标题

“Look! It’s a Computer Program! It’s an Algorithm! It’s AI!”: Does Terminology Affect Human Perceptions and Evaluations of Algorithmic Decision-Making Systems?

文献信息

• 主题领域: 人机交互（HCI）、算法决策系统（ADM系统）与术语影响
• 关键词: ADM系统、人工智能、人机交互、术语使用、研究方法、信任、公正、复杂性
• 发表会议: CHI Conference on Human Factors in Computing Systems (CHI ’22)
• 出版时间: 2022年
• 作者: Markus Langer, Tim Hunsicker, Tina Feldkamp, Cornelius J. König, Nina Grgić-Hlača

研究背景与问题

• 问题与挑战:
  • 媒体、政策制定和学术研究中对算法决策系统（ADM系统）的表达存在术语多样性，如算法、人工智能（AI）、计算机程序等，这可能影响到公众对ADM系统的认知及评估。
  • 术语的不一致可能导致研究结论的可重复性下降，并影响ADM系统在不同情境下的公众信任和接受度。
• 重要性:
  • 随着ADM系统广泛应用于医疗、招聘、法院决策等领域，术语选择可能引发不同的公众反应，影响政策制定及研究成果。
• 研究动机与相关工作:
  • 现有文献表明，术语选择可能会影响人们对系统属性的感知，如复杂性、信任度等。这种效应在许多领域，包括技术信任、人工智能交互等方面有明显体现。
  • 作者旨在探索术语差异对人们认知和评估ADM系统的具体影响，并在研究方法中强调术语使用的重要性。

解决方案

• 研究方法:
  • 作者通过两项实验性研究设计对术语使用效应进行系统性检验。
    • 研究1: 探讨术语差异如何影响人们对ADM系统属性（例如复杂性、熟悉度）及其执行多种任务能力的认知。
    • 研究2: 十分具体地分析术语如何影响ADM系统在工作评估与任务分配情境中的公平性、信任度及程序公正性评价。
• 关键技术与实施步骤:
  • 实验设计与术语选择:
    • 通过谷歌Universal Sentence Encoder分析术语的语义相似性，将术语分为几大类别（如“AI”、“统计模型”等），选取代表术语用于实验。
  • 研究变量:
    • 人工智能（AI）作为参考组，测试其他术语（如“机器人”、“计算机程序”等）的影响。
  • 使用多项线性回归和线性混合模型，分析术语对不同属性和任务评价的影响。

研究成果

• 成果概述:
  • 术语差异显著影响参与者对ADM系统属性的感知，如：
    • 复杂性: “人工智能”被认为比“自动化系统”更复杂。
    • 熟悉度: “计算机”比“人工智能”更熟悉。
    • 信任与公平: 在工作评估情境中，“统计模型”比“人工智能”更被信赖。
  • 对具体任务的评价中，术语差异对人们认为ADM系统优于人类的认知并无显著影响。
• 优势:
  • 研究揭示了术语选择对人际对ADM系统的认知、信任、公正性评估的显著影响，对设计实验、制定政策及传递信息具有指导意义。
• 局限性与未来方向:
  • 局限性:
    • 数据收集基于自我报告，未直接测量术语对实际行为影响。
    • 样本来自线上平台（Prolific），代表性有限。
    • 语言限制，仅在英语背景下进行研究，术语效应可能因语言差异而变化。
  • 未来研究方向:
    • 测试术语差异对行为的直接影响，例如在实际ADM系统交互中的决策行为。
    • 扩展研究至不同语言和文化背景，探索术语效应的普适性与局限性。
    • 为术语选择建立统一指南，减少研究间的术语差异对结果的潜在影响。

通过本研究，作者强调术语选择的重要性及其潜在的战略意义（如影响公众态度、提升关注度等），为未来在政策制定、技术推广和研究设计中有效利用术语提供了参考框架。