你使我完整:人类-人工智能团队与互补专长

大语言模型(LLM)的人机协作AI 辅助决策与自动化系统AI/ML 研究员与工程师HCI 研究员认知科学家

文献标题

You Complete Me: Human-AI Teams and Complementary Expertise

文献信息

  • 主题领域: 人机协作中的信任和依赖行为,以及人工智能系统解释性语言的影响
  • 关键词: 人机团队, 可解释人工智能, 信任, 互补性专业知识, 人工智能行为评估

研究背景与问题

  • 作者发现了哪些问题或挑战?

    1. 人们在多种领域与人工智能协作时如何信任和依赖人工智能系统是一项重要问题,例如医学诊断和自动驾驶。
    2. 人类如何理解并适应人工智能系统的部分专业知识(即高/低准确性任务)的复杂性尚未被系统研究。
    3. 如何通过人工智能的解释文本语言有效地沟通其信心和能力,以更好地建立信任?
  • 为什么这个问题很重要?
    随着人工智能越来越多地被应用于生活和工作领域,与人工智能协作的性能优化和信任的建立变得至关重要。这涉及到人类高效利用人工智能的能力,避免偏误或错误使用其推荐的结果。

  • 研究动机与相关工作
    研究动机包括识别人工智能如何通过解释性语言机制影响团队内部信任行为以及描述其专业知识的方式。与已有研究相比,本文不仅考察了人类的信任/依赖,还系统地研究了解释性语言(如心理距离、语言信号)对协作决策行为的影响。

解决方案

  • 作者提出了哪些方法或解决方案?

    1. 实验设计: 作者设计并实施了两项在线实验,通过控制人工智能助手和参与者专业知识水平的互补程度,以及使用不同语言风格的解释文本(第一人称与第三人称、"抱拥"与"疏离"语言标记),研究人机团队的信任和依赖行为。
    2. 对比研究: 比较完全互补和部分互补、以及无解释文本的条件下,研究各变量在最终任务表现、依赖行为及主观信任上的影响。
  • 该解决方案的创新之处是什么?

    1. 提出了"互补性专业知识"的概念:即人工智能的错误边界与人类的错误率具有较低相关性。
    2. 系统考察了语言特征(心理距离和信念标记)如何影响人类对人工智能的依赖行为,这是解释性人工智能领域中较少研究的方向。
    3. 探索了信任校准问题,强调人工智能应动态地适配人类的领域知识。
  • 实施步骤是什么?使用了哪些关键技术?

    1. 实验1: 人类与人工智能助手合作完成形状分类任务,通过分布设计确定不同的专业知识互补程度。
    2. 实验2: 通过任务界面添加自然语言解释模块(拥抱型 vs 疏离型语言),同时对比人工智能助手对正确或错误任务推荐的效应。
    3. 数据分析: 使用混合线性模型(SPSS)分析实验数据,监测依赖行为、任务表现和主观信任评分等指标。

研究成果

  • 取得了哪些具体成果?

    1. 依赖行为: 参与者能够动态适应人工智能的推荐,信任和依赖行为随人工智能专业知识的互补程度显著提升。
    2. 语言效应: 拥抱型语言(如使用“我知道”)显著增强了参与者对人工智能推荐的依赖,相较于疏离型语言(如“我认为”)。
    3. 任务表现: 当人工智能具有明显互补的专业知识时,团队决策表现显著提高。解释文本包括相关特征时,有助于参与者学习未知形状空间。
  • 与现有解决方案相比,它有哪些优势?
    本研究提供了对语言学信号和互补性专业知识如何影响人机协作的细粒度探索,比单纯使用数值化置信信息的方法更具行为解释性和普适性。

  • 实验或评估结果是什么?

    1. 在具有完全互补专业知识时,人机团队决策正确率最高。
    2. 使用第一人称和拥抱型标记的解释,与更高的团队依赖和任务表现相关。
    3. 疏离型语言标记可以帮助减少对低信度人工智能推荐的自动化偏差。
  • 局限性与未来方向

    1. 局限性: 实验任务环境较为理想化,未来需要在实际应用场景中研究专业知识互补效应。
    2. 未来方向: 探索非语言信息(如人工智能的视觉呈现或动态交互)对信任和依赖的影响;进一步研究如何将信任校准动态嵌入人机协同系统中。

总结

本文通过两项系统实验探索了人机团队中人工智能专业知识的互补性,以及解释性语言风格对团队信任和依赖行为的影响。研究揭示了适当使用拥抱或疏离语言能够帮助有效沟通人工智能的信心水平。同时强调了信任校准和人工智能动态适配人类领域知识的重要性,为解释性人工智能系统带来新的理解和设计实践方向。

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/papers/chi/72053/2022

广告推荐

学习 AI 编程到 CodeNow

open_in_new打开DOI链接
DOI: https://dl.acm.org/doi/abs/10.1145/3491102.3517791
一眼看懂

论文快照

fact_check
dataset
来源
CHI
calendar_month
年份
2022
emoji_events
奖项
未标记奖项
group
作者
3 位作者
sell
研究子方向
大语言模型(LLM)的人机协作、AI 辅助决策与自动化系统
work
职业/产业
AI/ML 研究员与工程师、HCI 研究员、认知科学家
article
内容状态
已索引正文
hub
相关论文
10 篇相关论文