人们在认知上参与AI交互吗？AI辅助对附带学习的影响

文献标题

Do People Engage Cognitively with AI? Impact of AI Assistance on Incidental Learning

文献信息

• 作者: Krzysztof Z. Gajos 和 Lena Mamykina
• 发表时间与地点: 2022年, 第27届国际智能用户界面会议 (IUI '22)
• 主题领域: 人工智能与用户交互、认知心理学、教育学习
• 关键词: 决策支持系统, 偶然学习, 认知参与, 可解释人工智能, 以人为中心的人工智能

研究背景与问题

• 发现的问题或挑战:

  • 现代AI为人类提供决策建议，但存在用户受到AI信息影响后仅表面处理信息的问题。
  • 人类与AI协作时人们倾向于盲目依赖AI，减少了对建议的深度认知处理。
  • 目前不清楚AI产生的建议和解释如何影响用户的深度参与，以及是否能够促进知识学习。

• 研究的重要性:

  • 对于健康或医疗等高风险领域，用户对AI建议进行深度评估和整合至关重要。
  • 通过更有效的交互方式，优化AI辅助决策系统以提高用户的认知参与和学习效果。

• 研究动机与相关工作:

  • 既往研究表明，单纯提供AI推荐和解释可能不足以促进用户深层次的思考。
  • "偶然学习"（学习作为其他活动的副产品）在专业设置中很常见，但其在AI辅助决策中的效果需进一步探讨。

解决方案

• 研究目标:

  • 探讨不同形式的人类与AI交互对用户偶然学习的影响。
  • 设计和测试三种交互形式：
    1. AI推荐及解释
    2. 用户先作自身决策再获得AI推荐/解释（“更新设计”）
    3. 仅提供AI解释（不提供具体推荐）

• 创新之处:

  • 系统性对比不同交互形式的即时效益（决策质量提升）和学习效益（知识习得）。
  • 强调用户在AI交互中发挥主观能动性以促进更深层次学习。

• 实施步骤和技术方法:

  • 实验设置:
    • 设计营养学相关的决策任务（如从两份餐品中选择哪一个含特定营养素更多）。
    • 测试参与者的背景知识（预测试）、交互即时效益（干预阶段）、以及是否真正学习（后测试）。
  • 实验条件:
    • 三种交互设计与两个基准条件（仅提供反馈与反馈加解释）进行比较。
    • 测量即时效益和学习效果的归一化变化。
  • 数据获取与分析:
    • 通过 LabintheWild 和 Amazon MTurk 平台收集实验数据。
    • 使用非参数统计（如Wilcoxon符号秩检验）分析实验数据。
    • 对结果进行可重复性验证。

研究成果

• 具体结果:

  • 即时效益:
    • 提供AI推荐和解释显著改善参与者任务表现，但未能显著促进学习。
    • "仅提供AI解释"的设计在支持即时决策的同时显著提升了学习效果。
  • 学习效益:
    • 人们通过“仅提供解释”的设计学会了新知识，而其他条件（如更新设计）在促进学习上无显著差异。
  • 结果表明，主动要求用户从AI解释中得出决策对促进更深层次的认知加工非常重要。

• 与现有方案的对比优势:

  • 提供了解释信息但避免显式推荐的交互形式能够激发用户更深入的思考和批判性评价。
  • 与单纯的推荐加解释相比，这种方法更有效地促成偶然学习。

• 实验评估与可靠性:

  • 重复实验验证了初步结论，即通过AI解释引导用户自主决策设计的普适性。
  • 对应技能（如“认知需求”倾向较高的用户群体）的效应进行了细分审视。

• 局限性与未来方向:

  • 限制条件：
    • 所用AI推荐始终正确，尚未评估解释引导决策对错误AI信息的敏感性。
    • 实验任务风险较低，结果未必可直接推广至高风险专业领域。
  • 未来方向：
    • 探讨AI解释在非对比式情境下（如多选项决策）的潜力。
    • 研究视觉设计等因素对用户处理AI生成信息深度的影响。
    • 在多样化人群中进一步探索如何减少AI干预产生的不平等影响。

本研究指出了当前AI决策支持设计的潜在优化方向，即通过改进用户与AI的交互模式，促进更深层次的认知参与和学习。