AI，帮助我思考——但要我自己做决定：通过提供不同类型的认知支持来协助人们进行复杂决策

研究背景与问题

• 发现的问题与挑战：作者指出传统基于推荐的AI决策支持（RecommendAI）存在以下挑战：
  • 用户可能不适当地依赖AI，导致“过度依赖”。
  • AI的建议往往难以与用户的决策过程整合。
  • 在复杂和“开放式”问题上（如财务投资、医疗诊断等），传统AI建议模型的单一预测结果难以满足任务需求。
  • 用户在复杂问题中需处理主观和非结构化信息，而现有AI一般无法捕捉这些因素。
• 问题的重要性：随着AI在医疗、金融、物流等领域的广泛应用，改进用户与AI之间的交互模式，提升AI与人类决策的互补性变得至关重要。此外，支持用户深度反思和改善决策的AI工具对复杂决策任务的影响尚未得到充分研究。
• 研究动机与相关工作：
  • 传统研究主要集中在增强AI建议的可解释性和可信度，但这些方法未能解决推荐模型本身的固有限制。
  • 近期理论建议AI应通过增强用户推理过程，而非简单地提供建议来支持复杂决策。
  • 大型语言模型（LLMs）的自然语言能力为探索AI如何有效嵌入用户的推理过程提供了新的契机。

解决方案

• 提出的解决方案：
  • 作者设计了两种AI决策支持模式来探索新的交互模型：
    1. RecommendAI：传统的推荐模型，直接向用户建议具体的解决方案/ETF投资组合。
    2. ExtendAI：要求用户先书写自己的决策逻辑，然后AI基于用户的推理给予扩展性反馈（但不提供具体推荐）。
• 创新之处：
  • ExtendAI 模式通过嵌入用户的推理过程和自然语言交互，打破了传统推荐模式的限制。
  • 研究使用财务投资（ETF组合）作为复杂、多因素决策任务的测试用例，模拟真实世界场景。
  • 赋予AI“协作者”角色，而非“权威建议提供者”。
• 实施步骤：
  1. 设计一个模拟交易平台，用于测试两种不同AI的决策支持模式。
  2. 收集31种ETF的相关数据，并生成合成数据以模拟未来几年ETF的价格和市场背景。
  3. 使用大语言模型（GPT-4）实现ExtendAI和RecommendAI，并根据用户填写的投资逻辑提供专属反馈或推荐。
  4. 通过21名有ETF投资经验的参与者进行实验，随机分配使用两种AI模式的顺序并进行比较。

研究成果

• 具体成果：
  1. 两种模式在不同方面都提升了投资者的投资组合质量，尤其在地域和行业多样化方面：
     • ExtendAI 在提升全球组合均衡性方面略有优势。
     • RecommendAI 提供了“新颖灵感”但需要更少的认知努力。
  2. ExtendAI 更好地整合了用户的推理逻辑，促进用户的深度反思，并提升某些情况下的用户满意度和决策质量。
  3. RecommendAI 提高了决策效率，但可能导致较少的用户思考，并在某些情况下产生过度依赖。
• 与现有解决方案的优势：
  • ExtendAI 与用户的推理更紧密结合，使得用户能够“为自己思考”。
  • 研究揭示了推荐型AI可能在复杂任务中导致用户与决策脱节的问题。
  • 两者都超越单一预测，将支持扩展至用户的整体决策过程。
• 实验或评估结果：
  • 在分析用户行为时发现：
    • 使用ExtendAI 的参与者认为该模式减少了对自身决策的“干涉”，但也认为其在操作性上不如RecommendAI直接有效。
    • ExtendAI 用户平均每次决策仅修改23%的初始计划，而RecommendAI 的直接建议被采用率约为45%。
    • 在满意度上，ExtendAI 更高于RecommendAI，但需要的认知努力更大。
• 局限性与未来方向：
  • ExtendAI 的反馈被认为过于“微妙”，导致其贡献容易被用户低估。
  • 决策形式较为开放，未设定明确的“正确决策”标准，限制了评估精确性。
  • 用户需手动书写逻辑，这虽然鼓励了思维，但也带来了额外的认知工作量。
  • 未来可探索可视化工具和更直观的交互方式，简化用户的推理输入过程。
  • 研究可进一步扩展到医疗、社会福利等其他复杂、开放性任务。

以上分析揭示了推动从推荐驱动的AI向增强用户推理为中心的决策支持转变的设计机会，同时也提出了如何更好地平衡认知负担与用户参与度的问题。