即时目标：一种用于专业人工智能交互的通用方法

文献标题

Just-In-Time Objectives: A General Approach for Specialized AI Interactions

出版信息

• 主题领域: 面向用户特定交互的自适应人工智能系统
• 关键词: 大型语言模型、用户特定目标、自适应界面、生成式人工智能、人机交互、工具生成、专业知识生成、评估、任务特定优化、交互系统

背景与问题

• 问题/挑战: 大型语言模型（LLMs）由于预定义的训练目标，通常生成通用输出，无法在交互时适应特定用户需求。用户在使用时面临提示不明确的问题，难以控制人工智能的行为。
• 重要性: 解决这一限制能够使LLMs生成更专业、有用且与上下文相关的输出，从而提高用户生产力和满意度。
• 动机与相关研究: 之前的研究强调了人类与LLM交互中的认知障碍，例如难以设想目标和引导模型行为。关于自适应界面和动态用户界面生成的研究提供了基础性见解，但缺乏可跨领域推广的用户特定专业化方法。

解决方案

• 提出的方法: 即时目标（Just-in-time objectives，JIT）——一种从观察到的上下文中推断用户目标，并动态引导LLM行为以与这些目标保持一致的方法。
• 创新点:
  1. 提出一种可跨任务领域推广的架构，用于诱导和应用JIT目标。
  2. 将JIT目标集成到LLM系统的生成和评估组件中。
  3. 实现了Poppins系统，该系统根据用户特定目标生成定制工具和专业响应。
• 流程与关键技术:
  • 目标诱导: 从交互轨迹（如截图、文本）中推断用户目标，并将其转换为包含名称、描述和重要性权重的JSON规范。
  • 生成: 应用JIT目标优化LLM输出，如反馈、工具或专业响应。
  • 评估: 使用JIT目标评估和改进生成的输出，实现迭代优化。
  • 系统实现: Poppins系统通过集成JIT目标生成交互工具和针对用户任务的专业反馈。

结果

• 具体发现:
  • JIT目标在准确性（M = 2.04, SD = 0.5；研究1）和实用性（M = 2.18, SD = 0.55；研究1）的7点Likert量表上表现出高分。
  • 基于JIT目标生成的输出在专家、工具和反馈方面的胜率比基线LLM输出高出66–86%。
  • 使用JIT评估器的最佳N采样提高了输出质量，但在超过10个样本后收益递减。
• 相较基线的优势:
  • JIT目标生成的输出更具体、目标对齐且更受用户偏好，相较于通用LLM输出。
  • Poppins专家在整体质量（+0.59）、用户控制（+0.35）、实用性（+0.23）和相关性（+0.11）方面的评分均高于基线系统。
• 实验/评估:
  • 研究1（N = 14）：评估了参与者提交的浏览器轨迹中JIT目标的准确性和实用性。
  • 研究2（N = 205）：在多样化任务和领域中扩展评估，验证了方法的通用性。
  • 实验室会话（N = 17）：探索了用户对Poppins生成工具和写作任务专业响应的定性反馈。
• 局限性与未来工作:
  • 时间成本：诱导和应用JIT目标需要1–3分钟，限制了其在快速任务中的适用性。
  • 上下文可见性：单一快照可能遗漏用户目标的细微或长期变化。
  • 隐私风险：观察用户上下文可能引发数据安全和用户同意问题。
  • 生成的工件：输出可能缺乏适当的归属或可靠性，尤其是涉及真实世界的专家参考时。

总结

本文提出了即时目标（JIT）方法，用于动态推断和应用用户特定目标以引导LLM行为。该方法在Poppins系统中得以实现，通过观察用户上下文生成定制工具和专业响应。评估结果表明，与基线LLM相比，JIT目标提高了输出的准确性、实用性和用户满意度。尽管该方法解决了人机交互中的持续性挑战，未来工作应探索其可扩展性、隐私保护措施以及跨领域的更广泛适用性。