用户通常不知道系统实际记住了什么,需要可查看的上下文视图
别名: 上下文可视 · 记忆黑盒 · what does it remember
概念解释
屏幕上能往回滚的聊天记录,不等于系统实际拿去条件生成的那份上下文。摘要、检索到的旧记忆、被静默丢弃的附件、系统提示里的人设,用户都看不见。人只能猜「它还记得我是新手吗」「那份表还在不在」。可查看的上下文视图(inspectable context view)要回答的是「此刻模型面前放着什么」,不是再提供一遍聊天气泡。
看不见的记忆无法被核对,也无法被有针对地改。用户会用整段重说或新开对话来碰运气,两种都贵。
机制
产品把「对话 UI」和「模型输入」做成两个世界。UI 为了可读会折叠、省略、美化;模型输入为了长度会摘要、截断、夹带检索片段。两个世界的差对用户不可见,心智模型就停在「它看见我看见的东西」。这个默认在短聊里碰巧成立,一旦启用记忆、工具、系统提示,就系统性地不成立。
猜测会走两条错路。一条是假定太多:以为上传过的文件仍在,基于幽灵附件提要求。一条是假定太少:把已经记住的偏好再讲一遍,浪费额度,还可能讲成互相矛盾的两个版本。
怎么研究
在真实请求发出前,让用户画出或列出「你认为系统此刻知道什么」,与实际送入模型的内容对照。因变量:遗漏项(实际有、人以为没有)、虚构项(人以为有、实际没有)、二者对后续请求失败的贡献。自变量:是否展示上下文视图、视图粒度(摘要 / 原文 / 分类:人设、记忆、附件、本轮对话)。
不要用「你觉得透明吗」当终点。透明感受可以很高,清单仍然对不上。主终点是清单对齐,以及对齐之后错误请求是否下降。
边界
无状态、单轮、不夹带系统提示以外任何隐藏材料的调用,聊天记录就是上下文,专属视图是多余的。展示完整系统提示可能泄露安全策略或他人数据,视图需要分级:用户有权看关于自己的记忆和本会话材料,不一定有权看全部系统指令。极长上下文的原文视图本身不可读,分类加「为何在此」比把十万 token 贴出来有用。
怎么落地
- 提供一扇「此刻它看见什么」的面板,按来源分列:本会话、跨会话记忆、附件、系统对人的设定。每一项可展开到足以判断对错的原文或摘要。
- 人以为在、实际不在的对象(已过期附件、被摘要掉的细节)要标成不在,而不是省略。省略会被读成仍在。
- 视图必须从当前会话能打开,不能只藏在账号设置里的「记忆管理」。决策发生在对话中途。
- 验证:让人在不打开面板时列出系统知道的三件事,再打开面板核对。虚构项和遗漏项都应下降。再发一条依赖「以为还在」的附件的请求——面板若标明附件不在,这类请求应在发出前被用户自己撤掉。