
> 本文来自社区投稿
AI Agent 的瓶颈不是能力,是认知——它不知道你会怎么决策
今天的 AI Agent 已经能自主执行越来越长的任务链——读代码、定位 bug、生成修复、跑测试、提交 PR,一口气串起十几个步骤。但在长链路执行中,关键决策点仍然需要人来拍板:该不该扩大重构范围?要不要先写测试再动手?这个报错是跳过还是深查?
每一次中断都是注意力开销。 你不是在做决策——你是在做 AI 不会替你做的那部分决策。你提醒它不要乱改无关文件,下一次它又顺手重构一大片;你要求先读代码再下判断,换个会话它又凭直觉给方案。问题不在于没有 memory。问题在于,你纠正 AI 的那些话里藏的不是偏好,而是你的认知模型。 "不要动这个文件"的背后是"局部问题优先局部修复";"先确认风险再给方案"的背后是"决策透明比快速执行更重要"——这些是思维模式和决策逻辑,不是标签。
记住偏好不难,难的是记住一次纠正背后的认知方式。我们想解决的就是这个问题:能不能从真实对话中蒸馏出你的认知模型,构建一个在 Agent Loop 中按你的方式思考的数字分身? 为此,QuantaAlpha 团队提出了 Distill-Yourself——一套从原始对话日志中自动蒸馏用户认知模型的完整框架。

开源仓库:https://github.com/QuantaAlpha/Distill-Yourself
研究背景:Agent 越自主,"认知缺失"的代价越大
这个问题在短对话时代并不突出——你一句一句地指导 AI,每步都能纠偏。但当 Agent 开始自主执行十几步甚至更长的任务链时,缺乏认知模型的代价急剧放大:一个错误的取舍在第 5 步发生,到第 15 步才暴露后果,回溯成本远高于即时纠正。
现有的 memory 系统面临两个根本障碍:
单会话提取偏差大。 现有方案(如auto memory)从单次会话中提取 memory,容易把一次性调试策略当通用偏好、把项目特有约定当个人风格。样本量太小、场景太窄,噪声高、置信度低。Distill-Yourself 的做法是跨会话、跨项目扫描全量交互轨迹,用统计频次和多场景交叉验证过滤偶发信号——从"一次对话猜一个偏好"变成"几百次对话收敛一个判断"。
交互轨迹跨工具割裂。 高频使用 Claude Code、Codex 后,本地累积成千上万段对话,以 JSONL 散落在 ~/.claude/projects/ 和 ~/.codex/sessions/ 等不同目录下。这些日志是开发者与 AI 最真实的协作记录,却因为缺乏统一索引,变成了沉没的冷数据。Distill-Yourself 将多源会话统一索引、全文检索、聚合分析,把散落在不同工具里的日志变成一份可治理的完整数据资产。
这两个障碍共同指向一个核心挑战:从噪声极高的原始对话日志中,提炼出可信赖的、可执行的认知模型,让 Agent 在长链路中自主决策时更像你。 我们把这个挑战定义为 Situated Judgment Learning(情境化判断学习)——不是记住用户说了什么,而是学会用户怎么想。
核心洞察:纠正事件是认知模型密度最高的信号源
从对话里到底该提取什么来构建认知模型?我们的答案是纠正事件——用户纠正 AI 的瞬间。
"不要为了修一个按钮去改整个布局""这个 PR 只做 bug fix,不要顺手重构"——这类时刻包含最高密度的判断信号。往下多想一层:纠正事件天然包含一个对比对——AI 的错误行为(负样本)和用户期望的正确行为(正样本)。 这个信号结构与 RLHF 的偏好对齐有值得注意的类比:训练阶段用偏好对改梯度,推理阶段用纠正事件改上下文——一个作用在模型权重上,一个作用在运行时上下文里,但信号结构一致:都是从"人类纠正 AI"这个动作里提取方向性信息。
这个类比为系统设计提供了清晰锚点:你不需要从对话中"猜"用户想要什么,你只需要找到那些天然携带正负对比信号的时刻。
方法一:Opportunistic Correction Mining——从自然工作流中挖掘纠正信号
检测纠正事件并不简单。用户说"不对"可能在纠正 AI,也可能在讨论业务逻辑。我们的做法是 Opportunistic Correction Mining(机会性纠正挖掘)——不要求用户主动标注,而是从自然工作流中"捡"那些天然携带判断信号的时刻。
以一个真实用户为例,系统从其累积的数万条助手响应中扫描触发模式,按置信度分为三类:
显式否定("不要这样做""你理解错了"):直接的语言拒绝,置信度最高。验证方式:检查否定对象是否指向 AI 的前一个动作,排除讨论业务逻辑的情况。
隐式不满("我的意思是……"后接不同方案,或重复请求但措辞更具体):用户没说"错了",但通过提供替代方案暗示了不满。验证方式:检测用户输入与 AI 前一轮输出之间的语义偏离度。
行为回退(用户手动 revert、撤销编辑、重新执行不同命令):不是语言信号,而是行为信号。验证方式:检查后续文件操作是否回滚了 AI 的改动。
光靠触发模式还不够——系统还做"邻接验证":配对用户的负向反馈与助手后续的修正行为,只有当修正确实发生了,才确认这是一次真正的纠正事件。 宁可漏掉一些信号,也不能让噪声污染判断库。
方法二:从 Memory 到 Judgment Card——表征粒度的升级
纠正事件被检测之后,要把"一次具体纠错"抽象成"可迁移的工程经验"。做一个直接对比:
旧方式(Memory):Memory中存了拒绝过度设计,AI 知道"不要过度设计",但不知道什么算过度、在什么场景下会触发。
新方式(Judgment Card):
applies_when:设计数据模型或引入抽象层时 judgment:用户核心信念是"维度多不等于刻画准",固定多维/多表往往高度重叠、过度耦合 agent_action:提设计前先自问维度是否正交;默认给最小可用结构 exceptions:已被证实存在的真实并发冲突、数据一致性约束等硬需求
Memory 告诉 AI"不要做什么",Judgment Card 告诉 AI"在什么条件下、为什么不做、以及例外是什么"。 前者是备忘录,后者是决策手册。

方法三:Evidence-Calibrated Confidence——一次纠正是假说,跨项目复现才是定律
每张 Judgment Card 不是被发现后就被信任的。我们为每条判断信号建立置信度生命周期:hypothesis → emerging → confirmed。一次纠正事件只能产生假说;跨项目、跨场景出现独立支撑证据才晋升为 emerging;三条以上独立证据累积后才成为 confirmed。长期没有新证据的卡片自动衰减。
用一个真实案例走一遍——"可观测性"判断卡片:
第一次纠正:AI 用 Bash 跑命令,只能等执行完才能读到结果。用户要求实时监控——不是要结果对,是要过程可见。→ 系统提取 hypothesis。
第二次纠正:AI 认为产品可以交付了,用户说:"没法看 agent 执行过程、一直显示分析中。"否定的不是功能正确性,而是"我看不到它在干什么"。→ 独立证据,晋升 emerging。
第三次纠正:新版 UI 回归了同一个问题。同一种反应模式,在不同版本中复现。→ 五条独立证据累积后晋升 confirmed(置信度 0.85)。
系统从中提炼出因果信念链:可观测性缺失 = 不可控 = 不可信。 这不是"用户喜欢看日志"——而是一条可执行策略:任何交付前必须确保用户能看到执行过程。

方法四:Runtime Judgment Pack——从判断库到运行时上下文
最后一步是编译 Runtime Judgment Pack——从判断库中挑出当前任务最相关的 top-25 张卡片,注入未来会话的运行时上下文。选择策略综合三个维度:语义相关性(Python 项目的判断在 Rust 项目中可能不适用)、卡片间互补性(避免 5 条都说同一件事)和时效性。

一个真实案例
在一个真实用户的完整对话历史上,流水线各阶段的过滤如下:
数万条助手响应 → 触发模式扫描 + 邻接验证 → 纠正事件候选 → 跨会话聚类 + 置信度校准 → 十余张 confirmed/emerging 判断卡片(决策逻辑)+ 若干条认知特征(思维模式)
具体数量因用户而异——对话历史越长、纠正频率越高,蒸馏出的卡片越多;但不管输入规模如何,最终留下的都是经过置信度校准的高密度认知模型。这个压缩比本身就说明了一件事:蒸馏的目标是提纯,不是堆料。

核心原则:能算的不猜,AI 做语义、系统做状态
贯穿整条流水线的一个设计原则值得单独说明:能确定计算的就用确定计算,需要归纳判断的再交给 AI。
数据统一和行为可观测性(工具调用热力图、文件操作热点、错误模式聚类)全部用确定性计算,不涉及大模型推理。这不是为了省成本,而是为了建立信任基线——当确定性分析和 AI 归纳一致时,可信度大幅提升;当它们矛盾时,就有了一个可调试的锚点。
从"每次都要你盯着"到"你的分身替你盯着"
回到最开始的场景:Agent 在长链路执行中遇到了一个取舍——该不该扩大重构范围?今天的答案是中断你、等你拍板。
Distill-Yourself 要改变的就是这个局面。当 Judgment Card 和 Cognitive Traits 被注入 Agent 的运行时上下文后,它面对"要不要扩大范围"时,不再需要中断你——它知道你的思维模式是"局部问题优先局部修复",知道这条判断的适用条件和例外,知道在什么置信度下可以自主决策。它不只是执行你的指令,而是按你的方式思考。
每一次你纠正 AI,其实都在训练一个更适合你的数字分身——问题只是,这些训练信号,过去一直在白白消失。
我们把 Situated Judgment Learning 从一个想法变成了一条完整的工程流水线:挖纠正、炼判断、验置信、注上下文——目标不是让 AI 记住你说了什么,而是让你的数字分身在 Agent Loop 里按你的方式思考。
关于 QuantaAlpha
QuantaAlpha 成立于 2025 年 4 月,由来自清华、北大、上交、中科院、CMU、港科大等高校与机构的教授、博士后、博士与硕士组成。
团队的使命是探索智能的「量子」,引领智能体研究的「阿尔法」前沿。从 CodeAgent 到自进化智能,再到金融与跨领域专用智能体,QuantaAlpha 致力于重塑人工智能的边界。
2026 年,QuantaAlpha 将在 CodeAgent、DeepResearch、Agentic Reasoning / Agentic RL、自进化与协同学习等方向持续产出高质量研究成果。欢迎对这些方向感兴趣的同学加入我们。
团队主页:https://quantaalpha.com/
-- 完 --
机智流推荐阅读:
1.
2.
3.
4.
cc | 大模型技术交流群 hf | HuggingFace 高赞论文分享群 lc|LangChain 技术交流群 code | AI Coding 交流群 具身 | 具身智能交流群 硬件 | AI 硬件交流群 推理 | AI 推理框架交流群 智能体 | Agent 技术交流群