从完成任务到学会学习：meta learning 视角下的持续学习

术语说明

“持续学习”在这里的用法与传统 continual learning 文献不同。传统文献的主线是对抗灾难性遗忘 [12][13]：任务依次到来，要求学新任务后旧任务的表现不退化，benchmark 的核心指标是旧任务的保持率。那条线索的问题意识是不退化，这里的问题意识是变强——系统是否因为经历过的任务，而在新任务上学得更快更好。遗忘在这个框架里只是一个约束项（§2.2）：一个系统即使完全不遗忘，如果没有因新经验而变得更好，也算不上在持续学习。

现在的 LLM 已经可以完成相当复杂的任务：调试一个代码库、操作一台远程电脑、连续调用十几个工具回答一个开放问题。但由于权重不再更新，下一次遇到相同的问题时，它往往还是从相同的状态重新开始，犯相同的错误。今天的各类 Agent 系统试图补上这一环：给 LLM 加上 memory 模块，从任务的执行结果中抽取经验，改写 prompt 或沉淀skills，从而让 LLM 避免下一次犯同样的错误——OpenClaw 的记忆与技能文件 [24]、Hermes 的技能沉淀与离线 GRPO 训练 [25]，都是这样的思路。

这些尝试确实让LLM的能力得到了提升：memory和skills变了，Agent 未来的行为也跟着改变，Agent系统在一定程度上更新了自己。但更新的内容来自经验，但更新的规则却是启发式的：什么算值得记住的经验、隔多久复盘一次、技能如何组织，都是人事先写进 prompt 的，这些规则本身并不随经验改变。换句话说，Agent 是在更新自己，但是无法从过往的经验中学习如何更新自己。

1. 学习的两个层次#

Mitchell 的定义 [1]：程序在任务 $T$ 上的性能随经验 $E$ 提升，即称其从 $E$ 中学习。现代深度学习的大部分实践是单层的：

$$\theta^*=\arg\min_\theta\ \mathcal{L}(D;\theta,\omega),$$

$\theta$ 是模型参数，$\omega$（结构、优化器、超参数）由人设计、不参与优化。学习的结果是参数，学习的方式是常量。

当学习对象扩展到一族相关任务时，学习方式本身也可以被学习。固定词表：$h$ 是一条具体规律（如一个分类器），$H$ 是任务内被允许考虑的所有规律的集合（假设空间），任务内学习即在 $H$ 中挑损失小的 $h$。Baxter 把任务族及其分布称为环境 $\mathcal{E}$ [29]，将learning to learn [2] 写成：在假设空间族 $\mathbb{H}$ 中选 $H$，使任务分布上的期望损失最小：

$$H^*=\arg\min_{H\in\mathbb{H}}\ \mathbb{E}_{\mathcal{T}\sim\mathcal{E}}\Big[\min_{h\in H}\ \mathcal{L}\big(D_\mathcal{T},h\big)\Big].$$

内层在 $H$ 内学当前任务；外层评价 $H$ 本身——固定一个 $H$ 去学一批任务，各任务最优损失的平均即 $H$ 的得分，外层据此调整 $H$。偏置的产生方式由此进入优化目标。后文以这一定义为基准。

其经验对应物是 Harlow 的 learning set 实验 [33]：猴子连续解决几百个同族辨别任务，从几十次试误逐渐变为一次学会。“学会新任务的代价”随任务数单调下降——这是”学会学习”最直接的证据，也是 lifelong learning 中 forward transfer 指标 [2] 的原型。效率曲线即指此：固定任务族，新任务达到阈值所需样本数随序号下降。

今天的 meta-learning 将两层写成标准双层优化 [3]：

$$\theta^*=\mathcal{A}\big(D_{\mathcal{T}}^{train};\,\omega\big),\qquad \omega^*=\arg\min_\omega\ \mathbb{E}_{\mathcal{T}\sim p(\mathcal{T})}\Big[\mathcal{L}\big(D_{\mathcal{T}}^{val};\,\theta^*\big)\Big].$$

内层适应任务，外层跨任务优化 $\omega$。注意 $\omega$ 的含义在此的差别：Mitchell 图景中是设计常量，meta-learning 中成为可被优化的对象。$H$ 被推广为任意元参数：它可以是初始参数——MAML [4] 由外层选一个起点，使各任务从它出发几步梯度即可适应；可以是更新规则本身——RL² [5][6] 由外层慢速训练循环策略的权重，其隐状态在任务内的动态就是学习算法；也可以是损失函数、表示等。学习的对象从参数扩大到了学习过程本身。

约定术语：内层指任务内适应，外层指跨任务的”学会学习”。后文反复回到一个主张：分析持续学习系统时，先问学习发生在哪一层、那一层的规则由谁设计。

2. LLM 时代的持续学习：§1 的定义沿时间展开#

如今一个 AI 系统被部署之后，它面对的是一个接一个的事件——用户的下一条请求、项目的下一个阶段、游戏 reset 后的新关卡。这些事件随着时间到来，彼此相关；我们很难再对一个任务去复原当时的环境，从而通过不同的做法各试一次来比较优劣——AI 系统因此需要学会在 inference 阶段更新自己。

2.1 持久状态与更新规则#

用 $k$ 标记第 $k$ 次可能发生学习的交互节点。这个节点的粒度不限：它可以是一个 token、一次工具调用、一轮对话，也可以是一个完整任务。框架不预设学习必须发生在哪一种粒度上。

持久状态 $\sigma_k$ 表示第 $k$ 次交互结束后，所有仍能影响未来行为的状态。对 LLM Agent 而言，它可以由模型权重、保留的上下文、外部记忆、技能文档、改写后的 prompt 或工具集承载。判定标准不是载体，而是该变化能否越过当前交互继续生效；参数更新与非参数更新都可以改变 $\sigma_k$。

$\sigma_k$ 通过行为系统 $\Pi_{\sigma_k}$ 影响 Agent 的行动。给定当前输入 $x_k$，系统按照

$$a_k\sim\Pi_{\sigma_k}(a\mid x_k)$$

产生行为 $a_k$。联想、预测、规划和工具调用都视为 $\Pi_{\sigma_k}$ 的内部能力，而不是额外的学习组件。学习改变 $\sigma_k$，最终表现为未来的 $\Pi$ 发生变化。

一次交互产生一条经验和一个反馈信号：

$$e_k=(x_k,a_k,o_{k+1}), \qquad f_k.$$

其中：

• $x_k$ 是交互节点处可观察的信息，例如任务描述、环境状态和对话上下文；
• $a_k$ 是系统采取的行为，例如下一个 token、一次工具调用或一段回答；
• $o_{k+1}$ 是行为之后的原始环境回应，例如新观测或执行结果；
• $f_k$ 是对行为的评价性信号，例如 reward、测试结果、错误信息或 verifier 输出。

$o_{k+1}$ 记录发生了什么，$f_k$ 则提供关于行为好坏的证据。$f_k$ 可以由环境直接给出，也可以由系统从 $o_{k+1}$ 中提取。它将作为 §3 中学习内容构造的输入；反馈由谁生成、是否可靠，则属于外层学习信号问题。

持久状态按如下规则更新：

$$\sigma_{k+1}=U_\phi(\sigma_k,e_k,f_k).$$

$U_\phi$ 是把当前状态、经验和反馈转化为下一状态的更新机制，$\phi$ 决定它怎样工作。Memory 写入 prompt、复盘触发条件、技能组织方式和 RL 目标函数都可以承担 $\phi$ 的功能。

$\phi$ 指一种功能角色，而不是固定的存储载体。例如，memory 中一条“复盘时先检查原假设”的元规则，同样可以调节后续更新。判断 $\phi$ 是否可学，要看更新行为本身是否因为针对这一功能的信号而改进，而不是看规则存储在参数还是 memory 中。一个直接的行为判据是：随着经验增加，系统在第 $k$ 次复盘时是否比第 1 次更少犯同类错误。

这套记号继承 self-evolution 综述中的状态更新形式 [9][10][30]，并显式分离持续状态 $\sigma$ 与更新机制 $\phi$。§3 将在这一分离上继续分析 What 与 How 的可学习性。

与 §1 对照，这些记号只是同一批对象的时间索引版：

持续学习系统	meta-learning 双层优化	含义
$\sigma_k$	内层产物 $\theta^*$ 的泛化	到第 $k$ 步为止，经验积累出的”已适应状态”，以有效持续时间为判定标准 [11]
$U_\phi$	学习算法 $\mathcal{A}$	把经验变成状态改变的更新规则
$\phi$	元参数 $\omega$	决定学习内容、更新时序与时间尺度、更新方法
$\sigma_0$	MAML 式初始化	部署时刻的初始能力
交互流 $(e_k,f_k)$	任务分布 $p(\mathcal{T})$ 的样本	任务沿时间到来，且前后相关

这个对应关系首先改变了任务的组织方式。任务不再是相互独立的样本，而是一个延续过程：项目接下来的需求、游戏 reset 后的新关卡和用户的下一条请求，都可能受到此前经历的影响。

其次，$\phi$ 会在每次交互中决定经验怎样被吸收，而现有系统中的 $\phi$ 几乎都由人设计。引子里“更新的规则来自人”，形式化之后就是：

$\sigma$ 随经验积累，$\phi$ 是设计常量。

最后，这里保留了一处理想化。§1 的外层期望通常依赖独立采样或遍历性，单一且不可重来的时间线并不自动满足这些条件。因此，这里的“外层”主要是一种诊断视角：检查 $\phi$ 由谁优化、优化信号来自哪里，而不是假设可以直接计算一条精确的外层梯度。实际可观察的信号来自任务流不同阶段的学习效率变化，例如后文效率曲线中 $n_k$ 的下降趋势。

2.2 持续学习：单次更新对未来的增益#

判定学习是否发生，需要回答一个问题：一次状态更新（memory 写入、梯度更新）是否提升了系统的未来表现。这要求将”未来表现”形式化为可计算的量，为此先区分两类信号。$f_k$ 是系统在第 $k$ 次交互中实际获得的学习信号；$r_k^g$ 是围绕系统服务的总目标 $g$（完成整个项目、满足用户持续变化的需求）对第 $k$ 段行为的最终评价，由研究者或环境判定。二者通常并不一致：系统在线获得的可能只是一段编译错误文本，而项目的最终成败属于 $r_k^g$。

定义持久状态 $\sigma$ 的未来能力

$$C(\sigma)=\mathbb{E}\Big[\sum_{j\geq k}r_j^g\,\Big|\,\sigma_k=\sigma\Big],$$

即从状态 $\sigma$ 出发、继续按 $U_\phi$ 更新，未来全部交互的期望总评价。评价第 $k$ 次更新的价值，需比较”执行更新”与”不执行更新”两个反事实分支：

$$\Delta C_k=C\big(U_\phi(\sigma_k,e_k,f_k)\big)-C\big(\sigma_k\big).$$

$\Delta C_k>0$ 表明该次更新提升了未来表现。$\Delta C_k$ 是理想的因果评价量：同一系统只能经历其中一条分支，该量无法在线获得，系统只能以 $f_k$ 近似——这一差距是 §4.2 的主题。$C(\sigma)$ 对固定的 $\phi$ 良定义（即 $U_\phi$ 下的 value function）；比较候选 $\phi_1,\phi_2$ 时，分别在各自更新机制下评估 $C$，属于标准的策略评价问题，不构成逻辑循环。

将上述定义推广到整个任务流。记 $J_{1:K}(U)=\mathbb{E}[\sum_{k=1}^{K}r_k^g]$ 为采用更新机制 $U$ 时的任务流总表现，并与恒等更新 $U_{\mathrm{id}}(\sigma,e,f)=\sigma$（即不学习的系统）对照，持续学习的要求为

$$\mathbb{E}[G_{1:K}]=J_{1:K}(U_\phi)-J_{1:K}(U_{\mathrm{id}})>0.$$

该式即 §1 的定义在任务流上的对应：任务分布被替换为延续过程，外层优化的目标转化为”总表现随已经历的交互数提升”。与恒等更新相对照的形式，亦是 lifelong learning 中 forward transfer 指标的推广：基线由”未经训练”变为”不再学习”。此外需附加约束：旧能力不得严重回退、计算与存储成本受控、不得通过迎合 reward 获得表面分数。传统 continual learning 关注的灾难性遗忘 [12][13]，在该框架下仅是一个约束项：系统即使没有遗忘，若未因新经验而提升，同样不构成持续学习。

§1 的效率曲线在任务流上可直接读出：记第 $k$ 段交互达到给定性能阈值所需的样本数（或步数）为 $n_k$，持续学习的完整形态要求 $n_k$ 随 $k$ 下降，而非仅 $\mathbb{E}[G]>0$。后文为现有技术分层时将反复使用一个进一步的区分：加速出现后的饱和，与加速随 $N$ 的持续，二者构成不同档位的分界。

2.3 真正需要优化的对象#

把整个系统的训练目标写成嵌套形式：

$$\max_\phi\ \mathbb{E}\Big[\sum_{k=1}^{K}r_k^g\ \Big|\ \sigma_{k+1}=U_\phi(\sigma_k,e_k,f_k)\Big],$$

$\phi$ 是外层变量，$\sigma$ 的轨迹是给定 $\phi$ 后的内层动力学，$\sigma_0$ 由预训练/后训练给定——与 §1 的双层优化是同一个目标，外层从”跨任务分布”换成”跨时间任务流”。现有系统大多只在做内层：$\sigma$ 随经验积累，$\phi$ 由人设计好后保持不变。从 meta-learning 的角度看，“自主学习”的含义由此变得很具体：把 $\phi$ 从设计对象变成优化对象。下一节按这个标准给现有技术分层。

“改进有界”不只是定性判断，有两类形式化结果支撑。对无外部计算通道的纯文本自改进，sharpening 定理 [34] 直接适用：概率质量向已有的高分模式集中，可证明无法超出基座分布的支撑集。对有工具的 Agent，有效支撑集被工具扩展（计算器输出不在 token 分布内），但上界仍由冻结 LLM 的编排能力决定——工具可用，“会不会用、何时用”仍受限于基座推理能力。即便放开权重更新，只要评价信号固定，RL 后训练激发出的”新能力”在大 $k$ 的 pass@$k$ 下仍被基座覆盖 [35]。两个结果合起来给出一条链：非参数 $\sigma$ 受上下文长度与（工具扩展后的）能力上界约束，参数 $\sigma$ 受能力上界约束；要让改进随 $N$ 持续，更新机制本身必须进入被优化的集合，同时外层评价还必须提供足够的信息并锚定真实任务目标。前者是 §3 的主题，后者是 §4.2 的主题。

3. 学习组件与可学习性：从 $\sigma$ 到 $\phi$#

§2 已经把持续学习写成状态随经验不断改变。本节采用两步分析：先用 $\sigma$ 是否持续变化判断系统有没有学习，再考察产生这些变化的学习机制 $\phi$ 是否也能被学习。

训练、meta-training、test-time training 和部署任务流都可以是学习发生的阶段。分析一个组件时，需要同时记录它所处的学习循环和阶段：它可能在训练阶段被学出，在后续任务流中保持固定。

3.1 $\sigma$：自进化的必要条件#

把第 $k$ 轮学习写成：

$$\sigma_{k+1}=U_{\phi_k}(\sigma_k,H_k).$$

$H_k$ 汇总截至第 $k$ 轮可用的经验和反馈；$\sigma_k$ 是会持续影响未来行为的系统状态；$\phi_k$ 决定怎样把经验转化为新的状态。只要某段经验流能够造成

$$\sigma_{k+1}\neq\sigma_k$$

并使后续行为系统 $\Pi_{\sigma_{k+1}}$ 与 $\Pi_{\sigma_k}$ 不同，就发生了本文所说的学习。$\sigma$ 可以由模型权重、adapter、外部 memory、技能库或跨任务保留的其他状态承载；这些载体的差异值得记录，但不改变“系统是否从经验中改变”这一判据。

始终冻结且不保留任何持久外部状态的 chatbot 不满足这个条件。对话上下文如果只在当前会话内改变输出、随后完全重置，也不属于这里的持久状态。只要 memory 或参数更新能够进入后续任务，它就可以构成 $\sigma$ 的学习。本文分析的 self-evolving 方法首先应满足 $\sigma$ 可学，随后再比较 $\phi$ 的可学习性。

3.2 从更新公式推出 What 与 How#

Gao et al. [9] 用 What、When、How 描述 self-evolving agent 的设计空间，Ren et al. [10] 则把自我改进概括为对模型参数或 Agent scaffold 的更新。为了得到最小而完备的功能分解，本文把一次学习拆成两个步骤。

首先，系统要把历史变成一次明确的学习提案：

$$z_k=Q_{\phi_{q,k}}(\sigma_k,H_k).$$

$Q_{\phi_q}$ 是 What：学习内容构造。它决定哪些经验值得吸收、哪个旧决策应获得信用或责任，以及最终形成什么训练样本、memory 条目、规则、反馈、reward 或蒸馏目标。环境 reward 或教师答案只是评价依据；把依据和历史对应起来并构造成可供更新使用的 $z_k$，才是 What。

其次，系统要决定怎样把 $z_k$ 整合进持久状态。为了避免把 How 缩减为优化器，引入一个学习控制器：

$$c_k=G_{\phi_{a,k}}(\sigma_k,H_k,z_k),$$ $$\sigma_{k+1} = A_{\mathrm{base}}(\sigma_k,z_k;c_k).$$

$A_{\mathrm{base}}$ 是系统具备的基础可塑性机制，例如 memory 写入、梯度更新、参数插值或代码修改；$G_{\phi_a}$ 是 How：可塑性控制，输出本次更新的控制变量 $c_k$。可以把它展开为：

$$c_k= (\text{when},\text{where},\text{strength}, \text{replay},\text{consolidation}).$$

这些变量分别回答：

• When：立即更新、episode 后复盘、延迟 replay，还是进入 sleep/consolidation 阶段；
• Where：写入当前 context、episodic memory、skill、adapter、快权重还是主干慢权重；
• Strength：更新多少步、多大强度、哪些参数或记忆位置具有可塑性；
• Replay：以什么频率、顺序和形式重新施加已有经验；
• Consolidation：怎样合并冲突、保护旧能力，并把快状态迁移到慢状态。

因此 How 不只包含 SGD、PPO 或 learned optimizer。对于 memory，ADD、UPDATE、DELETE、合并、覆盖、压缩和冲突消解都是 How；对于参数，loss、更新范围、学习率、步数、正则化和快慢权重路由都是 How。统一的判断问题是：给定“学什么”，系统如何控制自身可塑性，使这份内容成为未来可用的能力。

两者合起来得到：

$$U_{\phi_k}(\sigma_k,H_k) = A_{\mathrm{base}}\Big( \sigma_k,z_k; G_{\phi_{a,k}}(\sigma_k,H_k,z_k) \Big), \qquad \quad z_k=Q_{\phi_{q,k}}(\sigma_k,H_k), \qquad \phi_k=(\phi_{q,k},\phi_{a,k}).$$

What 确定更新内容 $z_k$，How 生成控制变量并决定内容如何进入下一状态；“本轮不更新”也是 How 令 $\sigma_{k+1}=\sigma_k$ 的一种结果。When 因而是 How 的时间维度，而不是与 What、How 并列的第三种状态变换。

What 与 How 可以由同一个 LLM 实现，也可以由多个模块实现。Memory Manager 如果同时输出要保留的内容和 ADD、UPDATE、DELETE、NOOP 操作，就同时承担 What 与 How。另一方面，Agent 在当前任务中进行预测、规划、联想和行动属于行为系统 $\Pi_\sigma$；只有当这些功能被用来决定怎样改变 $\sigma$ 时，它们才在该循环中承担 $\phi$ 的角色。

Prediction 和 replay 尤其需要按功能拆分。设系统先预测下一观测 $\hat{o}_{k+1}$，再得到预测误差：

$$\delta_k=o_{k+1}-\hat{o}_{k+1}.$$

利用 $\delta_k$ 判断哪条知识、假设或旧决策出了问题，属于 What；根据不确定性决定这次误差应触发多强的更新，属于 How；单纯预测下一状态以完成当前任务，则仍属于行为系统 $\Pi_\sigma$。Replay 同理：回放哪段经验属于 What，何时回放、回放多少次、写入快状态还是慢状态属于 How。一个机制的名称不能预先决定其归属，关键在它改变的是 $z_k$ 还是 $c_k$。

3.3 从人类学习看可学习的 How#

人类并不会在一生中从头发明突触可塑性的基础机制。更接近事实的描述是：底层学习机制大部分由生物结构提供，而个体会根据环境和经验调节这些机制的工作方式。也就是 $A_{\mathrm{base}}$ 相对稳定，$G_{\phi_a}$ 具有适应性。

最直接的例子是动态学习率。人类在环境规律真正快速变化时应更快更新，在观测只是随机噪声时应减少更新。Piray and Daw [64] 的实验表明，人能够仅从观测中区分 volatility 与 stochasticity，并以相反方向调整学习率：前者提高更新速度，后者降低更新速度。这是典型的可学习 How——学习内容仍来自预测误差，改变的是每条证据对内部状态的影响强度。

第二个例子是多时间尺度记忆。互补学习系统理论 [28] 用快速的海马系统与缓慢的皮层系统解释新经验的快速存储和长期整合；睡眠期间的 hippocampal replay 与 hippocampal–cortical interaction 可以促进稳定记忆形成 [65]。这里要区分固定结构与可学习控制：海马—皮层结构本身主要是生物先验，哪些内容被 replay 更接近 What，而 replay 的时机、频率、强度以及快慢系统之间的迁移方式属于 How。

第三个例子是学习策略。人在多次学习后会采用间隔练习、主动回忆、交错练习、先模拟再执行或寻求教师反馈。策略中“选择哪道题、复习哪段内容”属于 What；“采用何种练习方式、重复几次、何时巩固”属于 How。Harlow 的 learning set [33] 以及自然智能中的 meta-learning 研究 [8] 表明，人和动物可以随着任务经验增加而提高后续学习效率，但这种提升往往混合了更好的表示、先验、探索和可塑性控制，不能全部归因于 How。

因此，人类提供的不是“任意可改写的 learned optimizer”范例，而是更受约束的结构：

$$\text{固定的基础可塑性} + \text{可学习的更新控制器}.$$

这个结构对 AI 更可实施：保留可验证的基础更新规则，只让模型在有界空间内学习 When、Where、Strength、Replay 和 Consolidation。它既能适应环境变化，也减少任意改写训练代码带来的不稳定性。

3.4 $\phi$ 的三种状态：固定、耦合变化与直接学习#

如果只把 $\phi$ 分成“可学”和“不可学”，SEED [43]、OPSD [42] 这类共享参数的方法仍会产生歧义。为此，本文对 What 和 How 分别使用三个描述：

• F（fixed，固定）：组件在所分析的循环中不更新；
• C（coupled，耦合变化）：组件和 $\sigma$ 共享参数，因 $\sigma$ 更新而改变，但没有针对其学习功能的直接训练信号；
• L（learned，直接学习）：组件承担的 What 或 How 功能本身受到训练或选择。

对组件 $c\in\{Q,A\}$，固定可以写成：

$$\phi_{c,k+1}=\phi_{c,k}.$$

耦合变化常见于一个 LLM 同时扮演 actor、teacher、critic 或 analyzer 的情况。设这些角色共享参数 $\theta_k$，普通任务损失使

$$\theta_{k+1}\neq\theta_k,$$

于是 $Q_{\theta_{k+1}}$ 也可能不同于 $Q_{\theta_k}$。但是，如果训练目标只要求 actor 更好地完成任务，没有直接评价 $Q$ 生成的学习内容是否更有效，这只能说明 What 随共享状态共同变化，不能自动说明系统学会了“怎样生成更好的学习信号”。

直接学习则要求组件在其功能角色上受到选择：

$$\phi_{c,k+1} = \mathcal M_c\Big( \phi_{c,k}, \mathcal D_k, e_{c,k} \Big).$$

$\mathcal D_k$ 是用于更新该组件的数据，$e_{c,k}$ 是评价其功能输出的证据。这个证据可以来自教师标注、环境结果、下游任务表现或未来任务增益；梯度下降、RL、演化搜索和模型选择都可以实现 $\mathcal M_c$。其中最强、也最符合本文目标的证据是：

$$e_{c,k}\approx\widehat{\Delta J}_{\mathrm{future}},$$

也就是该组件造成的学习更新是否真的改善了未来表现。使用教师经验训练 $\phi$ 仍然属于直接学习，但应将其监督来源标记为教师，而非未来收益。

F、C、L 是机制状态，不是能力等级。一个固定但设计良好的学习规则完全可能优于尚不稳定的可学习规则；$\phi$ 可学只说明系统有机会改变自己的学习方式，不保证这种改变正确。

同一论文还可能跨阶段变化。例如一个 memory updater 可以在 RL 阶段是 L，在后续使用阶段变为 F。本文用

$$\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{use}}$$

表示“训练阶段直接学出，使用阶段固定”，其中 L 是 learned 的缩写。

3.5 Agent 内部进化中的 What 与 How#

下面的分类首先假设 $\sigma$ 已经可学，然后分别记录 What 和 How。训练期还是部署期只写在“阶段”一栏，不参与高低排序。

方法	主要变化的 $\sigma$	What	How	阶段与依据
Reflexion [14]、ExpeL [15]、Voyager [16]、Agent Workflow Memory [17]、MemGPT [18]、A-MEM [19]、ReasoningBank [40]	episodic memory、经验库或 skill	F	F	任务流中持续更新 memory，但反思、提取和写入规则主要由固定 prompt 或人工流程给出
OPSD [42]	模型参数	C	F	teacher 与 student 共享参数，teacher 的 privileged context、divergence 和更新算法固定，梯度只通过 student；teacher 能力会随共享参数改变
SEED [43]	Agent policy 参数	$\mathrm{L}_{\mathrm{SFT}}\rightarrow\mathrm{C}_{\mathrm{RL}}$	F	初始化阶段用 hindsight-skill 标注直接训练 analyzer；RL 阶段由当前 policy snapshot 生成 skill，但 skill-conditioned teacher 分支 detached，RL+OPD 更新规则固定
Co-Evolution / Self-Guide [21]	生成 guidance 与 action 的共享 policy	L	F	同一个 GRPO 目标直接更新 guidance token 与 action；guidance 被固定映射为内部 reward，但其学习效用没有独立的外层反事实评价
Memory-R1 [49]	memory bank 与回答策略	$\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{use}}$	$\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{use}}$	Memory Manager 用下游答案正确性学习更新内容以及 ADD、UPDATE、DELETE、NOOP 操作；PPO/GRPO 本身仍是固定的更外层算法
MEM1 [32]、Memory-R2 [50]、MemoPilot [51]	compact state 或 memory bank	$\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{use}}$	至少部分 $\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{use}}$	都在训练阶段学习了部分压缩、保留、改写或删除策略，具体可学习范围因方法而异
TTT [22]、aTTT [38]、In-Place TTT [39]、AdaJEPA [55]	参数、LoRA、快权重或 world model	F	F	更新目标、样本构造、梯度算法与调度由研究者固定；它们学习的是 $\sigma$，而不是学习规则本身
Memento [41]、OpenClaw-RL [20]	检索/行为 policy 或模型参数	F	F	环境或用户 reward 可以持续更新行为状态，但 TD、反馈解释和 policy optimization 流程保持固定
SEAL [52]	经 self-edit 后更新的模型参数	L	L（有界）	self-edit generator 由更新后的下游表现训练；除训练数据外，它还能选择数据增强、learning rate、epoch 数和 loss mask，但底层 SFT/LoRA 与可调用工具集合固定
Language Models Need Sleep [48]	经 dreaming 和 consolidation 更新的持久模型	L	F	dream generator 按下游效果继续优化；SFT、筛选、巩固和 wake–sleep 调度固定
TEMPO [58]	test-time actor	L	F	critic 在 test-time 用校准数据更新并决定正负训练信号；policy-gradient 与 critic 更新规则固定
Q-Evolve [59]、Agent0 [60]	policy/executor	L	F	critic 或 curriculum agent 在自进化训练循环中随结果更新；底层 policy update 仍由固定 RL 算法完成
Meta-Rewarding [37]、EvoRubric [45]	policy 或被评模型	L	F	judge 或 rubric generator 直接受到训练，但仍需检查其改进是否真正传递到后续 $\sigma$ 更新
learned optimizer [53]	inner model 参数	F	L	被学习的对象正是参数更新规则；训练数据或任务目标通常仍由外部给定
MetaEvolve [47]	候选程序与搜索历史	$\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{search}}$	$\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{search}}$	反思与修改策略先由 RL 培养，在新问题的 inference-time search 中固定执行；候选状态仍能在局部搜索中持续改进

这个表格也说明，判断 $\phi$ 是否可学必须先固定所分析的角色。以 Memory-R1 为例，如果 $\sigma$ 指 memory bank，那么 Memory Manager 就是决定 What 和 How 的 $\phi$；如果把问题改成“怎样训练 Memory Manager 的参数”，那么这些参数又成为更外层循环中的 $\sigma$，PPO/GRPO 则成为新的固定更新规则。任何学习系统都可以继续向外追问一层，因此本文只分析论文声称要改进的那一次状态更新，不无限递归到“谁来学习学习器的学习器”。

Self-Improving VLM Judges [44]、CL-Bench [57] 与 SEAGym [54] 不直接放入表中：前者主要改进评价器，后两者是评测环境。它们可以提供 $e_{c,k}$，但只有当这些信号实际改变 $Q_{\phi_q}$、$A_{\phi_a}$ 或 $\sigma$ 时，才构成完整学习循环。RF-Agent [46] 搜索 reward code，也需要进一步区分：被搜索的是 Agent 内部的 What，还是外部实验系统为下一轮训练挑选出的配置。

3.6 RSI：系统级 How#

上述 Agent 方法主要在已有 LLM 系统内部更新参数、memory、skill 或训练信号。Recursive Self-Improvement（RSI）进一步把 Agent scaffold、代码、训练流程和评价机制本身纳入修改范围。普通的内部学习循环可以写成：

$$\sigma_{k+1} = A_{\phi_{a,k}}(\sigma_k,z_k),$$

而系统级 RSI 更接近：

$$\big( \sigma_{k+1}, Q_{k+1}, A_{k+1}, \mathcal E_{k+1} \big) = R_k\big( \sigma_k,Q_k,A_k,\mathcal E_k,H_k \big).$$

$\mathcal E_k$ 是定义“改进是否成功”的 evaluator。该式表示 RSI 不只吸收新知识，还可能改写产生学习内容的 $Q$、执行状态更新的 $A$、工具和 orchestration code，甚至评价下一次改进的 $\mathcal E$。从本文的语言看，RSI 的主要对象更接近系统级 How。

近期 RSI 综述 [30] 区分了 bounded self-refinement 与 open-ended RSI：前者在固定 evaluator 下反复优化，后者还试图改变改进 machinery 或评价机制本身。这个区别十分关键，因为修改代码不自动等于完整 RSI；如果最外层的候选生成、选择、验证和资源分配仍由人固定，系统只学到了部分 How。

Darwin Gödel Machine [63] 是代表性例子。它让 coding agent 修改自己的代码、工具和 workflow，再用 coding benchmark 评价新版本；较好的版本进入 archive，并能产生下一代修改。因此，被修改的 Agent 确实改善了自身后续自我修改能力。但其 foundation model 保持冻结，archive maintenance、parent selection、open-ended exploration 和 benchmark evaluator 仍是固定外层机制。它展示的是固定外环之内的系统级 How 演化，而不是整个改进过程都已递归可学。

这也给本文划定了边界。内部持续学习关注同一个 LLM Agent 如何把经验压缩进参数或持久状态，当前论文主要在学习 What，并开始触及人类式的有界 How。RSI 则允许系统改写 scaffold、代码、工具和训练流程。两者可以结合：RSI 改进基础学习架构，内部学习控制器负责在持续任务流中调节 When、Where、Strength、Replay 和 Consolidation。但代码级自修改不应替代对 LLM 内部学习机制的研究。

3.7 从论文分布看到的研究缺口#

从上述论文可以看到三个较为集中的研究趋势。

第一，大多数 Agent self-evolving 方法已经能够改变 $\sigma$，差异主要不在“是否学习”，而在学习内容和可塑性控制由谁决定。Reflexion、OPSD、TTT 等采用固定规则；SEED 让 analyzer 随共享 policy 耦合演化；Sleep、TEMPO、Q-Evolve 和 Agent0 主要对 What 施加更直接的训练信号。

第二，近期 Agent 工作主要集中在学习 What：生成经验、reward、critic、课程、rubric、dream 或 self-edit。真正学习内部 How 的工作明显更少。Memory-R1 在受限的 memory 操作空间里学习 ADD、UPDATE、DELETE、NOOP；SEAL 在人工提供的工具集合内选择数据增强、学习率、训练轮数和 loss mask；learned optimizer 则直接学习参数更新规则。但对于通用 LLM Agent，何时更新、写入哪一层状态、更新多强、怎样 replay 和巩固、如何避免遗忘，通常仍由研究者固定。RSI 虽然更广泛地探索系统级 How，却往往依赖冻结模型和固定外层搜索。

第三，$\phi$ 可学与自主持续学习不是同义词。教师标注可以训练 $\phi$，当前任务 reward 也可以训练 $\phi$，但它们未必衡量某次更新对未来任务的真实价值。因而分析一篇论文至少要回答三个问题：

1. 哪个持久状态 $\sigma$ 在改变？
2. What 与人类式 How 分别是 F、C 还是 L，在哪个阶段发生？
3. 更新 $\phi$ 的证据来自教师、当前任务结果，还是未来任务收益？

本文后续真正关心的是第三种信号：系统不仅能改变自己的学习方式，而且这种改变由未来能力的提升约束。理想系统可能不是无约束地重写整个学习算法，而是在可靠的基础可塑性机制上，同时学会从经验中提取 What，并用未来收益调节 When、Where、Strength、Replay 和 Consolidation。它比“$\phi$ 是否可学”更难，却决定了自进化会积累能力，还是只会积累偏差。

4. 从任务流中的反馈到可学习信号#

§3 将学习过程拆成了行为系统 $\Pi_\sigma$ 与更新机制 $U_\phi$，但尚未回答一个更基础的问题：任务流中新出现的 feedback，怎样变成对二者的训练信号？这一问题在可重置的改进循环中相对容易，因为修改前后的系统可以在相同任务上重复评测；持续任务流通常只有一条已经发生的轨迹，后续状态又不断受到此前行动和更新的影响，因而更依赖从未来证据中回溯历史。

4.1 任务流中的回溯学习与双层信用#

在第 $k$ 步，系统根据当前输入 $x_k$ 和持久状态 $\sigma_k$ 产生任务行为：

$$b_k=(h_k,a_k)\sim\Pi_{\sigma_k}(\cdot\mid x_k),$$

其中 $h_k$ 表示思考或内部状态，$a_k$ 表示对环境执行的 action。环境随后返回新证据 $e_k$。将 §3 中的学习内容 $z_k$ 与更新控制 $c_k$ 合称为学习行为 $u_k=(z_k,c_k)$，则持久状态更新为：

$$\sigma_{k+1} = A_{\mathrm{base}}(\sigma_k,z_k;c_k).$$

$b_k$ 回答“这一刻怎样完成任务”，$u_k$ 回答“这一刻怎样从经验中改变自己”。它们可以由同一个 LLM 产生，也可以最终写入同一组 fast weights，但在信用分配中是两类不同的历史行为。

任务流中的 feedback 并不只评价刚刚发生的 action。第 $t$ 步获得的新证据 $e_t$，可能使系统重新理解任意过去步骤 $i<t$ 的任务行为，也可能检验过去某次学习行为是否真正改善了后续表现。用两组信用表示这种关系：

$$\alpha_{t,i} = \operatorname{Credit}(e_t\rightarrow b_i), \qquad i<t,$$ $$\beta_{t,i} = \operatorname{Credit}(e_t\rightarrow u_i), \qquad i<t.$$

$\alpha_{t,i}$ 表示当前证据应在多大程度上修正第 $i$ 步的预测、思考和行动；$\beta_{t,i}$ 表示当前证据应在多大程度上修正第 $i$ 步采取的学习方式。原则上，任意未来 feedback 都可能影响任意历史位置；实际学习必须从这些候选关系中找到少量具有非零信用的连接。

当任务流后来再次出现相关情境时，前后表现可以提供一个纵向的能力变化：

$$\widehat{\Delta C}_{i\rightarrow t} = J_t-J_i, \qquad x_t\sim x_i.$$

这里的 $x_t\sim x_i$ 表示两次情境适用同一项知识或策略，而不要求输入完全相同。这一差异是系统是否进步的长期证据，也可以用于校准系统对未来能力的估计，却还不是能够直接更新模型的训练信号：它既没有说明进步来自期间哪次任务行为或学习行为，也没有给出这些行为应当怎样改变。这正是 $\alpha$、$\beta$ 与后续纠正目标所要解决的问题。环境结果、教师反馈或用户评价可以构成这种学习的外部证据；系统还需要把这些证据转化为相对于既有预期的变化。相比之下，典型 RSI 可以保留修改前后的系统并在相同 benchmark 上重复实验，因而更容易评价单次修改。这个差别来自环境能否重置，而不是“是否称为 RSI”：运行在不可复现真实环境中的 RSI 同样面对上述问题。

信用仍然不是完整的训练信号。即使已经找到需要修改的历史位置，系统还要知道应当怎样修改。记 $d^\sigma_{t,i}$ 为对历史任务行为的纠正方向，$d^\phi_{t,i}$ 为对历史学习行为的纠正方向，则第 $t$ 步形成的聚合学习信号可以抽象为：

$$g_t = \sum_{i<t}\alpha_{t,i}d^\sigma_{t,i} + \sum_{i<t}\beta_{t,i}d^\phi_{t,i}.$$

因此，feedback 成为学习信号至少需要完成两个变换：先判断它与哪些历史行为有关，再为这些行为构造具体纠正。接下来分别讨论稀疏评价怎样到达历史，以及纠正目标从何而来。

4.2 从延迟反馈到历史信用：Value、Eligibility Trace 与 Replay#

当环境只在少数时刻给出标量 reward 时，过去行为无法直接获得及时评价。强化学习通常引入 value function 预测系统从当前输入、持久状态和任务目标出发的未来回报：

$$V_\psi(x_t,\sigma_t,g) \approx \mathbb E[J_{\mathrm{future}}\mid x_t,\sigma_t,g].$$

将持久状态 $\sigma_t$ 纳入条件十分重要：任务流的未来不仅取决于环境处于什么状态，也取决于系统此前已经学到了什么。新结果到达后，可以构造 TD error：

$$\delta_t = r_t +\gamma V_\psi(x_{t+1},\sigma_{t+1},g) -V_\psi(x_t,\sigma_t,g).$$

$\delta_t$ 表示实际结果相对当前预期好多少或坏多少。在长程任务中，大部分时刻可能有 $r_t=0$，此时：

$$\delta_t \approx \gamma V_\psi(x_{t+1},\sigma_{t+1},g) -V_\psi(x_t,\sigma_t,g).$$

直接产生变化的是两个相邻 value 估计之间的 bootstrap 项：新观测或新推理改变了系统对未来结果的判断，即使当前没有新的外部 reward，也可以形成及时的预测误差。但 bootstrap 不会创造新的奖励证据；它只是借助已经由外部结果校准的 critic，将稀疏评价向更早状态传播。与此同时，$\delta_t$ 仍然没有单独回答“误差应归给哪段历史”，也没有区分变化来自任务行为还是学习行为。在带 eligibility trace 的 actor–critic 中，历史行为保留一个随时间衰减的可更新痕迹：

$$\zeta_t = \gamma\lambda \zeta_{t-1} + \nabla_\theta\log\pi_\theta(a_t\mid x_t),$$ $$\Delta\theta_t \propto \delta_t\zeta_t.$$

其中 $\delta_t$ 提供结果的符号与幅度，$\zeta_t$ 决定哪些近期行为仍有资格接收该误差。GAE 以加权 TD residual 的形式实现相近的 bias–variance 取舍。value 和 trace 因而主要缓解时间上的延迟，但它们不会自动区分“当前反馈是在评价过去的 action，还是在评价过去的一次学习操作”；后一种关系仍需要 $\beta_{t,i}$。

人类学习为这一区分提供了有用但有限的类比。多巴胺活动在若干任务中呈现 reward prediction error 的性质 [74]，突触 eligibility trace 为稍后到达的调制信号保留短时可塑性窗口 [70][71][72]。这些结果与“预测误差乘以局部可塑性痕迹”的计算形式相容，但不意味着 PPO 与大脑具有相同实现，也不能把多巴胺简单等同于一个统一的 critic。

更长时间尺度上的反馈需要重新访问已经离开短时 trace 的经验。Hippocampal replay 会重新激活过去的状态序列，奖励后的 reverse replay 还表现出与奖励相关的调制 [75][76]；干扰 sharp-wave ripple 会损害部分空间学习 [77]。从计算角度看，replay 的作用不是直接宣布哪段历史负有责任，而是把过去状态重新带回当前计算，使新的 feedback 能够再次评价它。哪些经验被重放属于候选检索，重放后分配多少信用仍是归因问题。

这一点也有助于理解语言推理。记 $\bar x_t$ 为模型对当前状态的 belief representation。推理可以将其从 $\bar x_t$ 改变为 $\bar x_t'$，于是即使 value function 的参数不变，也可能有：

$$V_\psi(\bar x_t',\sigma_t,g) \neq V_\psi(\bar x_t,\sigma_t,g).$$

这首先是状态重估，而不一定是 value 参数学习；由此产生的 value 变化可以进入后续 TD error，形成一种由内部推理触发的 prediction error。人类的多巴胺预测误差会受到 belief-state inference 影响 [81]，通过推断获得的新信息也可以引发 value revaluation [80]。但过去当时的状态并没有被改写；系统是在当前时刻重新构造并评价过去。

因果 LLM 也能在最新 token 上利用此前推理形成新的状态，但同一次前向计算中，较早位置不能看到后来出现的 feedback。若要让未来证据直接训练过去的思考或行动，系统需要 replay 历史窗口、重新 forward，或者执行一个允许读取完整历史的 retrospective learning pass。

单轨迹归因的不可识别性。 Attention、语义联想和 replay 可以找到可能相关的历史，却不能单独证明因果责任。在只有一条真实轨迹、无法重新执行反事实分支时，同一结果往往可以由多种历史解释。因而 $\alpha_{t,i}$ 与 $\beta_{t,i}$ 最初只能是待验证的归因假设，还需要由后续真实结果、相关情境的再次出现或可行的局部干预不断校准。人类与 LLM 都可能在缺少这些证据时形成稳定但错误的归因。

4.3 从归因到纠正：构造可执行的训练目标#

得到 $\alpha_{t,i}$ 与 $\beta_{t,i}$ 只回答了“修改谁”，还没有给出公式中的 $d^\sigma_{t,i}$ 与 $d^\phi_{t,i}$。标量 reward 或 TD error 可以说明某个历史行为总体上应被强化还是抑制，却通常不能表达“当时具体误解了什么、正确预测是什么、下一次应该怎样做”。自然语言反思包含这类高维内容，因此没有必要先把整段推理压成一个标量；更自然的做法是让它形成新的状态解释或纠正目标，再用真实 feedback 判断该目标是否可信。

世界模型提供了一种稠密的纠正来源。系统在执行 action 前预测环境结果：

$$\hat o_{k+1}\sim P_\omega(\cdot\mid x_k,a_k),$$

实际观测到达后即可构造：

$$\mathcal L_{\mathrm{WM}} = -\log P_\omega(o_{k+1}\mid x_k,a_k).$$

世界模型还可以包含奖励预测头：

$$\hat r_{k+1} = R_\rho(x_k,a_k),$$

并由真实任务 reward 监督。这里需要区分两种“稠密化”：action-conditioned observation prediction 原则上每一步都能产生误差，因此提供了稠密的环境建模信号；奖励预测头只是把已经学到的价值判断带入真实或想象轨迹，并不会凭空增加新的奖励证据。任务 reward 可能在一条长轨迹结束时才出现，而世界模型可以利用中间观测训练“我的行动会怎样改变环境”，也能帮助语言归因产生可检验的后果。不过，预测准确不等于任务能力提高：系统可能准确预测自己将失败。因此世界模型误差只能补充 $d_{t,i}$ 和校验归因，不能取代 $\Delta C$ 或真实任务目标。

世界模型与 critic 因而形成相互依赖的闭环：世界模型提供对当前状态和行动后果的表示，critic 在这一表示上判断未来价值；环境反馈同时校准后果预测与价值预测，critic 的误差又指出哪些状态变化和历史决策值得重新检查。二者不能互相替代：世界模型主要回答“会发生什么”，critic 主要回答“这意味着好还是坏”。

在确定需要修改的历史位置之后，系统还要把完整的后续信息压缩成可供更新使用的纠正目标。将这一过程记为：

$$q_{t,i} = Q_{\mathrm{corr}} \left( x_i,H_t,e_t; P_\omega,V_\psi \right).$$

$Q_{\mathrm{corr}}$ 可以利用当前 feedback、完整历史、世界模型的后果预测以及 critic 的价值判断，重新回答“在第 $i$ 步应该形成什么认识或采取什么行为”。$q_{t,i}$ 不必具有固定形式：它可以是纠正后的思考或 action、正负行为偏好、step advantage、预测或 latent target，也可以是准备写入 memory 的经验或规则。它是 §3 中 What 的具体实现，而不是新的独立学习组件。将被选中的位置、纠正内容与可信度组织起来，可以得到本轮学习内容：

$$z_t = \left\{ (i,q_{t,i},w_{t,i}) \mid i<t \right\},$$

再由基础更新机制将其写入持久状态：

$$\sigma_{t+1} = A_{\mathrm{base}}(\sigma_t,z_t;c_t).$$

不同形态的 $q_{t,i}$ 对应不同的更新接口：纠正后的文本可以使用 SFT，行为偏好可以使用 preference loss，标量 advantage 可以进入 policy gradient，预测目标可以训练世界模型，memory 或规则则可以直接写入外部持久状态。选择哪一种接口、更新哪些状态以及更新多强，属于 How。

例如，当纠正目标表现为输出分布时，可以采用 OPD 作为训练方法。获得 feedback 后，具有完整历史、事后信息或世界模型推演结果的 teacher，可以重新给出某个历史状态下的输出分布：

$$q_{t,i}(\cdot) = \pi_T(\cdot\mid x_i,H_t).$$

再将这一事后形成的认识蒸馏给只能使用部署时信息的 student：

$$\mathcal L_{\mathrm{OPD}} = \sum_{i<t}w_{t,i} \operatorname{KL} \left( q_{t,i}(\cdot) \,\|\, \pi_S(\cdot\mid x_i) \right).$$

$q_{t,i}$ 提供“应当怎样改变”的高维目标，$w_{t,i}$ 则综合归因权重与目标可信度。这种训练可以绕过仅靠终局标量为每个 token 寻找方向的困难，但没有消除信用分配，OPD 也不是写入纠正目标的唯一方法。更重要的是，teacher 输出只是利用事后信息形成的纠正假设，而不自动等于真值；其可信度仍需由世界模型的一致性、critic 对未来价值的判断以及后续真实任务结果校准。OPSD [42]、SEED [43] 可以作为这种实现的案例；Rethinking OPD [23] 则提醒，teacher 没有覆盖的新能力无法仅靠蒸馏凭空产生。

至此，各部分的功能可以重新对应到统一框架：critic 将真实结果转化为相对于预期的标量变化，$\alpha_{t,i}$ 与 $\beta_{t,i}$ 确定需要修改的历史任务行为和学习行为，$Q_{\mathrm{corr}}$ 构造具体的学习内容，$A_{\mathrm{base}}$ 再根据目标形式选择相应的训练或写入接口。世界模型可以辅助解释和验证纠正，但这些机制最终都需要由后续真实表现校准。若 $\sigma$ 与 $\phi$ 共享同一个 LLM，最终可以把两层纠正聚合到同一组 fast weights：

$$\omega_{t+1} = A_{\mathrm{fast}}(\omega_t,g_t).$$

这样，一次后续 feedback 既可能改变系统以后如何完成类似任务，也可能改变系统以后如何从类似 feedback 中学习。下一节将继续讨论这些更新应何时进入快状态或慢状态，以及怎样在持续更新中控制遗忘与不稳定。

4.4 从即时适应到长期记忆：上下文、快慢权重与巩固#

4.1–4.3 得到了由当前 feedback 形成的学习信号 $g_t$，但它还没有决定这次纠正应当保存在哪里、持续多久。可以按照信息发生作用的时间尺度，将系统状态作如下功能划分：

$$\sigma_t = \left( \sigma_t^{\mathrm{ctx}}, \sigma_t^{\mathrm{fast}}, \sigma_t^{\mathrm{slow}} \right).$$

$\sigma_t^{\mathrm{ctx}}$ 表示当前上下文中的临时状态，包括当前推理、被 replay 的历史以及检索到上下文中的外部记忆；$\sigma_t^{\mathrm{fast}}$ 表示能够在执行过程中快速改变的参数或持久状态；$\sigma_t^{\mathrm{slow}}$ 则保存较稳定的长期能力。这是一种功能划分，不要求系统具有三个相互独立的物理模块。上下文更新最快且容易撤销，适合保留尚未验证的解释和纠正，但超出窗口后可能消失，模型也未必能在长上下文中稳定调用相关信息 [26][27][31]。Fast weights 可以让新经验立即改变后续行为，却也更容易受到错误归因和局部规律的污染；slow weights 更新较慢，适合吸收经过重复验证的知识。三者并非相互替代的学习方案，而是同一系统中不同时间尺度的状态。

这种分工与人类的互补学习系统存在功能上的相似性。互补学习系统理论 [28] 将海马系统描述为快速记录新经验的机制，将新皮层描述为缓慢整合长期知识的机制；睡眠期间的 hippocampal replay 与 hippocampal–cortical interaction 则有助于新经验与已有知识共同巩固 [65]。近期的 Language Models Need Sleep [48] 和 Nested Learning [56] 也尝试在语言模型中引入多时间尺度的更新与巩固。不过，这里比较的是计算功能，而不是认为上下文、fast weights 和 slow weights 分别对应某个确定脑区。

慢速巩固的另一项职责是控制灾难性遗忘。一次新反馈不应无条件覆盖长期参数；理想更新在提高新任务表现的同时，应限制旧能力在缺少反证时发生退化：

$$J_{\mathrm{past}}(\sigma_{t+1}) \ge J_{\mathrm{past}}(\sigma_t)-\epsilon.$$

真实任务流通常无法重新评测所有过去情境，因此 $J_{\mathrm{past}}$ 只能通过 replay 的历史样本或少量 anchor states 近似。经验 replay、更新前后的行为约束、重要参数保护 [13] 以及局部或模块化更新，都可以减少新知识对旧能力的破坏。但“防止遗忘”不等于要求模型永远维持旧行为：旧知识可能已经失效，系统需要避免的是没有新证据支持的能力退化，而不是有依据的知识修正。

这些选择最终属于 $U_\phi$ 的职责。它不仅接收学习内容，还应决定纠正是暂时保留在上下文中、立即写入 fast weights，还是在未来证据验证后巩固到 slow weights：

$$\left( \Delta\sigma_t^{\mathrm{fast}}, \Delta\sigma_t^{\mathrm{slow}} \right) = U_\phi(g_t,H_t,\sigma_t).$$

即使系统每一步都在学习，When 仍然表现为更新在哪个时间尺度生效、何时 replay、更新多强以及何时巩固。上下文保存当前理解，fast weights 支持立即适应，slow weights 积累稳定能力；持续学习的 How 则控制经验怎样在这些时间尺度之间流动，并在可塑性与稳定性之间取得平衡。

---

5. 开放问题：从能够更新到学会更新#

前文给出了持续任务流中的状态、更新机制与学习信号框架，但这些定义还没有产生一个完整可训练的系统。真正困难的问题，是怎样在只有一条真实轨迹的情况下，同时改进任务行为与学习行为。

如何训练由未来结果校准的 critic？

critic 是连续任务流中估计未来价值的必要方向，但它自身仍然面对稀疏监督。在没有即时 reward 的大多数时刻，TD error 主要来自相邻 value 之间的 bootstrap：

$$\delta_t \approx \gamma V_\psi(x_{t+1},\sigma_{t+1},g) - V_\psi(x_t,\sigma_t,g).$$

如果早期 value 估计发生偏差，错误也可能沿任务流不断自举和积累。怎样让 critic 长期与真实任务目标保持一致，怎样结合环境结果、自然语言反馈与教师评价，以及怎样在目标和 reward 尺度变化时快速重新校准，仍然缺少通用答案。一个能够持续更新自己的系统，还需要检测 critic 何时开始奖励错误行为，而不能把内部 value 的自洽误当成真实进步。

如何给学习行为本身分配信用？

现有强化学习主要评价 action，自主持续学习还要评价过去的学习行为：

$$\beta_{t,i} = \operatorname{Credit}(e_t\rightarrow u_i).$$

一次未来成功可能来自某次参数更新、memory 写入或错误纠正，也可能只是环境本身更加简单。Attention、语义检索和 replay 能够找到相关历史，却不能证明因果责任。怎样区分任务行为与学习行为的贡献，怎样评价一次更新在多个未来任务中的长期影响，以及怎样在没有反事实分支时减少错误归因，构成了比普通 temporal credit assignment 更困难的问题。尤其需要为 $\phi$ 构造针对学习功能的直接信号，而不是只让它随着共享参数耦合变化。

如何把语言纠正变成可靠的参数更新？

LLM 可以在获得后续 feedback 后，用自然语言解释过去哪里出了问题，但语言解释只是一项纠正假设，不自动等于正确训练目标。系统仍需决定纠正发生在 token、思考步骤、action 还是 latent representation 上，并判断这项纠正是否值得写入参数。SFT、OPD、policy gradient、模型编辑和预测训练都只是可能的更新方法；尚不清楚哪种接口适合逐步、低成本地改变 fast weights，也不清楚能否跳过显式语言反思，直接在隐状态中完成归因与纠正。当 $\sigma$ 与 $\phi$ 共享网络时，另一个问题是怎样同时改善任务能力与学习能力，而不让两类更新相互干扰。

如何让 How 可学而不产生昂贵的嵌套优化？

$U_\phi$ 需要决定 When、Where、Strength、Replay 和 Consolidation，但一次选择是否正确，往往要经过参数变化和许多未来任务之后才能观察。如果每个候选学习行为都要分别训练一个模型并运行后续任务，计算量将难以承受。一个可能的方向是用 meta-critic 预测学习行为的未来价值，把长程评价摊销成每一步都能执行的局部更新；但这种估计器又会引入新的 bootstrap 与校准问题。哪些基础可塑性应该固定，哪些控制变量值得交给模型学习，以及如何限制 $U_\phi$ 的作用范围以避免破坏自身，仍是架构设计中的开放问题。

如何评价系统真的越来越会学习？

静态 benchmark 只能说明最终模型有多强，不能区分能力来自预训练、当前任务适应还是持续学习。新的评测需要观察任务流中的未来累计表现是否持续提高，新任务达到相同水平所需的交互数 $n_k$ 是否下降，$\phi$ 的归因和更新决策是否越来越准确，以及新能力是否以旧能力退化为代价。计算、存储和额外交互同样应进入评价，否则系统可以通过无限 replay 或训练换取表面提升。对于不可重置、路径依赖的任务流，怎样构造既不要求复现同一环境、又能可靠衡量学习增益的比较基线，本身也是尚未解决的问题。

当前 self-evolving Agent 已经能够积累经验并改变自身状态，但怎样从唯一任务流中训练可靠的 critic、为学习行为分配长期信用，并以低成本将纠正巩固为稳定能力，仍然是自主持续学习尚未解决的核心问题。

---

参考文献#

[1] Mitchell, Machine Learning, 1997
[2] Thrun & Pratt (eds.), Learning to Learn, Springer, 1998
[3] Hospedales et al., Meta-Learning in Neural Networks: A Survey, 2020
[4] Finn et al., Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (MAML), 2017
[5] Duan et al., RL²: Fast Reinforcement Learning via Slow Reinforcement Learning, 2016
[6] Wang et al., Learning to Reinforcement Learn, 2016
[7] Tao et al., A Survey on Self-Evolution of Large Language Models, 2024
[8] Fang et al., A Comprehensive Survey of Self-Evolving AI Agents, 2025
[9] Gao et al., A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve, TMLR 2026
[10] Ren et al., Self-Improvements in Modern Agentic Systems: A Survey, 2026
[11] Wu et al., From Human Memory to AI Memory: A Survey on Memory Mechanisms in the Era of LLMs, 2025
[12] McCloskey & Cohen, Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem, 1989
[13] Kirkpatrick et al., Overcoming Catastrophic Forgetting in Neural Networks (EWC), 2017
[14] Shinn et al., Reflexion: Language Agents with Verbal Reinforcement Learning, 2023
[15] Zhao et al., ExpeL: LLM Agents Are Experiential Learners, 2024
[16] Wang et al., Voyager: An Open-Ended Embodied Agent with Large Language Models, 2023
[17] Wang et al., Agent Workflow Memory, 2024
[18] Packer et al., MemGPT: Towards LLMs as Operating Systems, 2023
[19] Xu et al., A-MEM: Agentic Memory for LLM Agents, 2025
[20] OpenClaw-RL: Train Any Agent Simply by Talking, 2026
[21] Wang et al., Co-Evolution of Policy and Internal Reward for Language Agents, 2026
[22] Akyürek et al., The Surprising Effectiveness of Test-Time Training for Abstract Reasoning, 2024
[23] Li et al., Rethinking On-Policy Distillation of Large Language Models, 2026
[24] OpenClaw，开源自托管个人 AI 助手框架
[25] Hermes Agent，开源”自进化”Agent 框架
[26] Liu et al., Lost in the Middle: How Language Models Use Long Contexts, 2023
[27] Xiao et al., Efficient Streaming Language Models with Attention Sinks, 2023
[28] McClelland et al., Why There Are Complementary Learning Systems in the Hippocampus and Neocortex, 1995
[29] Baxter, A Model of Inductive Bias Learning, JAIR 2000
[30] Chen et al., Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops, 2026
[31] Laban et al., LLMs Get Lost in Multi-Turn Conversation, 2025
[32] Zhou et al., MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents, 2025
[33] Harlow, The Formation of Learning Sets, Psychological Review, 1949
[34] Huang et al., Self-Improvement in Language Models: The Sharpening Mechanism, 2024
[35] Yue et al., Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?, NeurIPS 2025
[36] Yuan et al., Self-Rewarding Language Models, 2024
[37] Wu et al., Meta-Rewarding Language Models: Self-Improving Alignment with LLM-as-a-Meta-Judge, 2024
[38] Wang et al., No Time Like the Present: Agentic Test-Time Training for LLM Agents, 2026
[39] Feng et al., In-Place Test-Time Training, 2026

[40] Ouyang et al., ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory, 2025
[41] Zhou et al., Memento: Fine-tuning LLM Agents without Fine-tuning LLMs, 2025
[42] Zhao et al., Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models (OPSD), ICML 2026
[43] Wu et al., SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning, 2026
[44] Lin et al., Self-Improving VLM Judges Without Human Annotations, 2025
[45] Guan et al., EvoRubric: Self-Evolving Rubric-Driven RL for Open-Ended Generation, 2026
[46] Gao et al., RF-Agent: Automated Reward Function Design via Language Agent Tree Search, 2026
[47] Wu et al., Teaching LLMs to Self-Evolve: Cultivating Core Meta-Skills with Reinforcement Learning (MetaEvolve), 2026
[48] Behrouz et al., Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories, 2026
[49] Yan et al., Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning, 2025
[50] Yan et al., Memory-R2: Fair Credit Assignment for Long-Horizon Memory-Augmented LLM Agents, 2026
[51] Cai et al., From Player to Master: Enhancing Test-Time Learning of LLM Agents via Reinforcement Learning over Memory (MemoPilot), ICML 2026
[52] Zweiger et al., Self-Adapting Language Models (SEAL), 2025
[53] Andrychowicz et al., Learning to Learn by Gradient Descent by Gradient Descent, NeurIPS 2016
[54] Zheng et al., SEAGym: An Evaluation Environment for Self-Evolving LLM Agents, 2026
[55] Wang et al., AdaJEPA: An Adaptive Latent World Model, 2026
[56] Behrouz et al., Nested Learning: The Illusion of Deep Learning Architectures, NeurIPS 2025
[57] Asawa et al., Continual Learning Bench: Evaluating Frontier AI Systems in Real-World Stateful Environments, 2026
[58] Zhang et al., TEMPO: Scaling Test-time Training for Large Reasoning Models, 2026
[59] Zhang et al., Self-evolving LLM Agents with In-distribution Optimization (Q-Evolve), ICML 2026
[60] Xia et al., Agent0: Unleashing Self-Evolving Agents from Zero Data via Tool-Integrated Reasoning, 2025
[61] Feng et al., Group-in-Group Policy Optimization for LLM Agent Training (GiGPO), 2025
[62] Zhou et al., Proposer-Agent-Evaluator: Autonomous Skill Discovery for Foundation Model Internet Agents (PAE), ICML 2025
[63] Zhang et al., Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents, 2025
[64] Piray and Daw, Computational Processes of Simultaneous Learning of Stochasticity and Volatility in Humans, Nature Communications 2024
[65] Peyrache, A Pas de Deux between the Hippocampus and the Cortex during Sleep, Nature Reviews Neuroscience 2024

[66] Pearl, Causality: Models, Reasoning, and Inference, 2nd ed., Cambridge University Press, 2009
[67] Held & Hein, Movement-produced stimulation in the development of visually guided behavior, Journal of Comparative and Physiological Psychology, 1963
[68] Sperry, Neural basis of the spontaneous optokinetic response produced by visual inversion, Journal of Comparative and Physiological Psychology, 1950（efference copy 的另一独立来源为 von Holst & Mittelstaedt, Das Reafferenzprinzip, 1950）
[69] Schulz & Gopnik, Causal learning across domains, Developmental Psychology, 2004
[70] Yagishita et al., A critical time window for dopamine actions on the structural plasticity of dendritic spines, Science, 2014
[71] He et al., Distinct eligibility traces for LTP and LTD in cortical synapses, Neuron, 2015
[72] Gerstner et al., Eligibility traces and plasticity on behavioral time scales: experimental support of neoHebbian three-factor learning rules, Frontiers in Neural Circuits, 2018
[73] Cohen et al., Neuron-type-specific signals for reward and punishment in the ventral tegmental area, Nature, 2012
[74] Schultz, Dayan & Montague, A neural substrate of prediction and reward, Science, 1997
[75] Foster & Wilson, Reverse replay of behavioural sequences in hippocampal place cells during the awake state, Nature, 2006
[76] Ambrose, Pfeiffer & Foster, Reverse replay of hippocampal place cells is uniquely modulated by changing reward, Neuron, 2016
[77] Girardeau et al., Selective suppression of hippocampal ripples impairs spatial memory, Nature Neuroscience, 2009
[78] Walton, Behrens, Buckley, Rudebeck & Rushworth, Separable learning systems in the macaque brain and the role of orbitofrontal cortex in contingent learning, Neuron, 2010
[79] Pearce & Hall, A model for Pavlovian learning: variations in the effectiveness of conditioned but not of unconditioned stimuli, Psychological Review, 1980
[80] Sadacca, Jones & Schoenbaum, Midbrain dopamine neurons compute inferred and cached value prediction errors in a common framework, eLife, 2016
[81] Babayan, Uchida & Gershman, Belief state representation in the dopamine system, Nature Communications, 2018
[82] Nisbett & Wilson, Telling more than we can know: Verbal reports on mental processes, Psychological Review, 1977
[83] Izawa & Shadmehr, Learning from sensory and reward prediction errors during motor adaptation, PLoS Computational Biology, 2011
[84] Yin & Knowlton, The role of the basal ganglia in habit formation, Nature Reviews Neuroscience, 2006
[85] Wood, Bruner & Ross, The role of tutoring in problem solving, Journal of Child Psychology and Psychiatry, 1976
[86] Vygotsky, Mind in Society, Harvard University Press, 1978（最近发展区）
[87] Tse et al., Schemas and memory consolidation, Science, 2007
[88] Rao & Ballard, Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects, Nature Neuroscience, 1999
[89] Minsky, Steps toward artificial intelligence, Proceedings of the IRE, 1961（structural credit assignment 的出处）
[90] Hafner et al., Dream to Control: Learning Behaviors by Latent Imagination, ICLR 2020
[91] Chan, Sun, Holt & van der Schaar, Dense Reward for Free in Reinforcement Learning from Human Feedback (ABC), 2024
[92] Li et al., Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization, ICML 2026
[93] Parthasarathi, Reymond, Chen, Cui & Chandar, GRPO-λ: Credit Assignment Improves LLM Reasoning, 2025
[94] Hung et al., Optimizing agent behavior over long time scales by transporting value, Nature Communications, 2019 (TVT)
[95] Ferret, Marinier, Geist & Pietquin, Self-Attentional Credit Assignment for Transfer in Reinforcement Learning (SECRET), IJCAI 2020
[96] Arjona-Medina et al., RUDDER: Return Decomposition for Delayed Rewards, NeurIPS 2019
[97] Zhang, From Reasoning to Agentic: Credit Assignment in Reinforcement Learning for Large Language Models, 2026（单作者独立研究者 preprint；作为文献索引使用，不宜作为领域共识引用）