从完成任务到学会学习：meta learning 视角下的持续学习

[!note]+ 术语说明
“持续学习”在这里的用法与传统 continual learning 文献不同。传统文献的主线是对抗灾难性遗忘 [12][13]：任务依次到来，要求学新任务后旧任务的表现不退化，benchmark 的核心指标是旧任务的保持率。那条线索的问题意识是不退化，这里的问题意识是变强——系统是否因为经历过的任务，而在新任务上学得更快更好。遗忘在这个框架里只是一个约束项（§2.2）：一个系统即使完全不遗忘，如果没有因新经验而变得更好，也算不上在持续学习。

现在的 LLM 已经可以完成相当复杂的任务：调试一个代码库、操作一台远程电脑、连续调用十几个工具回答一个开放问题。但由于权重不再更新，下一次遇到相同的问题时，它往往还是从相同的状态重新开始，犯相同的错误。今天的各类 Agent 系统试图补上这一环：给 LLM 加上 memory 模块，从任务的执行结果中抽取经验，改写 prompt 或沉淀skills，从而让 LLM 避免下一次犯同样的错误——OpenClaw 的记忆与技能文件 [24]、Hermes 的技能沉淀与离线 GRPO 训练 [25]，都是这样的思路。

这些尝试确实让LLM的能力得到了提升：memory和skills变了，Agent 未来的行为也跟着改变，Agent系统在一定程度上更新了自己。但更新的内容来自经验，但更新的规则却是启发式的：什么算值得记住的经验、隔多久复盘一次、技能如何组织，都是人事先写进 prompt 的，这些规则本身并不随经验改变。换句话说，Agent 是在更新自己，但是无法从过往的经验中学习如何更新自己。

1. 学习的两个层次#

Mitchell 的定义 [1]：程序在任务 $T$ 上的性能随经验 $E$ 提升，即称其从 $E$ 中学习。现代深度学习的大部分实践是单层的：

$$\theta^*=\arg\min_\theta\ \mathcal{L}(D;\theta,\omega),$$

$\theta$ 是模型参数，$\omega$（结构、优化器、超参数）由人设计、不参与优化。学习的结果是参数，学习的方式是常量。

当学习对象扩展到一族相关任务时，学习方式本身也可以被学习。固定词表：$h$ 是一条具体规律（如一个分类器），$H$ 是任务内被允许考虑的所有规律的集合（假设空间），任务内学习即在 $H$ 中挑损失小的 $h$。Baxter 把任务族及其分布称为环境 $\mathcal{E}$ [29]，将learning to learn [2] 写成：在假设空间族 $\mathbb{H}$ 中选 $H$，使任务分布上的期望损失最小：

$$H^*=\arg\min_{H\in\mathbb{H}}\ \mathbb{E}_{\mathcal{T}\sim\mathcal{E}}\Big[\min_{h\in H}\ \mathcal{L}\big(D_\mathcal{T},h\big)\Big].$$

内层在 $H$ 内学当前任务；外层评价 $H$ 本身——固定一个 $H$ 去学一批任务，各任务最优损失的平均即 $H$ 的得分，外层据此调整 $H$。偏置的产生方式由此进入优化目标。后文以这一定义为基准。

其经验对应物是 Harlow 的 learning set 实验 [33]：猴子连续解决几百个同族辨别任务，从几十次试误逐渐变为一次学会。“学会新任务的代价”随任务数单调下降——这是”学会学习”最直接的证据，也是 lifelong learning 中 forward transfer 指标 [2] 的原型。效率曲线即指此：固定任务族，新任务达到阈值所需样本数随序号下降。

今天的 meta-learning 将两层写成标准双层优化 [3]：

$$\theta^*=\mathcal{A}\big(D_{\mathcal{T}}^{train};\,\omega\big),\qquad \omega^*=\arg\min_\omega\ \mathbb{E}_{\mathcal{T}\sim p(\mathcal{T})}\Big[\mathcal{L}\big(D_{\mathcal{T}}^{val};\,\theta^*\big)\Big].$$

内层适应任务，外层跨任务优化 $\omega$。注意 $\omega$ 的含义在此的差别：Mitchell 图景中是设计常量，meta-learning 中成为可被优化的对象。$H$ 被推广为任意元参数：它可以是初始参数——MAML [4] 由外层选一个起点，使各任务从它出发几步梯度即可适应；可以是更新规则本身——RL² [5][6] 由外层慢速训练循环策略的权重，其隐状态在任务内的动态就是学习算法；也可以是损失函数、表示等。学习的对象从参数扩大到了学习过程本身。

约定术语：内层指任务内适应，外层指跨任务的”学会学习”。后文反复回到一个主张：分析持续学习系统时，先问学习发生在哪一层、那一层的规则由谁设计。

2. LLM 时代的持续学习：§1 的定义沿时间展开#

如今一个 AI 系统被部署之后，它面对的是一个接一个的事件——用户的下一条请求、项目的下一个阶段、游戏 reset 后的新关卡。这些事件随着时间到来，彼此相关；我们很难再对一个任务去复原当时的环境，从而通过不同的做法各试一次来比较优劣——AI 系统因此需要学会在 inference 阶段更新自己。

2.1 持久状态与更新规则#

用 $k$ 标记第 $k$ 次可能发生学习的交互节点。这个节点的粒度不限：它可以是一个 token、一次工具调用、一轮对话，也可以是一个完整任务。框架不预设学习必须发生在哪一种粒度上。

持久状态 $\sigma_k$ 表示第 $k$ 次交互结束后，所有仍能影响未来行为的状态。对 LLM Agent 而言，它可以由模型权重、保留的上下文、外部记忆、技能文档、改写后的 prompt 或工具集承载。判定标准不是载体，而是该变化能否越过当前交互继续生效；参数更新与非参数更新都可以改变 $\sigma_k$。

$\sigma_k$ 通过行为系统 $\Pi_{\sigma_k}$ 影响 Agent 的行动。给定当前输入 $x_k$，系统按照

$$a_k\sim\Pi_{\sigma_k}(a\mid x_k)$$

产生行为 $a_k$。联想、预测、规划和工具调用都视为 $\Pi_{\sigma_k}$ 的内部能力，而不是额外的学习组件。学习改变 $\sigma_k$，最终表现为未来的 $\Pi$ 发生变化。

一次交互产生一条经验和一个反馈信号：

$$e_k=(x_k,a_k,o_{k+1}), \qquad f_k.$$

其中：

• $x_k$ 是交互节点处可观察的信息，例如任务描述、环境状态和对话上下文；
• $a_k$ 是系统采取的行为，例如下一个 token、一次工具调用或一段回答；
• $o_{k+1}$ 是行为之后的原始环境回应，例如新观测或执行结果；
• $f_k$ 是对行为的评价性信号，例如 reward、测试结果、错误信息或 verifier 输出。

$o_{k+1}$ 记录发生了什么，$f_k$ 则提供关于行为好坏的证据。$f_k$ 可以由环境直接给出，也可以由系统从 $o_{k+1}$ 中提取。它将作为 §3 中学习内容构造的输入；反馈由谁生成、是否可靠，则属于外层学习信号问题。

持久状态按如下规则更新：

$$\sigma_{k+1}=U_\phi(\sigma_k,e_k,f_k).$$

$U_\phi$ 是把当前状态、经验和反馈转化为下一状态的更新机制，$\phi$ 决定它怎样工作。Memory 写入 prompt、复盘触发条件、技能组织方式和 RL 目标函数都可以承担 $\phi$ 的功能。

$\phi$ 指一种功能角色，而不是固定的存储载体。例如，memory 中一条“复盘时先检查原假设”的元规则，同样可以调节后续更新。判断 $\phi$ 是否可学，要看更新行为本身是否因为针对这一功能的信号而改进，而不是看规则存储在参数还是 memory 中。一个直接的行为判据是：随着经验增加，系统在第 $k$ 次复盘时是否比第 1 次更少犯同类错误。

这套记号继承 self-evolution 综述中的状态更新形式 [9][10][30]，并显式分离持续状态 $\sigma$ 与更新机制 $\phi$。§3 将在这一分离上继续分析 What 与 How 的可学习性。

与 §1 对照，这些记号只是同一批对象的时间索引版：

持续学习系统	meta-learning 双层优化	含义
$\sigma_k$	内层产物 $\theta^*$ 的泛化	到第 $k$ 步为止，经验积累出的”已适应状态”，以有效持续时间为判定标准 [11]
$U_\phi$	学习算法 $\mathcal{A}$	把经验变成状态改变的更新规则
$\phi$	元参数 $\omega$	决定学习内容、更新时序与时间尺度、更新方法
$\sigma_0$	MAML 式初始化	部署时刻的初始能力
交互流 $(e_k,f_k)$	任务分布 $p(\mathcal{T})$ 的样本	任务沿时间到来，且前后相关

这个对应关系首先改变了任务的组织方式。任务不再是相互独立的样本，而是一个延续过程：项目接下来的需求、游戏 reset 后的新关卡和用户的下一条请求，都可能受到此前经历的影响。

其次，$\phi$ 会在每次交互中决定经验怎样被吸收，而现有系统中的 $\phi$ 几乎都由人设计。引子里“更新的规则来自人”，形式化之后就是：

$\sigma$ 随经验积累，$\phi$ 是设计常量。

最后，这里保留了一处理想化。§1 的外层期望通常依赖独立采样或遍历性，单一且不可重来的时间线并不自动满足这些条件。因此，这里的“外层”主要是一种诊断视角：检查 $\phi$ 由谁优化、优化信号来自哪里，而不是假设可以直接计算一条精确的外层梯度。实际可观察的信号来自任务流不同阶段的学习效率变化，例如后文效率曲线中 $n_k$ 的下降趋势。

2.2 持续学习：单次更新对未来的增益#

判定学习是否发生，需要回答一个问题：一次状态更新（memory 写入、梯度更新）是否提升了系统的未来表现。这要求将”未来表现”形式化为可计算的量，为此先区分两类信号。$f_k$ 是系统在第 $k$ 次交互中实际获得的学习信号；$r_k^g$ 是围绕系统服务的总目标 $g$（完成整个项目、满足用户持续变化的需求）对第 $k$ 段行为的最终评价，由研究者或环境判定。二者通常并不一致：系统在线获得的可能只是一段编译错误文本，而项目的最终成败属于 $r_k^g$。

定义持久状态 $\sigma$ 的未来能力

$$C(\sigma)=\mathbb{E}\Big[\sum_{j\geq k}r_j^g\,\Big|\,\sigma_k=\sigma\Big],$$

即从状态 $\sigma$ 出发、继续按 $U_\phi$ 更新，未来全部交互的期望总评价。评价第 $k$ 次更新的价值，需比较”执行更新”与”不执行更新”两个反事实分支：

$$\Delta C_k=C\big(U_\phi(\sigma_k,e_k,f_k)\big)-C\big(\sigma_k\big).$$

$\Delta C_k>0$ 表明该次更新提升了未来表现。$\Delta C_k$ 是理想的因果评价量：同一系统只能经历其中一条分支，该量无法在线获得，系统只能以 $f_k$ 近似——这一差距是 §4.2 的主题。$C(\sigma)$ 对固定的 $\phi$ 良定义（即 $U_\phi$ 下的 value function）；比较候选 $\phi_1,\phi_2$ 时，分别在各自更新机制下评估 $C$，属于标准的策略评价问题，不构成逻辑循环。

将上述定义推广到整个任务流。记 $J_{1:K}(U)=\mathbb{E}[\sum_{k=1}^{K}r_k^g]$ 为采用更新机制 $U$ 时的任务流总表现，并与恒等更新 $U_{\mathrm{id}}(\sigma,e,f)=\sigma$（即不学习的系统）对照，持续学习的要求为

$$\mathbb{E}[G_{1:K}]=J_{1:K}(U_\phi)-J_{1:K}(U_{\mathrm{id}})>0.$$

该式即 §1 的定义在任务流上的对应：任务分布被替换为延续过程，外层优化的目标转化为”总表现随已经历的交互数提升”。与恒等更新相对照的形式，亦是 lifelong learning 中 forward transfer 指标的推广：基线由”未经训练”变为”不再学习”。此外需附加约束：旧能力不得严重回退、计算与存储成本受控、不得通过迎合 reward 获得表面分数。传统 continual learning 关注的灾难性遗忘 [12][13]，在该框架下仅是一个约束项：系统即使没有遗忘，若未因新经验而提升，同样不构成持续学习。

§1 的效率曲线在任务流上可直接读出：记第 $k$ 段交互达到给定性能阈值所需的样本数（或步数）为 $n_k$，持续学习的完整形态要求 $n_k$ 随 $k$ 下降，而非仅 $\mathbb{E}[G]>0$。后文为现有技术分层时将反复使用一个进一步的区分：加速出现后的饱和，与加速随 $N$ 的持续，二者构成不同档位的分界。

2.3 真正需要优化的对象#

把整个系统的训练目标写成嵌套形式：

$$\max_\phi\ \mathbb{E}\Big[\sum_{k=1}^{K}r_k^g\ \Big|\ \sigma_{k+1}=U_\phi(\sigma_k,e_k,f_k)\Big],$$

$\phi$ 是外层变量，$\sigma$ 的轨迹是给定 $\phi$ 后的内层动力学，$\sigma_0$ 由预训练/后训练给定——与 §1 的双层优化是同一个目标，外层从”跨任务分布”换成”跨时间任务流”。现有系统大多只在做内层：$\sigma$ 随经验积累，$\phi$ 由人设计好后保持不变。从 meta-learning 的角度看，“自主学习”的含义由此变得很具体：把 $\phi$ 从设计对象变成优化对象。下一节按这个标准给现有技术分层。

“改进有界”不只是定性判断，有两类形式化结果支撑。对无外部计算通道的纯文本自改进，sharpening 定理 [34] 直接适用：概率质量向已有的高分模式集中，可证明无法超出基座分布的支撑集。对有工具的 Agent，有效支撑集被工具扩展（计算器输出不在 token 分布内），但上界仍由冻结 LLM 的编排能力决定——工具可用，“会不会用、何时用”仍受限于基座推理能力。即便放开权重更新，只要评价信号固定，RL 后训练激发出的”新能力”在大 $k$ 的 pass@$k$ 下仍被基座覆盖 [35]。两个结果合起来给出一条链：非参数 $\sigma$ 受上下文长度与（工具扩展后的）能力上界约束，参数 $\sigma$ 受能力上界约束；要让改进随 $N$ 持续，更新机制本身必须进入被优化的集合，同时外层评价还必须提供足够的信息并锚定真实任务目标。前者是 §3 的主题，后者是 §4.2 的主题。

3. 学习组件与可学习性：从 $\sigma$ 到 $\phi$#

§2 已经把持续学习写成状态随经验不断改变。本节采用两步分析：先用 $\sigma$ 是否持续变化判断系统有没有学习，再考察产生这些变化的学习机制 $\phi$ 是否也能被学习。

训练、meta-training、test-time training 和部署任务流都可以是学习发生的阶段。分析一个组件时，需要同时记录它所处的学习循环和阶段：它可能在训练阶段被学出，在后续任务流中保持固定。

3.1 $\sigma$：自进化的必要条件#

把第 $k$ 轮学习写成：

$$\sigma_{k+1}=U_{\phi_k}(\sigma_k,H_k).$$

$H_k$ 汇总截至第 $k$ 轮可用的经验和反馈；$\sigma_k$ 是会持续影响未来行为的系统状态；$\phi_k$ 决定怎样把经验转化为新的状态。只要某段经验流能够造成

$$\sigma_{k+1}\neq\sigma_k$$

并使后续行为系统 $\Pi_{\sigma_{k+1}}$ 与 $\Pi_{\sigma_k}$ 不同，就发生了本文所说的学习。$\sigma$ 可以由模型权重、adapter、外部 memory、技能库或跨任务保留的其他状态承载；这些载体的差异值得记录，但不改变“系统是否从经验中改变”这一判据。

始终冻结且不保留任何持久外部状态的 chatbot 不满足这个条件。对话上下文如果只在当前会话内改变输出、随后完全重置，也不属于这里的持久状态。只要 memory 或参数更新能够进入后续任务，它就可以构成 $\sigma$ 的学习。本文分析的 self-evolving 方法首先应满足 $\sigma$ 可学，随后再比较 $\phi$ 的可学习性。

3.2 从更新公式推出 What 与 How#

Gao et al. [9] 用 What、When、How 描述 self-evolving agent 的设计空间，Ren et al. [10] 则把自我改进概括为对模型参数或 Agent scaffold 的更新。为了得到最小而完备的功能分解，本文把一次学习拆成两个步骤。

首先，系统要把历史变成一次明确的学习提案：

$$z_k=Q_{\phi_{q,k}}(\sigma_k,H_k).$$

$Q_{\phi_q}$ 是 What：学习内容构造。它决定哪些经验值得吸收、哪个旧决策应获得信用或责任，以及最终形成什么训练样本、memory 条目、规则、反馈、reward 或蒸馏目标。环境 reward 或教师答案只是评价依据；把依据和历史对应起来并构造成可供更新使用的 $z_k$，才是 What。

其次，系统要决定怎样把 $z_k$ 整合进持久状态。为了避免把 How 缩减为优化器，引入一个学习控制器：

$$c_k=G_{\phi_{a,k}}(\sigma_k,H_k,z_k),$$ $$\sigma_{k+1} = A_{\mathrm{base}}(\sigma_k,z_k;c_k).$$

$A_{\mathrm{base}}$ 是系统具备的基础可塑性机制，例如 memory 写入、梯度更新、参数插值或代码修改；$G_{\phi_a}$ 是 How：可塑性控制，输出本次更新的控制变量 $c_k$。可以把它展开为：

$$c_k= (\text{when},\text{where},\text{strength}, \text{replay},\text{consolidation}).$$

这些变量分别回答：

• When：立即更新、episode 后复盘、延迟 replay，还是进入 sleep/consolidation 阶段；
• Where：写入当前 context、episodic memory、skill、adapter、快权重还是主干慢权重；
• Strength：更新多少步、多大强度、哪些参数或记忆位置具有可塑性；
• Replay：以什么频率、顺序和形式重新施加已有经验；
• Consolidation：怎样合并冲突、保护旧能力，并把快状态迁移到慢状态。

因此 How 不只包含 SGD、PPO 或 learned optimizer。对于 memory，ADD、UPDATE、DELETE、合并、覆盖、压缩和冲突消解都是 How；对于参数，loss、更新范围、学习率、步数、正则化和快慢权重路由都是 How。统一的判断问题是：给定“学什么”，系统如何控制自身可塑性，使这份内容成为未来可用的能力。

两者合起来得到：

$$U_{\phi_k}(\sigma_k,H_k) = A_{\mathrm{base}}\Big( \sigma_k,z_k; G_{\phi_{a,k}}(\sigma_k,H_k,z_k) \Big), \qquad \quad z_k=Q_{\phi_{q,k}}(\sigma_k,H_k), \qquad \phi_k=(\phi_{q,k},\phi_{a,k}).$$

What 确定更新内容 $z_k$，How 生成控制变量并决定内容如何进入下一状态；“本轮不更新”也是 How 令 $\sigma_{k+1}=\sigma_k$ 的一种结果。When 因而是 How 的时间维度，而不是与 What、How 并列的第三种状态变换。

What 与 How 可以由同一个 LLM 实现，也可以由多个模块实现。Memory Manager 如果同时输出要保留的内容和 ADD、UPDATE、DELETE、NOOP 操作，就同时承担 What 与 How。另一方面，Agent 在当前任务中进行预测、规划、联想和行动属于行为系统 $\Pi_\sigma$；只有当这些功能被用来决定怎样改变 $\sigma$ 时，它们才在该循环中承担 $\phi$ 的角色。

Prediction 和 replay 尤其需要按功能拆分。设系统先预测下一观测 $\hat{o}_{k+1}$，再得到预测误差：

$$\delta_k=o_{k+1}-\hat{o}_{k+1}.$$

利用 $\delta_k$ 判断哪条知识、假设或旧决策出了问题，属于 What；根据不确定性决定这次误差应触发多强的更新，属于 How；单纯预测下一状态以完成当前任务，则仍属于行为系统 $\Pi_\sigma$。Replay 同理：回放哪段经验属于 What，何时回放、回放多少次、写入快状态还是慢状态属于 How。一个机制的名称不能预先决定其归属，关键在它改变的是 $z_k$ 还是 $c_k$。

3.3 从人类学习看可学习的 How#

人类并不会在一生中从头发明突触可塑性的基础机制。更接近事实的描述是：底层学习机制大部分由生物结构提供，而个体会根据环境和经验调节这些机制的工作方式。也就是 $A_{\mathrm{base}}$ 相对稳定，$G_{\phi_a}$ 具有适应性。

最直接的例子是动态学习率。人类在环境规律真正快速变化时应更快更新，在观测只是随机噪声时应减少更新。Piray and Daw [64] 的实验表明，人能够仅从观测中区分 volatility 与 stochasticity，并以相反方向调整学习率：前者提高更新速度，后者降低更新速度。这是典型的可学习 How——学习内容仍来自预测误差，改变的是每条证据对内部状态的影响强度。

第二个例子是多时间尺度记忆。互补学习系统理论 [28] 用快速的海马系统与缓慢的皮层系统解释新经验的快速存储和长期整合；睡眠期间的 hippocampal replay 与 hippocampal–cortical interaction 可以促进稳定记忆形成 [65]。这里要区分固定结构与可学习控制：海马—皮层结构本身主要是生物先验，哪些内容被 replay 更接近 What，而 replay 的时机、频率、强度以及快慢系统之间的迁移方式属于 How。

第三个例子是学习策略。人在多次学习后会采用间隔练习、主动回忆、交错练习、先模拟再执行或寻求教师反馈。策略中“选择哪道题、复习哪段内容”属于 What；“采用何种练习方式、重复几次、何时巩固”属于 How。Harlow 的 learning set [33] 以及自然智能中的 meta-learning 研究 [8] 表明，人和动物可以随着任务经验增加而提高后续学习效率，但这种提升往往混合了更好的表示、先验、探索和可塑性控制，不能全部归因于 How。

因此，人类提供的不是“任意可改写的 learned optimizer”范例，而是更受约束的结构：

$$\text{固定的基础可塑性} + \text{可学习的更新控制器}.$$

这个结构对 AI 更可实施：保留可验证的基础更新规则，只让模型在有界空间内学习 When、Where、Strength、Replay 和 Consolidation。它既能适应环境变化，也减少任意改写训练代码带来的不稳定性。

3.4 $\phi$ 的三种状态：固定、耦合变化与直接学习#

如果只把 $\phi$ 分成“可学”和“不可学”，SEED [43]、OPSD [42] 这类共享参数的方法仍会产生歧义。为此，本文对 What 和 How 分别使用三个描述：

• F（fixed，固定）：组件在所分析的循环中不更新；
• C（coupled，耦合变化）：组件和 $\sigma$ 共享参数，因 $\sigma$ 更新而改变，但没有针对其学习功能的直接训练信号；
• L（learned，直接学习）：组件承担的 What 或 How 功能本身受到训练或选择。

对组件 $c\in\{Q,A\}$，固定可以写成：

$$\phi_{c,k+1}=\phi_{c,k}.$$

耦合变化常见于一个 LLM 同时扮演 actor、teacher、critic 或 analyzer 的情况。设这些角色共享参数 $\theta_k$，普通任务损失使

$$\theta_{k+1}\neq\theta_k,$$

于是 $Q_{\theta_{k+1}}$ 也可能不同于 $Q_{\theta_k}$。但是，如果训练目标只要求 actor 更好地完成任务，没有直接评价 $Q$ 生成的学习内容是否更有效，这只能说明 What 随共享状态共同变化，不能自动说明系统学会了“怎样生成更好的学习信号”。

直接学习则要求组件在其功能角色上受到选择：

$$\phi_{c,k+1} = \mathcal M_c\Big( \phi_{c,k}, \mathcal D_k, e_{c,k} \Big).$$

$\mathcal D_k$ 是用于更新该组件的数据，$e_{c,k}$ 是评价其功能输出的证据。这个证据可以来自教师标注、环境结果、下游任务表现或未来任务增益；梯度下降、RL、演化搜索和模型选择都可以实现 $\mathcal M_c$。其中最强、也最符合本文目标的证据是：

$$e_{c,k}\approx\widehat{\Delta J}_{\mathrm{future}},$$

也就是该组件造成的学习更新是否真的改善了未来表现。使用教师经验训练 $\phi$ 仍然属于直接学习，但应将其监督来源标记为教师，而非未来收益。

F、C、L 是机制状态，不是能力等级。一个固定但设计良好的学习规则完全可能优于尚不稳定的可学习规则；$\phi$ 可学只说明系统有机会改变自己的学习方式，不保证这种改变正确。

同一论文还可能跨阶段变化。例如一个 memory updater 可以在 RL 阶段是 L，在后续使用阶段变为 F。本文用

$$\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{use}}$$

表示“训练阶段直接学出，使用阶段固定”，其中 L 是 learned 的缩写。

3.5 Agent 内部进化中的 What 与 How#

下面的分类首先假设 $\sigma$ 已经可学，然后分别记录 What 和 How。训练期还是部署期只写在“阶段”一栏，不参与高低排序。

方法	主要变化的 $\sigma$	What	How	阶段与依据
Reflexion [14]、ExpeL [15]、Voyager [16]、Agent Workflow Memory [17]、MemGPT [18]、A-MEM [19]、ReasoningBank [40]	episodic memory、经验库或 skill	F	F	任务流中持续更新 memory，但反思、提取和写入规则主要由固定 prompt 或人工流程给出
OPSD [42]	模型参数	C	F	teacher 与 student 共享参数，teacher 的 privileged context、divergence 和更新算法固定，梯度只通过 student；teacher 能力会随共享参数改变
SEED [43]	Agent policy 参数	$\mathrm{L}_{\mathrm{SFT}}\rightarrow\mathrm{C}_{\mathrm{RL}}$	F	初始化阶段用 hindsight-skill 标注直接训练 analyzer；RL 阶段由当前 policy snapshot 生成 skill，但 skill-conditioned teacher 分支 detached，RL+OPD 更新规则固定
Co-Evolution / Self-Guide [21]	生成 guidance 与 action 的共享 policy	L	F	同一个 GRPO 目标直接更新 guidance token 与 action；guidance 被固定映射为内部 reward，但其学习效用没有独立的外层反事实评价
Memory-R1 [49]	memory bank 与回答策略	$\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{use}}$	$\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{use}}$	Memory Manager 用下游答案正确性学习更新内容以及 ADD、UPDATE、DELETE、NOOP 操作；PPO/GRPO 本身仍是固定的更外层算法
MEM1 [32]、Memory-R2 [50]、MemoPilot [51]	compact state 或 memory bank	$\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{use}}$	至少部分 $\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{use}}$	都在训练阶段学习了部分压缩、保留、改写或删除策略，具体可学习范围因方法而异
TTT [22]、aTTT [38]、In-Place TTT [39]、AdaJEPA [55]	参数、LoRA、快权重或 world model	F	F	更新目标、样本构造、梯度算法与调度由研究者固定；它们学习的是 $\sigma$，而不是学习规则本身
Memento [41]、OpenClaw-RL [20]	检索/行为 policy 或模型参数	F	F	环境或用户 reward 可以持续更新行为状态，但 TD、反馈解释和 policy optimization 流程保持固定
SEAL [52]	经 self-edit 后更新的模型参数	L	L（有界）	self-edit generator 由更新后的下游表现训练；除训练数据外，它还能选择数据增强、learning rate、epoch 数和 loss mask，但底层 SFT/LoRA 与可调用工具集合固定
Language Models Need Sleep [48]	经 dreaming 和 consolidation 更新的持久模型	L	F	dream generator 按下游效果继续优化；SFT、筛选、巩固和 wake–sleep 调度固定
TEMPO [58]	test-time actor	L	F	critic 在 test-time 用校准数据更新并决定正负训练信号；policy-gradient 与 critic 更新规则固定
Q-Evolve [59]、Agent0 [60]	policy/executor	L	F	critic 或 curriculum agent 在自进化训练循环中随结果更新；底层 policy update 仍由固定 RL 算法完成
Meta-Rewarding [37]、EvoRubric [45]	policy 或被评模型	L	F	judge 或 rubric generator 直接受到训练，但仍需检查其改进是否真正传递到后续 $\sigma$ 更新
learned optimizer [53]	inner model 参数	F	L	被学习的对象正是参数更新规则；训练数据或任务目标通常仍由外部给定
MetaEvolve [47]	候选程序与搜索历史	$\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{search}}$	$\mathrm{L}_{\mathrm{train}}\rightarrow\mathrm{F}_{\mathrm{search}}$	反思与修改策略先由 RL 培养，在新问题的 inference-time search 中固定执行；候选状态仍能在局部搜索中持续改进

这个表格也说明，判断 $\phi$ 是否可学必须先固定所分析的角色。以 Memory-R1 为例，如果 $\sigma$ 指 memory bank，那么 Memory Manager 就是决定 What 和 How 的 $\phi$；如果把问题改成“怎样训练 Memory Manager 的参数”，那么这些参数又成为更外层循环中的 $\sigma$，PPO/GRPO 则成为新的固定更新规则。任何学习系统都可以继续向外追问一层，因此本文只分析论文声称要改进的那一次状态更新，不无限递归到“谁来学习学习器的学习器”。

Self-Improving VLM Judges [44]、CL-Bench [57] 与 SEAGym [54] 不直接放入表中：前者主要改进评价器，后两者是评测环境。它们可以提供 $e_{c,k}$，但只有当这些信号实际改变 $Q_{\phi_q}$、$A_{\phi_a}$ 或 $\sigma$ 时，才构成完整学习循环。RF-Agent [46] 搜索 reward code，也需要进一步区分：被搜索的是 Agent 内部的 What，还是外部实验系统为下一轮训练挑选出的配置。

3.6 RSI：系统级 How#

上述 Agent 方法主要在已有 LLM 系统内部更新参数、memory、skill 或训练信号。Recursive Self-Improvement（RSI）进一步把 Agent scaffold、代码、训练流程和评价机制本身纳入修改范围。普通的内部学习循环可以写成：

$$\sigma_{k+1} = A_{\phi_{a,k}}(\sigma_k,z_k),$$

而系统级 RSI 更接近：

$$\big( \sigma_{k+1}, Q_{k+1}, A_{k+1}, \mathcal E_{k+1} \big) = R_k\big( \sigma_k,Q_k,A_k,\mathcal E_k,H_k \big).$$

$\mathcal E_k$ 是定义“改进是否成功”的 evaluator。该式表示 RSI 不只吸收新知识，还可能改写产生学习内容的 $Q$、执行状态更新的 $A$、工具和 orchestration code，甚至评价下一次改进的 $\mathcal E$。从本文的语言看，RSI 的主要对象更接近系统级 How。

近期 RSI 综述 [30] 区分了 bounded self-refinement 与 open-ended RSI：前者在固定 evaluator 下反复优化，后者还试图改变改进 machinery 或评价机制本身。这个区别十分关键，因为修改代码不自动等于完整 RSI；如果最外层的候选生成、选择、验证和资源分配仍由人固定，系统只学到了部分 How。

Darwin Gödel Machine [63] 是代表性例子。它让 coding agent 修改自己的代码、工具和 workflow，再用 coding benchmark 评价新版本；较好的版本进入 archive，并能产生下一代修改。因此，被修改的 Agent 确实改善了自身后续自我修改能力。但其 foundation model 保持冻结，archive maintenance、parent selection、open-ended exploration 和 benchmark evaluator 仍是固定外层机制。它展示的是固定外环之内的系统级 How 演化，而不是整个改进过程都已递归可学。

这也给本文划定了边界。内部持续学习关注同一个 LLM Agent 如何把经验压缩进参数或持久状态，当前论文主要在学习 What，并开始触及人类式的有界 How。RSI 则允许系统改写 scaffold、代码、工具和训练流程。两者可以结合：RSI 改进基础学习架构，内部学习控制器负责在持续任务流中调节 When、Where、Strength、Replay 和 Consolidation。但代码级自修改不应替代对 LLM 内部学习机制的研究。

3.7 从论文分布看到的研究缺口#

从上述论文可以看到三个较为集中的研究趋势。

第一，大多数 Agent self-evolving 方法已经能够改变 $\sigma$，差异主要不在“是否学习”，而在学习内容和可塑性控制由谁决定。Reflexion、OPSD、TTT 等采用固定规则；SEED 让 analyzer 随共享 policy 耦合演化；Sleep、TEMPO、Q-Evolve 和 Agent0 主要对 What 施加更直接的训练信号。

第二，近期 Agent 工作主要集中在学习 What：生成经验、reward、critic、课程、rubric、dream 或 self-edit。真正学习内部 How 的工作明显更少。Memory-R1 在受限的 memory 操作空间里学习 ADD、UPDATE、DELETE、NOOP；SEAL 在人工提供的工具集合内选择数据增强、学习率、训练轮数和 loss mask；learned optimizer 则直接学习参数更新规则。但对于通用 LLM Agent，何时更新、写入哪一层状态、更新多强、怎样 replay 和巩固、如何避免遗忘，通常仍由研究者固定。RSI 虽然更广泛地探索系统级 How，却往往依赖冻结模型和固定外层搜索。

第三，$\phi$ 可学与自主持续学习不是同义词。教师标注可以训练 $\phi$，当前任务 reward 也可以训练 $\phi$，但它们未必衡量某次更新对未来任务的真实价值。因而分析一篇论文至少要回答三个问题：

1. 哪个持久状态 $\sigma$ 在改变？
2. What 与人类式 How 分别是 F、C 还是 L，在哪个阶段发生？
3. 更新 $\phi$ 的证据来自教师、当前任务结果，还是未来任务收益？

本文后续真正关心的是第三种信号：系统不仅能改变自己的学习方式，而且这种改变由未来能力的提升约束。理想系统可能不是无约束地重写整个学习算法，而是在可靠的基础可塑性机制上，同时学会从经验中提取 What，并用未来收益调节 When、Where、Strength、Replay 和 Consolidation。它比“$\phi$ 是否可学”更难，却决定了自进化会积累能力，还是只会积累偏差。

---

待写大纲#

§2 待插入小节：反馈的稀疏性与学习信号的构造（位置：2.2 与 2.3 之间）#

• 真实 Agent 任务的 $r_k^g$ 是稀疏的（项目里程碑、终局胜负、人类事后评价），$f_k$ 需要被构造而非环境白给
• 六类构造机制：价值自举（TD/AlphaZero/PRIME）；学验证器把结果变过程（PRM、Math-Shepherd、WebRL、GiGPO [61]）；自产反馈（Reflexion、Absolute Zero）；任务分解人造里程碑（PAE [62]、自动课程）；塑形与知识注入（potential shaping、Text2Reward、Eureka、LIRPG/meta-gradient）；环境自带细粒度结构（RLTF、SWE-RL、编译器报错）
• meta 观察：稠密化器（value net、PRM、奖励代码、出题器）常被固定，也可能只随共享 $\sigma$ 耦合变化。EvoRubric [45]、RF-Agent [46] 等会在训练阶段改进奖励生成器，但仍需检查该生成器是 What 的直接学习、外部实验搜索，还是没有实际驱动 $Q$ 或 $A$；与 §2.3 上界链闭环：学习上限由信号信息量决定

§4 Meta 视角下的三个核心难题#

• §4.1 内层→外层的固化：ICL 的适应如何写入权重——OPD/自蒸馏路线；失败条件（Rethinking OPD [23]：thinking-pattern 兼容性、genuinely new capabilities、overlap 动力学）→ “给了提示不等于会按提示执行”
• §4.2 学习信号的二阶性：$f_k$ 评价行为，$\Delta C$ 评价学习；“什么值得学”本身是 meta-level 学习问题；$\widehat{C}\neq C$ 与 self-hacking 风险
• §4.3 多时间尺度与辅助约束：token/action/episode/batch 分层；辅助约束与辅助目标——载体取舍（context vs 参数更新）与遗忘缓解一并讨论。作者的倾向：参数更新，理由有二：(a) context 不可能无限加长——softmax 归一化使注意力质量总和恒为 1，长上下文中相关信息被稀释（lost in the middle [26]、attention sink [27]、多轮退化 [31]），且注意力成本随长度增长；(b) 学习是压缩过程——$\sigma_k$ 是压缩状态，区别于完整历史 $H_k$，参数是对经验的有损压缩（可类比互补学习系统理论的记忆巩固 [28]）。参数路线的代价是遗忘风险，故遗忘缓解（EWC [13]、重放等）必须作为配套约束。注意区分：引子批评的是”离线批量的参数更新”这一形态，参数更新本身不在批评之列；理想形态是在线、随交互发生的参数更新。混合/稀疏注意力只能缓解稀释，无法根治（稀疏砍竞争集合、线性支路换成状态干扰问题）。成本与 evaluator 分离也在此节（压缩重写 07-18 的双曲线思想，补文献锚点）

§5 总结：$\phi$ 从设计对象到优化对象#

• 自主性清单：学习内容构造 $Q$ 与状态更新方式 $A$ 是否在部署期继续学习；更新时序与快慢时间尺度作为 $A$ 的重要子问题单独审计
• 两个相互依赖的研究方向：评价”学习价值”的估计器 + 低成本不遗忘的更新机制

---

参考文献（待补）#

[1] Mitchell, Machine Learning, 1997
[2] Thrun & Pratt (eds.), Learning to Learn, Springer, 1998
[3] Hospedales et al., Meta-Learning in Neural Networks: A Survey, 2020
[4] Finn et al., Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (MAML), 2017
[5] Duan et al., RL²: Fast Reinforcement Learning via Slow Reinforcement Learning, 2016
[6] Wang et al., Learning to Reinforcement Learn, 2016
[7] Tao et al., A Survey on Self-Evolution of Large Language Models, 2024
[8] Fang et al., A Comprehensive Survey of Self-Evolving AI Agents, 2025
[9] Gao et al., A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve, TMLR 2026
[10] Ren et al., Self-Improvements in Modern Agentic Systems: A Survey, 2026
[11] （skill 与载体正交，出处随 [10] 或另立）
[12] McCloskey & Cohen, Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem, 1989
[13] Kirkpatrick et al., Overcoming Catastrophic Forgetting in Neural Networks (EWC), 2017
[14] Shinn et al., Reflexion: Language Agents with Verbal Reinforcement Learning, 2023
[15] Zhao et al., ExpeL: LLM Agents Are Experiential Learners, 2024
[16] Wang et al., Voyager: An Open-Ended Embodied Agent with Large Language Models, 2023
[17] Wang et al., Agent Workflow Memory, 2024
[18] Packer et al., MemGPT: Towards LLMs as Operating Systems, 2023
[19] Xu et al., A-MEM: Agentic Memory for LLM Agents, 2025
[20] OpenClaw-RL: Train Any Agent Simply by Talking, 2026
[21] Wang et al., Co-Evolution of Policy and Internal Reward for Language Agents, 2026
[22] Akyürek et al., The Surprising Effectiveness of Test-Time Training for Abstract Reasoning, 2024
[23] Li et al., Rethinking On-Policy Distillation of Large Language Models, 2026
[24] OpenClaw，开源自托管个人 AI 助手框架（软件项目，非论文）
[25] Hermes Agent，开源”自进化”Agent 框架：三层记忆 + 动态 Skill + 离线 GRPO 训练闭环（软件项目，非论文）
[26] Liu et al., Lost in the Middle: How Language Models Use Long Contexts, 2023
[27] Xiao et al., Efficient Streaming Language Models with Attention Sinks, 2023
[28] McClelland et al., Why There Are Complementary Learning Systems in the Hippocampus and Neocortex, 1995
[29] Baxter, A Model of Inductive Bias Learning, JAIR 2000
[30] Chen et al., Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops, 2026
[31] Laban et al., LLMs Get Lost in Multi-Turn Conversation, 2025
[32] Zhou et al., MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents, 2025
[33] Harlow, The Formation of Learning Sets, Psychological Review, 1949
[34] Huang et al., Self-Improvement in Language Models: The Sharpening Mechanism, 2024
[35] Yue et al., Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?, NeurIPS 2025
[36] Yuan et al., Self-Rewarding Language Models, 2024
[37] Wu et al., Meta-Rewarding Language Models: Self-Improving Alignment with LLM-as-a-Meta-Judge, 2024
[38] Wang et al., No Time Like the Present: Agentic Test-Time Training for LLM Agents, 2026
[39] Feng et al., In-Place Test-Time Training, 2026

[40] Ouyang et al., ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory, 2025
[41] Zhou et al., Memento: Fine-tuning LLM Agents without Fine-tuning LLMs, 2025
[42] Zhao et al., Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models (OPSD), ICML 2026
[43] Wu et al., SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning, 2026
[44] Lin et al., Self-Improving VLM Judges Without Human Annotations, 2025
[45] Guan et al., EvoRubric: Self-Evolving Rubric-Driven RL for Open-Ended Generation, 2026
[46] Gao et al., RF-Agent: Automated Reward Function Design via Language Agent Tree Search, 2026
[47] Wu et al., Teaching LLMs to Self-Evolve: Cultivating Core Meta-Skills with Reinforcement Learning (MetaEvolve), 2026
[48] Behrouz et al., Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories, 2026
[49] Yan et al., Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning, 2025
[50] Yan et al., Memory-R2: Fair Credit Assignment for Long-Horizon Memory-Augmented LLM Agents, 2026
[51] Cai et al., From Player to Master: Enhancing Test-Time Learning of LLM Agents via Reinforcement Learning over Memory (MemoPilot), ICML 2026
[52] Zweiger et al., Self-Adapting Language Models (SEAL), 2025
[53] Andrychowicz et al., Learning to Learn by Gradient Descent by Gradient Descent, NeurIPS 2016
[54] Zheng et al., SEAGym: An Evaluation Environment for Self-Evolving LLM Agents, 2026
[55] Wang et al., AdaJEPA: An Adaptive Latent World Model, 2026
[56] Behrouz et al., Nested Learning: The Illusion of Deep Learning Architectures, NeurIPS 2025
[57] Asawa et al., Continual Learning Bench: Evaluating Frontier AI Systems in Real-World Stateful Environments, 2026
[58] Zhang et al., TEMPO: Scaling Test-time Training for Large Reasoning Models, 2026
[59] Zhang et al., Self-evolving LLM Agents with In-distribution Optimization (Q-Evolve), ICML 2026
[60] Xia et al., Agent0: Unleashing Self-Evolving Agents from Zero Data via Tool-Integrated Reasoning, 2025
[61] Feng et al., Group-in-Group Policy Optimization for LLM Agent Training (GiGPO), 2025
[62] Zhou et al., Proposer-Agent-Evaluator: Autonomous Skill Discovery for Foundation Model Internet Agents (PAE), ICML 2025
[63] Zhang et al., Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents, 2025
[64] Piray and Daw, Computational Processes of Simultaneous Learning of Stochasticity and Volatility in Humans, Nature Communications 2024
[65] Peyrache, A Pas de Deux between the Hippocampus and the Cortex during Sleep, Nature Reviews Neuroscience 2024