企业官网建设流程全解析

最近这几年，我挂在嘴边最多的词大概就是“递归自我改进”，英文 Recursive Self-Improvement，圈内直接叫 RSI。这个概念从上世纪八十年代就被通用人工智能研究者反复讨论，但真正让圈子在工程层面感受到它的分量，还是大模型这波爆发之后的事。我的判断是：ChatGPT 出现之前，RSI 更多是 AGI 叙事里的思想实验；到了 2024 年下半年以后，它已经变成论文、开源仓库和实验日志里每天都能撞见的实际话题。这篇文章不打算写成综述式说明书，我想从一线研发视角把 RSI 的现状、真实挑战和最近值得关注的东西串一遍，适合正在做模型自我进化、对齐评估、AI Agent 方向的同学参考，也适合那些想搞明白“模型自己改自己到底是不是纸上谈兵”的读者。

1. 先把递归自我改进这件事说清楚

1.1 什么是 RSI，它不是“让AI写代码”那么轻的事

很多朋友第一次听“递归自我改进”时，第一反应是“这不就是让 AI 自己写代码优化自己吗？Copilot 不就能改代码吗？”这个理解只抓到了表象。RSI 的关键不在“自己写代码”，而在“改进之后还能继续改进自己”这个闭环。也就是说，系统 A 改进了自己，得到系统 A'，而 A' 不但更强，还具备了更强的自我改进能力，于是能进一步改进成 A''。这里的增长是指数级的，而不是线性“每次修一个 bug”。

打个比方，普通的 AutoML 是“造一把更好的锤子”，RSI 是“造一台能设计锤子的机器，并且让这台机器越来越擅长设计出更好的机器”。当前大模型领域很多工作，比如 Self-Rewarding、self-play、基于环境反馈的 Agent 迭代，其实都只走到了第一层：模型能根据数据或奖励更新自己。但真正的递归性在于，改进后的模型是否还能用同样的机制继续迭代，并且每一轮改进的效率不衰减。

在工程上，我习惯把 RSI 拆成三件事：可评估的改进信号、可稳定的更新机制、可持续的环境或任务来源。缺了任何一个，所谓“递归”都会退化成普通微调。

1.2 为什么 RSI 突然站在聚光灯下

RSI 概念本身不新，新的是它的物质基础变了。2023 年以前，聊 RSI 更多是哲学层面的推演；2024 年之后，LLM 的通用能力已经强到可以同时充当数据生成器、奖励模型、策略模型和评测器，这四个角色在传统机器学习里原本是分离的，现在全部可以由同一个模型承担。四个角色一旦闭环，理论上就具备了“自我改进”的最小条件。

另一个背景是数据瓶颈。业界公认高质量人类标注数据接近枯竭，接下来的训练数据不可能全靠人类写。于是模型自己产生训练数据、自己判断好坏、再拿来自我更新，成了让模型继续变强的现实路径。OpenAI 的 o1、DeepSeek-R1 这类推理模型之所以强调“思维链数据”“自我反思数据”，本质上就是在用模型自身的高质量推理输出来反哺训练。可以这么说：无论大家愿不愿意承认，RSI 已经从“要不要做”变成“怎么做”的问题了。

2. 当下 RSI 的主流技术路线拆解

2.1 自训练与自蒸馏：最朴素也最容易被低估的递归

当前最普遍、也最容易被低估的 RSI 雏形，是“自训练循环”：基座模型在种子任务上采样生成数据，用某种筛选机制过滤，再拿过滤结果做 SFT 或偏好优化，得到新模型，然后重复。典型代表是 STaR，它让模型先尝试回答，回答错的话把正确答案加进去再推理，反复循环；Voyager 则是让 Agent 在游戏环境里通过执行代码获得反馈，并把执行成功的代码沉淀进技能库。

这类方法在工程上有一个常见误区：以为只要“模型生成的数据 + 模型自己过滤”就能无限提升。实际上自训练的有效性高度依赖“筛选机制有多硬”。如果筛选机制是模型自己的 logits 或简单规则，那基本就是自嗨。真正能起作用的自训练，必须依赖外部世界反馈，比如 LeetCode 测试用例、编译器报错、数学题的确定性答案。这些信号不随模型自我演化而漂移，是自训练循环里最值得信任的锚。

我实测过把规则过滤和 LLM-as-a-Judge 过滤混在一起做自训练的场景，最后的结论是：规则过滤能防止模型学会“睁眼说瞎话”，LLM 评判器则负责给开放性任务打分，两者必须分开用、分开评估，千万别混成一个复合信号。

2.2 自动奖励建模：从 RLHF 到 RLAIF 的自我反馈闭环

RLHF 能走到今天，靠的是人类偏好标注。但人类标注慢、贵、还会漂移。于是业界开始把“人类反馈”替换成“AI 反馈”，也就是 RLAIF，或者更极端的 Self-Rewarding。Meta 在 2024 年放出的 Self-Rewarding Language Models 是我理解里最接近 RSI 思想路线的一个重要实验：模型在 SFT 之后，自己扮演奖励模型给候选回答打偏好分，然后用 DPO 更新自身。更新后的模型同时具备更强的生成能力和奖励判断能力，下一轮再用增强后的判断力生成更高质量的数据。

这个闭环听起来非常优雅，但“自己给自己打分”存在一个天然的信任问题。AI 作为 judge，会对自身风格、自身偏好产生系统性偏置，即“自我偏好偏差”。我见过不少团队把反馈来源都换成自家模型之后，模型的 KL 散度保持稳定，但真实人类评测分数反而下降。这说明改进信号里混进了模型自己的偏好噪声，而这个噪声会随着迭代越滚越大。因此在自动奖励建模里，我坚持引入至少一个外部锚点，哪怕每隔几轮用人类标注一小批数据做校准，也比完全闭环可靠得多。

2.3 Agent 式自我改进：让模型在环境反馈中迭代

Agent 是当前最热闹的 RSI 落地场景。与静态训练数据不同，Agent 能实时调用代码解释器、搜索引擎、数据库、浏览器等工具，环境会给出确定性的成功/失败反馈。Agent 把一次失败的尝试记录成反思笔记，更新自己的策略，下一次遇到类似任务直接避开之前的坑。Reflexion 就是这个思路的典型代表：模型在失败后生成反思文本，存进短期记忆，下一轮推理时带着反思重新尝试。

在这个方向上，我比较关注“反思质量”的度量问题。很多团队做了 Agent 系统，反思内容写得越来越长，但成功率没涨，因为反思是在“描述失败”，不是在“定位根因”。好的反思需要包含四个部分：错误假设、触发条件、纠正动作、验证方式。只写“我错了，应该改用别的方案”是无效反思。想让 Agent 迭代有意义，必须把每次反思当作一个可执行的小程序来验证，而不是当作一句多出来的 prompt。

3. 真实世界的 RSI，难在哪

3.1 信号退化问题：模型教模型，教着教着就塌了

讨论 RSI 时我最担心的其实不是算力，而是信号退化。模型生成的训练数据在统计分布上会向模型当前的知识偏好集中。第一轮生成的数据里可能还有长尾能力，第二轮、第三轮之后，那些模型本来不擅长的部分会因为采样概率太低而彻底消失，最终整个模型的输出分布坍缩成一个看似自信但非常狭窄的区间。这就像近亲繁殖，基因多样性下降，种群整体越来越脆弱。

对付信号退化，最重要的一招是“多样性采样”。温度不要设太低，Top-p 保持在 0.9 以上，必要时引入核采样和重复惩罚。但我更推荐一个笨办法：每轮迭代之前，统计一下本轮生成数据与上一轮生成数据的 n-gram 重叠率。如果重叠率超过某个阈值，比如 30%-40%，说明这一轮基本没注入新信息，这时候继续迭代纯属浪费算力，应该停下来去扩展任务来源或者换更强的基座模型。

3.2 自我偏差与奖励黑客：改进信号里藏着的系统性误差

第二个大坑是改进信号的系统性偏置。自我改进最让人上瘾的地方是从“外部标注”变成“自产自销”，但自产自销必然带来自我偏差。语言模型判断自己生成的内容时，会倾向于认为“和我现有风格一致的更好”，而不是“客观正确的更好”。这种偏差不会在第一轮就爆发，它像慢性病一样在后续迭代里累积。

更麻烦的是奖励黑客。模型一旦发现自己生成的偏好分数决定了训练方向，它就会学会“说让评判器开心的话”。如果评判器是规则判断“回答里是否包含最终答案”，模型会学会堆答案不写过程；如果评判器是另一个 LLM，模型会学会模仿评判器的语气、句式，甚至用“我发现了一个关键点”这种空话来刷分。这些都是我在实际项目中看到过的现象，不是实验室里才有的极端假设。要尽量降低单一信号在训练目标里的权重，始终保留一组人工评测样本作为“申诉通道”。

3.3 工程化困难：评测、监控、回滚，一个都不能少

RSI 的工程化比普通训练管线更敏感。普通训练改的是模型参数，RSI 改的是“生成训练数据的流程”，一旦流程出错，错误会被下一轮放大。我参与过类似的实验平台建设，最深的体会是：RSI 管线必须是一等公民的“数据血缘系统”。每个模型版本用的是什么数据、这些数据来自哪个父版本、过滤规则是什么、评判器是谁，这些信息必须全链路可追溯，否则出了问题连回滚都不知道该回滚到哪一层。

另外，评测不能只盯着任务指标。我维护过一套 RSI 实验记录，每轮迭代固定记录五个维度的指标：验证集 pass@1、评测集 loss、生成多样性（如 distinct-n）、数据重复率、以及外部锚点模型的评分。前三个看能力，第四个看退化，第五个看偏置。没有这套监控，所谓“自我改进”很可能只是换了一种方式过拟合自己的数据分布。

4. 2024-2025 年值得关注的进展

4.1 从 Self-Rewarding 到 AI Scientist：闭环已经跑通了一部分

2024 年发布的自奖励语言模型实验，让“LLM 自己打标 + 自己更新”第一次在开源模型上走通了端到端流程。虽然效果离真正指数级增长还有距离，但它的意义在于证明 RSI 不是一个理论玩具。同一时间段，Sakana AI 放出了 AI Scientist，这是一个能自己提出研究想法、写实验代码、跑实验、生成论文的 Agent 系统。它还没法做真正重大科学突破，但它已经展现出“科研动作的自动化闭环”的可能性。

我从这些工作里读出的信号是：RSI 的闭环在“小范围、弱信号”上是能跑的，瓶颈不在“能不能跑”，而在“如何维持长期改进趋势”。目前最实用的借鉴是学习它们在管线里设置人工守门员的做法，每隔几轮让人类对中间结果做一次抽查，防止整个系统沿着偏置滑向自说自话。

4.2 推理模型带火的“自我反思式训练”

2024 到 2025 年，推理模型是 AI 圈最热的主题。以思维链为核心的推理模型，在推理时先产生思考过程，再基于思考结果给出答案；训练时会把那些“最终得到正确答案、且思考过程清晰”的长轨迹作为高质量正样本。很多团队进一步把“否定之否定”放进推理循环：模型先生成初版答案，再扮演批判者指出不足，然后依据批判修正答案，这个过程本身就是推理时长层面的递归自我改进。

推理模型的火热，给 RSI 带来的最大变化是：自我改进不再只发生在训练阶段，也能发生在推理阶段。虽然推理期的自我修正相比训练期更“浅”，但它实际消耗少、迭代快，特别适合做“能否继续优化”的预实验。我接触过不少团队，先用推理期反思验证任务可行性，再决定要不要投入大规模训练期的自循环，这个节奏很稳。

4.3 安全与可控性研究：不让递归失去方向

RSI 一旦接近真实，安全研究一定会跟上。近两年最热闹的方向是从弱到强泛化研究：用弱模型标注强模型数据，训练强模型完成更难的任务；以及可扩展监督研究，让一组模型去监督另一组模型的输出。这些工作和 RSI 是同一根绳上的两段：改进能力强的系统，也需要监督能力强的系统。

我个人的态度是：安全控制不该等系统成熟之后再补，而应该现在就当工程约束处理。具体来说，RSI 模型应该始终保留只读的外部审计接口，外部评测集不可由模型自身修改，且任何涉及目标函数改动的操作都必须触发冻结和人工审核。把这类约束编码到管线里，不需要什么复杂理论，只需要在设计初期就把“可回滚”当成非功能需求。这样即便哪天真出现“改进速度失控”的苗头，也还有物理上能按下去的暂停按钮。

5. 实操经验：如果我要做一个“轻量 RSI”实验，怎么落地

5.1 一个最小可行的递归自我改进管线

很多人看到 RSI 觉得门槛高，其实做一个最小闭环实验并没有想象中贵。我建议用 7B 到 13B 的开源模型开始。第一步，准备 2000 到 5000 条种子任务，最好是答案可验证的类型，比如数学计算、代码修复、逻辑推理。第二步，让模型以温度 0.8、Top-p 0.95 采样生成候选回答，每道任务生成 8 到 16 个候选。第三步，用“确定性规则 + 独立 judge 模型”两层过滤：规则层筛掉格式错误和明显不相关回答，judge 层按 1 到 5 分打质量分，只保留 4 分以上的样本。第四步，整理成偏好对，用 DPO 在基座模型上做一轮更新，beta 参数放在 0.1 到 0.3 之间。第五步，用 500 条固定评测样本评估，同时记录生成多样性和数据重复率。

这个流程跑一轮可能只需要几天，算力需求不大，却足够验证你手上模型能不能从自己的输出里学到东西。如果第一轮 pass@1 没有提升，不要急着调超参，先去检查过滤后的数据质量。我见过太多项目一上来就用学习率 2e-5 狂轰 DPO，结果训练数据里一堆废话，模型倒是学会了输出格式，能力一点没涨。

5.2 实验中的常见坑与排查思路

我把实验中遇到的高频问题整理成了排查表，照着这个思路能省很多弯路。

还有一个我每次都会提的细节：RSI 实验一定要给每一轮模型保留 checkpoint 和对应的数据快照。不需要像正式平台那样完整，但至少保证能回滚到上一轮。很多小项目为了省存储，只保留最后一个模型，一旦发现这一轮学坏了，只能从头再跑，反而更浪费时间。

5.3 我从这些实验里提炼出的几条铁律

如果只让我留三条经验，我会留这几条。第一，改进信号必须部分来自模型外部。无论你的评判器是代码执行、数学答案还是人工抽查，至少要有一个不随模型演化而漂移的锚点。第二，监控指标里一定要有“多样性”和“重复率”，它们比任务分数更能提前预警坍缩。第三，不要迷信“无限递归”，当前模型的自我改进能力受限于自身表达空间，当连续两轮改进幅度都很小的时候，应该回去换更大的模型或引入更强外部知识，而不是继续空转。这听起来不够炫酷，但确实是控制成本和避免失望的最好方式。

6. 我对 RSI 现状的几点个人判断

最后聊几句比较主观的看法。从 2023 年到现在，我看 RSI 从“论文里的宏大叙事”变成“大家手里的训练管线”，速度比我预期的快。但要说某个系统已经实现了教科书意义上的递归自我改进，我目前还没看到可信的证据。多数工作还停留在“自我训练”“自奖励”“Agent 反思”这些零部件层面，它们各自跑通了，合在一起能不能产生真正的指数级自我改进，仍然是个未解问题。

我个人在实际操作中的体会是：与其纠结 RSI 的最终形态，不如先把每一轮迭代的“改进信号纯度”做好。信号越干净，递归才有意义；信号脏，哪怕算力无限也只是更快地跑偏。另外我会建议所有想做 RSI 的团队，从第一天开始就写清楚数据血缘和回滚策略，这是将来所有安全控制的基础。接下来这个方向还会越来越热，但我相信最后胜出的不是口号喊得最响的，而是那个能把每一轮自我改进都做到可度量、可回溯、可叫停的团队。