企业官网建设流程全解析

先问一个问题。你上线了一个 Agent，它今天犯了个错，你手把手给它改对了。明天它遇到同样的问题，还会犯吗？如果不会，说明这个 Agent 在"学"。如果会，那它本质上和你三个月前写的那段 if-else 没有区别，只是换了个更贵的概率外衣。

这段时间我聊了不少做 Agent 落地的人，大家普遍卡在一个认知盲区：我们只花了力气让 Agent “能干活”，却很少有人认真设计它"怎么从干活里变好"。一个静态 Prompt 驱动的 Agent，部署那天是什么水平，半年后还是什么水平，用户骂了一万次它都不会改。这就像一个永远不长记性的员工，今天教他一次，明天依然原样犯错。这篇我想把这件事的内幕拆开：智能体到底靠什么机制从使用中变好，这个闭环长什么样，以及最关键的安全边界在哪里。

静态 Prompt 的天花板，是它永远是出厂设置

要理解自进化的意义，得先看清静态 Prompt 的本质局限。一个靠 Prompt 驱动的 Agent，整套行为在部署的那一刻就冻结了。Prompt 是给模型的"出厂说明书"，它规定了角色、约束、步骤和输出格式，但说明书不会自己改自己。

更根本的在于，Prompt 能调度的知识有三个上限。第一是训练截止，模型不知道截止日之后发生的任何事；第二是上下文窗口，你把再多规矩写进 Prompt，一次推理能看到的只是那几万字，超出就丢；第三是它没有"个人经验"，它不记得上周三你纠正过它的那个命名规范，也不记得某个客户项目里踩过的坑。这三个上限加在一起，意味着一个纯 Prompt Agent 的能力完全由"写 Prompt 那一刻的人类智慧 + 底座模型的训练语料"决定，部署之后是一条平线。

我见过很多团队把精力全砸在调 Prompt 上，指望靠一句精妙的 system prompt 解决一切。结果就是：调得再好，Agent 还是在重复犯同一类错，因为错误的根因不在"它没听懂指令"，而在"它没有把这次失败变成下次的经验"。真正拉开差距的，是把"使用"本身变成"训练信号"的那套机制。这就是 Learning Loop。

Learning Loop 的基本骨架：五步闭环

自进化 Agent 的底层，是一个持续运行的闭环节制。它跑在 Agent 正常运行之外，是一条"元循环"。我把它拆成五步，每一步都不是装饰，缺一个这个环就转不起来。

第一步，执行（Execute）。Agent 在正常生产里干活，调工具、做推理、和用户交互。这是数据的发生地，没有真实运行就没有任何可学的东西。闭门造车的训练数据价值有限，真实流量里的长尾和意外才是金矿。

第二步，观测（Observe）。把每一次运行的完整轨迹留下来：用户给的原始输入、Agent 的最终输出、中间的工具调用和返回、用户的后续反应（是采纳了、修改了、还是直接关掉了）。这一步的关键是"全量留痕"，很多团队只存成功案例，等于故意扔掉了最该学的那部分。

第三步，评估（Evaluate）。拿到轨迹之后要打分。分数可以来自几个来源：人工标注的对错、用户隐式反馈（采纳率、停留时长、二次修改次数）、以及自动化评估器（基于规则的校验、LLM-as-Judge 的语义评分、任务成功率的客观指标）。没有评分，观测到的一切只是噪音。评估器是这个环的"眼睛"，它的质量直接决定 Agent 往哪个方向进化。

第四步，沉淀（Crystallize）。这是最有讲究的一步。原始轨迹不能直接喂回去，必须被加工成某种"可复用的经验形态"。它可以沉淀成四类东西：其一是训练数据，把"输入 + 正确输出"配对后用于监督微调，把"好回答 vs 坏回答"配对后用于偏好学习；其二是记忆，把某个项目的背景知识、用户的偏好写入向量库或结构化存储，下次检索增强时用；其三是 Skill，把反复验证有效的操作流程固化成可复用的能力包（一套 prompt + 脚本 + 资源的组合），下次遇到同类任务直接调用而不是重新摸索；其四是规则，把踩过的坑写成显式约束，反写回 Prompt 或护栏。这一步的本质，是把一次性的经验"结晶"成可迁移的资产。

第五步，再部署（Redeploy）。沉淀出来的资产要重新作用到生产里的 Agent 上。形式可以不同：微调后的新权重替换旧模型、检索库更新让 Agent 看到新知识、新 Skill 注册进能力清单、新规则进护栏。再部署之后，Agent 在新一轮执行里表现不同，又产生新轨迹，闭环重新转动。

这个闭环和前面说的 Loop Engineering 不是一回事。Loop Engineering 是 Agent 单次任务内部的"思考-行动-观察"小循环，是它完成一件事的方式；Learning Loop 是跨任务的、跨时间尺度的元循环，是它作为整体如何随使用变好。一个管"这一次怎么做对"，一个管"下次整体更强"。

持续学习的几种范式，本质区别在"沉淀成什么"

上面说的"沉淀"一步，落到工程上有几种成熟范式，它们的分水岭在于经验被加工成了哪种形态、以及更新发生在哪一层。

第一种是基于反馈的监督微调（Feedback-based SFT）。做法是收集人工修正或高置信度正确的 (输入, 输出) 对，周期性地微调基底模型。比如客服 Agent 把人工坐席改写过的回答收集起来，作为新的监督样本重新训练。它的好处是改的是模型权重本身，能力泛化到所有相关场景；代价是训练成本高、周期长、有灾难性遗忘风险。适合那些"高频且模式稳定"的错误类型。

第二种是偏好学习（Preference Learning）。当"对错"难以用单一标准定义，更现实的是收集"哪个更好"。这里就是 RLHF 和 DPO 的用武之地。你把同一问题的两个回答按质量排个序，训练目标不是拟合某个绝对答案，而是让模型学会区分好坏的分布。GRPO 这类方法在推理型任务里特别有用：它不需要独立的奖励模型，直接用一组采样回答的相对优劣作为优势估计来优化策略。偏好学习解决的问题，是很多真实任务里没有标准答案、只有"相对好一点"这种信号。它比 SFT 更贴合人类模糊的评判习惯，但对偏好数据的质量和一致性极其敏感，脏偏好数据比没有数据更危险。

第三种是基于评估的自动迭代（Eval-driven Iteration）。这是工程上最容易起步的一种。你不改模型，而是靠评估器驱动 Agent 的"外围"持续进化。具体做法：用一个自动评估集（一批覆盖典型场景的输入和评分标准）反复跑 Agent，发现问题后改 Prompt、改检索策略、改 Skill，再跑评估看指标是否提升。GitLab、Cursor 这类产品背后大量的 Agent 调优，本质是这样的人力迭代循环。更进一步，可以引入 LLM-as-Judge 自动发现失败案例，再自动生成修复方案做自我博弈（self-play），由评估门禁决定哪些修复能合入。这条路的优点是安全、可逆、不碰权重；缺点是它改的是"行为策略"而非"模型智商"，遇到基座模型天赋不够的任务无能为力。

第四种是记忆与检索增强的长期演化（Memory / RAG-based Evolution）。这是我个人认为最被低估、也最贴近"从使用中变好"直觉的一条路。它的思想是：Agent 不追求改权重，而是把每次交互中学到的"事实性经验"存进长期记忆，下次通过检索把这些经验拉回上下文。一个项目型 Agent 在第一个月里逐步记住了客户的代码规范、常用依赖、历史决策理由，第二个月它表现出的"懂行"不是因为模型变了，而是因为记忆库厚了。这条路的工程成本低、实时性强、可解释、且天然支持个性化（每个用户/组织有自己独立的记忆空间）。代价是检索质量和记忆去重/遗忘机制很难做，存了一堆垃圾记忆反而拖垮上下文。

回到选型的本质，决定用哪条路的核心变量是两个：延迟要求，以及能否承担动权重的代价。需要秒级响应、又要记住某个客户的怪癖，记忆层是唯一答案；可以接受天级延迟、又想要整体能力跃升，微调才划算；连权重都不敢动的高风险场景，评估驱动的外围迭代是唯一能睡安稳觉的路。很多团队一上来就想着微调，其实先在记忆和评估两层把闭环跑通，性价比最高，等信号真正确认了再动模型也不迟。

这四种范式不是互斥的，成熟的自进化系统往往是分层叠加的：记忆层负责低延迟、个人化的即时演化；偏好和 SFT 层负责周期性、全局的能力提升；评估驱动层负责日常的行为修补。我见过一个做得好的内部 Agent，它同时跑了记忆库、每周一次 DPO 微调、和一条持续运行的评估流水线，三者各自填不同的坑。

数据飞轮与冷启动：闭环转起来的前提

这套机制最迷人的地方，是它理论上能形成数据飞轮：Agent 用得越多，产生的轨迹越多，评估出的好数据越多，沉淀出的资产越厚，Agent 变得越好用，于是用的人更多、场景更广，又产生更多数据。飞轮一旦转起来，后来者几乎无法追赶，因为护城河不是模型，而是那条越滚越大的数据闭环。

但飞轮有个残酷的前提：它得先转起来。冷启动是最难的。一个刚上线的 Agent 没有真实轨迹、没有用户反馈、没有偏好数据，闭环的第一圈就转不动。破解冷启动的常见手段有几类。其一，种子数据引导：用人工编写的高质量范例和合成数据先把评估集和训练集铺一层底，别指望一开始就有真实数据。其二，合成数据生成：用更强的模型（或同模型加约束采样）批量造出 (问题, 好回答) 对，先喂饱 SFT。其三，人肉标注兜底：早期关键场景靠人工标注和修正，把人当作第一个评估器，用成本换数据。其四，影子模式积累：让 Agent 先只记录不执行，大量真实交互进来看它"会怎么做"，攒够数据再谈自进化。

冷启动阶段最忌讳的是"为了转飞轮而放宽质量关"。飞轮有正反馈也有负反馈，如果早期喂进去的是噪声和错误，闭环会把这些错误放大成系统性偏差，越转越歪。所以冷启动期反而要更严格地把关进入闭环的数据质量，等信号稳定了再逐步放开自动化比例。

范式不是选择题：分层叠加才是正解

讲到这里有个常见误区，就是非要在 SFT、偏好学习、评估迭代、记忆增强里挑一种。真实系统里它们是分层的，各管一层，缺了哪层都有短板。记忆层解决延迟和个性化的即时演化，今天踩的坑明天就别再踩；评估驱动层解决行为习惯的持续修补，不用动权重就能把表现稳住；SFT 和偏好学习解决全局能力的周期性跃升，代价是训练成本和遗忘风险。一个成熟的 Agent，往往是记忆打底、评估天天跑、微调每周一次，三层叠加。

举一个具体的例子。一个代码审查 Agent，记忆层存下每个仓库约定俗成的规矩（命名风格、被禁用的 API），这是低延迟且个性化的；评估层每天拿一批真实 PR 跑自动检查，发现它又开始放行某种并发 bug 就立即改策略;偏好层每周把资深 reviewer 的修改聚成 DPO 数据，让模型对"什么是好 review"的理解整体上一个台阶。三层各跑各的，合起来才是一个会成长的 reviewer，而不是一个昙花一现的 demo。

自改进的安全边界：最该敬畏的地方

自进化听起来很美，但它是把双刃剑。一个会自我改写的系统，最危险的地方在于：如果闭环里的某个信号错了，它会把错误自动化、规模化、长期化。这部分是整个设计里最该花心思的，我分几个维度讲。

第一，避免强化错误行为。这是自改进的头号陷阱，学术上叫奖励黑客（Reward Hacking）或奖励漂移。如果你的评估器只盯着"用户停留时长"，Agent 可能学会用冗长废话拖住用户；如果你的偏好数据里混了大量"看起来 fancy 但其实错误"的回答，DPO 训练会把模型往错误方向推。更隐蔽的是分布漂移：Agent 自己生成的数据再训练自己，一代代迭代后可能飘到人类分布之外，表面上指标好看，实际能力塌方。对抗手段是用人类强约束的"黄金评估集"定期锚定真实能力，不让自动指标完全取代人类判断。

第二，人在环门禁（Human-in-the-loop Gate）。任何把沉淀资产重新部署到生产的动作，都应该有一个人工确认节点。新的微调权重上线前要人审，新增的 Skill 要先在沙箱验证，写入记忆的"事实"要可追溯可质疑。这不是不信任自动化，而是因为自进化的错误成本极高，一次错误的全局部署可能污染成千上万次后续交互。人在环放的不是全流程，而是最关键的"合入"决策点。

第三，回滚与版本隔离。自进化系统必须保留每一个历史版本，并且能一键回退。新权重跑了半天发现某类指标诡异下滑，要能立刻切回上一版。更进一步，做灰度：新资产先对小流量生效，对照组用旧版本，指标确认正向才全量。回滚能力的存在本身，就让团队敢去尝试更多自进化动作，因为它知道最坏情况只是退回去。

第四，评估门禁自动化。除了人审，还要有自动化的硬指标门槛：新版本在核心评估集上的成功率不能低于旧版本某个阈值，幻觉率不能上升，成本不能超预算。这些门禁由流水线自动卡，卡住的直接拒合，不给人情面空间。我强烈建议把"评估门禁"做成不可绕过的 CI 环节，而不是靠工程师自觉。

第五，防遗忘与范围限定。每次微调都可能让模型忘了旧能力（灾难性遗忘）。对策是训练时混入历史核心样本，以及在部署后持续监控旧能力的指标。同时，自进化的改动应该限定在"经验与策略"层面，而不是去乱动底层模型的基础能力边界，避免不可控的全局漂移。

这几条安全边界合在一起，本质是一句话：自进化系统必须有"刹车"，而且刹车要比油门可靠。没有回滚、没有门禁的自改进，不是进步，是给系统装了一台没有方向盘的加速器。

和静态 Prompt 的本质区别，一句话说清

把这些讲完，回头看静态 Prompt 和自进化 Agent 的区别，其实就一句话：静态 Prompt 是"写死的指令"，自进化 Agent 是"会积累经验的系统"。前者在部署那一刻能力就封顶，后者把每一次使用都变成下一次更强的养分。

更深一层看，它们的工程重心完全不同。纯 Prompt 路线的核心是"怎么把话写清楚"，投入产出在部署那一个点就结束了；Learning Loop 路线的核心是"怎么把运行数据转成资产再喂回去"，投入产出是随时间长尾递增的。前者像写一份永远不更新的操作手册，后者像养一个会复盘、会记笔记、会随项目成长的同事。手册不会变好，同事会。

再给一个具体的画面。同一个客服 Agent，纯 Prompt 版本在第一天犯的归类错误，第 365 天照样犯，因为它根本没有"记性"，每一次都是重新来过；而带 Learning Loop 的版本，第一次被人工纠正后，那条纠正会沉淀成记忆或训练样本，第二次遇到同类问题十有八九就对了。三个月后两者的差距不是线性的，是指数级的，因为后者每多服务一个用户，就多积累一份让后来用户受益的资产。这恰恰是自进化最迷人的地方，也是它最难做的地方。

我的判断是，接下来真正能拉开企业 Agent 差距的，不是谁的 Prompt 写得更巧，而是谁的 Learning Loop 转得更稳、数据飞轮转得更早、安全边界守得更牢。模型大家都能接，Prompt 谁都能抄，但一个跑了半年、沉淀了几十万条真实交互和偏好的 Agent，是竞争对手抄不走的。这恰恰是架构师该下注的地方：把闭环搭起来，比把单次效果调漂亮重要十倍。这也是为什么我把自进化放在系列靠后的位置，前几篇讲怎么把 Agent 搭起来、跑得稳，这一篇才讲它怎么自己长本事，而它本身正是前面所有工程能力的归处。