7 月 4日,前OpenAI 研究与安全副总裁Lilian Weng(翁荔)发布了一篇长文,深入探讨Harness Engineering如何成为AI递归自我提升的关键。
AI 递归自我改进(Recursive Self-Improvement,简称 RSI)一直是行业热议的方向。长久以来,大家普遍认为,想要实现这一目标就要让模型自主修改权重与代码。但翁荔在 2026 年 7 月发布的这篇综述博客提出颠覆性判断:短期内可落地的 RSI 不会从修改模型权重起步,而是先优化模型外部的运行系统 ——Harness。
什么是 Harness
如果把大语言模型比作汽车的发动机,Harness 就是整套整车控制系统、操作系统、配套工具与调度流程,是连接模型与真实世界的完整软件系统:
- 负责调度模型思考、任务规划、工具调用、子智能体并行执行;
- 管理上下文、持久化存储任务日志、代码、实验记录等长期状态;
- 内置评估校验、权限管控、失败复盘、迭代更新的闭环逻辑;
主流代码智能体(Claude Code、Codex、Cursor)的能力差距,绝大部分并非来自底层模型,而是Harness 的设计优劣。
翁荔将 Harness 类比为计算机操作系统:对内封装复杂调度逻辑,对外提供简洁统一接口。未来行业会逐步统一工具、配置、流程标准,形成标准化智能体运行基础设施。
Harness的三种设计模式
传统智能体框架仅包含大模型、记忆、工具、规划,而Harness在此基础上新增自动化流程、持久化状态、评估校验、权限隔离、子智能体调度五大核心模块。翁荔总结了三种核心设计模式,也是所有自改进系统的底层骨架。
模式一:工作流自动化
定义一个让模型能够操作、测试和迭代的工作流是自动化的关键。Karpathy的autoresearch仓库就是一个例子。典型的工作流遵循“接收任务→规划步骤→执行工具→观测结果→复盘优化→重新执行”的目标导向循环,直到达成目标。
简化的Codex智能体循环
模式二:文件系统作为持久记忆
长周期任务(科研、大型项目开发)会产生海量日志、代码、实验数据,全部塞进模型上下文会直接超限、信息丢失。驾驭层采用**文件系统做长期记忆,**短期临时信息放上下文窗口,长期完整执行记录、失败轨迹、实验结果落地存储为文件;模型通过 bash、文件读写指令随时调取历史记录,中断后可恢复任务,无需重复生成全部历史对话。
该能力已经成为大模型基础必备技能,模型读写文件的能力越强,长期任务稳定性越高。
模式三:子智能体和后端任务
Harness可以生成多个子智能体并行执行,同时监控后端任务。主智能体统一调度创建、终止、监控子任务,汇总多分支实验结果;子智能体输出全部存入文件日志,不会污染主线程上下文。该模式主要适用于多组实验并行跑、多方案同步验证、拆分独立子任务批量处理等场景。
Harness优化的演进路径
翁荔梳理出一条清晰的优化递进链条:指令提示词 → 结构化上下文 → 工作流 → Harness代码 → 优化器代码。随着模型推理能力变强,人类可交给 AI 自主优化的对象越来越复杂,整体分为五大优化方向。
(1)上下文工程
长周期 Agent 任务中,工具返回、多轮推理内容不断堆积,上下文冗余、关键信息丢失是核心痛点,上下文工程就是专门解决该问题的技术体系。
**1.ACE(Agentic Context Engineering)**把上下文视为一本不断更新的操作手册,而不是一条不断延长的提示词。它通过生成器(Generator)参考现有手册生成任务执行轨迹;反思器(Reflector)从成功和失败的经历中提炼经验;整理器(Curator)把这些经验以条目化的方式更新到手册里。整理器不重写整个提示词,而是输出一个个独立的要点(名称+描述),通过确定性规则合并到上下文中,定期精炼和去重。
**2.MCE(Meta Context Engineering)**进一步把如何管理上下文的机制本身也作为优化对象。MEC在 ACE 基础上增加双层优化:
- 底层:针对当前任务,优化存储、筛选、检索的上下文内容;
- Meta层:进化一套管理上下文的通用技能(Skill),技能包含静态提示词库、动态筛选 / 检索算子;
- 机制:通过交叉融合历史优质技能生成新方案,用验证集筛选最优上下文管理策略。
3.Meta-Harness则再深一层,直接优化管理上下文的整套代码,本质上是一个“用于优化Harness的Harness”。流程包括:初始化一批驾驭层代码→编码智能体读取历史运行分数、轨迹,生成新版驾驭层→验证可用性,仅保留性能提升的候选版本。Meta-Harness的优势是全部执行记录存在文件系统,不需要把海量历史塞进上下文,适配超大规模搜索。
(2)工作流设计
传统工作流由工程师手动编写,现在学术界把工作流抽象为可搜索、可进化的代码 / 图结构,由元智能体自动生成最优流程:
- AI Scientist:完整自动化科研流水线。想法生成→创新性校验→实验调参→消融实验→论文撰写→同行评审;
- Autodata:自动合成训练数据,由挑战者、强弱求解器、验证法官组成闭环,生成难度适中的训练样本。
- ADAS(智能体系统自动设计):元智能体读取历史优秀智能体代码,生成全新工作流,经过两轮自反思校验新颖性,验证后存入方案库循环迭代;
- AFlow:将工作流抽象为图结构,用蒙特卡洛树搜索(MCTS)迭代优化节点逻辑,在问答、代码、数学任务中效果优于 ADAS 与人工流程。
(3)自进化Harness
STOP是早期尝试之一。它的核心思路不是改进某个具体答案,而是改进“改进器”本身,层层递归。实验发现,STOP在GPT-4上能持续提升下游性能,但在GPT-3.5和Mixtral等较弱模型上效果反而退化。这说明递归结构本身并不够,基础模型必须有足够的能力才能改进机制。
Self-Harness则让LLM智能体通过“提出-评估-接受”循环来改进自己的Harness。分为三个阶段:
- 第一阶段:弱点挖掘。当前 Harness 执行任务并收集轨迹,需要区分出表面相同但原因不同的失败模式,收集有足够细节的失败记录。
- 第二阶段:提出改进。同一个模型充当提议者,看当前 Harness 的可修改部分、反复出现的失败模式、哪些通过的行为应该保留、之前改过什么。优先解决反复出现的错误,提出的改进方案要多样而不雷同。
- 第三阶段:验证改进。候选改进先在已有任务上验证不退步,再在新任务上验证能泛化,两边都过关才被接受。接受的改进合并进 Harness。
实验表明,Self-Harness能够学习针对不同基础模型弱点的特定Harness指令。
(4)进化搜索
进化搜索的思路是通过不断变更解决方案,只留下效果好的,反复迭代。它适用于搜索空间庞大且不规则、没法用梯度优化但容易评估效果的场景。
- Promptbreeder、GEPA,仅针对提示词做变异、进化;
- AlphaEvolve面向代码进化,维护程序种群,基于历史优秀代码生成改良版本;
- Darwin Gödel Machine(DGM),直接进化整套Harness代码库,父智能体读取自身运行日志,自主修改自身脚手架,在代码评测 SWE-bench 上超越人工方案。
进化搜索在评估模糊、成本极高的任务中效率低下,仅适合有客观量化指标的场景(GPU 内核优化、算法竞赛、代码生成)。
(5)模型权重 + 驾驭层联合优化
真正完整的自我提升,应该允许模型同时更新自己的权重。
SIA(Self-Improving AI with Harness & Weight Updates)是结合Harness改进和模型参数更新的早期尝试。它设计了三个组件:元智能体(提出初始Harness)、任务特定智能体(执行任务)、反馈智能体(根据最近轨迹决定更新Harness还是模型权重)。
但在实验中不同模块使用模型能力差距过大,实验结论参考性有限。
Harness自我改进面临的七大核心挑战
翁荔结合大量自动科研、自进化 Agent 实验,总结出了当前Harness自我改进面临的七大核心挑战。
- 缺少精准、快速的评估器
当前自改进循环仅在有客观量化指标的工程价值这类模糊目标无法快速验证好坏。没有可靠评估,进化、自改进都会走向无效优化。
- 上下文与全生命周期内存管理难题
随着自主智能体任务周期拉长,日志、实验、中间产物持续膨胀;仅靠长上下文模型无法解决,必须依靠驾驭层的分层存储、自动归档、信息筛选机制,而成熟的长期记忆架构尚未成型。
- 系统天然忽视负向失败结果
训练数据以成功案例为主,AI 会天然倾向产出正向结果,主动回避记录、分析失败实验;但失败案例是优化驾驭层最核心的素材,如何强制系统留存、复盘负面结果是关键难题。
- 进化循环多样性坍塌
演化、强化学习优化会快速收敛到短期高分方案,放弃潜力更大但初期效果差的路径;开放科研这类需要长期探索的场景,极易陷入同质化方案,失去创新能力。
- 奖励劫持(Reward Hacking)风险
系统只会针对给定指标优化:以单元测试为标准就会刻意绕过测试边界,以评测分数为目标就会利用数据集漏洞,无法产出真正可靠、通用的能力;必须把评估、权限管控放在进化循环外部做隔离审计。
- 短期任务最优,长期工程价值缺失
代码智能体可以快速完成单次需求,但不会考虑代码库长期可维护性、兼容性、迭代成本;现有沙箱训练只关注单次任务完成度,无法建模长期工程生命周期价值。
- 人类的定位:不会AI 替代
人类不会被 AI 替代,而是向上转移工作重心:不再手动编写提示词、流程规则,而是定义系统可修改边界、搭建评估体系、在关键决策节点做人工审计,把控自改进循环的底层约束与安全底线。
结语
不难看出,Harness Engineering是现阶段落地 AI 递归自我改进最务实的方向。AI 能力的提升,早已不是单纯依赖模型本身。正如翁荔所说,Harness与核心模型智能之间的边界可能会随着时间推移而模糊,许多Harness的改进最终可能被内化到核心模型行为中。
学AI大模型的正确顺序,千万不要搞错了
🤔2026年AI风口已来!各行各业的AI渗透肉眼可见,超多公司要么转型做AI相关产品,要么高薪挖AI技术人才,机遇直接摆在眼前!
有往AI方向发展,或者本身有后端编程基础的朋友,直接冲AI大模型应用开发转岗超合适!
就算暂时不打算转岗,了解大模型、RAG、Prompt、Agent这些热门概念,能上手做简单项目,也绝对是求职加分王🔋
📝给大家整理了超全最新的AI大模型应用开发学习清单和资料,手把手帮你快速入门!👇👇
学习路线:
✅大模型基础认知—大模型核心原理、发展历程、主流模型(GPT、文心一言等)特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架(LangChain等)实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经
以上6大模块,看似清晰好上手,实则每个部分都有扎实的核心内容需要吃透!
我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~