☰
小白程序员必看:轻松入门大模型Agent,掌握未来AI核心技能!
2026/9/25 19:46:31 网站建设 项目流程

本文深入解析了LLM Agents的外部化设计,从权重到上下文再到Harness,阐述了能力迁移的三个阶段。重点介绍了记忆、技能、协议三个外部化维度,以及Harness作为工程层的核心作用。文章强调,可靠的Agent能力不仅来自模型内部参数,更来自将认知负担外部化到结构化基础设施中,为初学者提供了清晰的进阶路径。

可靠的Agent能力不仅来自模型内部参数权重,更来自将认知负担外部化到结构化基础设施中。

近期,上交大、中山大学、卡梅隆等发表长文对 LLM Agents中的外部化:记忆、Skills、协议与Harness工程进行了统一综述

借用认知工具(Cognitive Artifacts)理论:Agent基础设施的重要性不仅在于添加辅助组件,而在于将难以解决的认知负担转化为模型能更可靠处理的形式。

图1:外部化作为LLM Agent设计的组织原则

  • 人类认知外部化的弧线(从思维→语言→文字→印刷→计算)
  • LLM Agent对应的外部化弧线:从权重(Weights)通过三个外部化维度——记忆(Memory,外部化状态)、技能(Skills,外部化专业知识)、协议(Protocols,外部化交互)——最终到达Harness( harness系统)。
  1. 从权重到上下文再到Harness:能力的三次迁移

展示了从2022到2026年,研究重心如何从Weights(预训练、Scaling Law)转向Context(RAG、长上下文),再到Harness(MCP工具生态、安全、多Agent协作)。

图2:社区主题在三个能力层次上的演变

2.1 权重时代(Weights):内在知识的局限

早期的现代LLM部署几乎完全依赖模型参数。预训练将统计规律、世界知识和推理习惯压缩进权重中。Scaling Law揭示了参数规模与性能的可预测关系。

局限:知识更新困难(需要重新训练)、难以审计(知识分散在数十亿参数中)、缺乏个性化(一套权重服务百万用户却无法区分)。

2.2 上下文时代(Context):提示工程的崛起

能力开始从模型内部向输入设计转移。少样本示例、思维链(Chain-of-Thought)、RAG(检索增强生成)等技术证明:不必修改权重,仅通过精心设计的上下文就能显著改变模型行为。

关键转变:将困难的"回忆"问题(模型必须从参数中恢复知识)转化为简单的"识别"问题(模型只需使用已提供的上下文)。

2.3 Harness时代:基础设施即能力

随着上下文窗口饱和和提示模板变得笨重,工程注意力转向"模型应在什么样的环境中运行?"。

图3:Harnessed LLM Agent的外部化架构

Harness层包括:持久记忆存储、工具注册表、协议定义、沙箱、子Agent编排、评估器等。可靠性越来越多地通过改变环境而非提示模型来解决。

  1. 外部化状态:记忆系统(Memory)

记忆外部化解决的是Agent的时间连续性负担。原生LLM是"无状态生成器":每次调用都是全新的上下文,连续性必须在提示中重建。

图4:作为外部化状态的记忆
展示了从原始上下文到记忆内容的转换,以及四种记忆系统架构:单体上下文、检索存储、分层编排(提取-巩固-遗忘-冷热交换)和自适应记忆系统(动态模块、基于反馈的策略优化)。

架构演进:

  • 单体上下文:所有历史保留在提示中(简单但容量受限)
  • 上下文+检索存储:近端状态在上下文,长期轨迹外部存储(RAG模式)
  • 分层记忆与编排:引入显式的提取、巩固和遗忘操作(如MemGPT、Memory OS)
  • 自适应记忆系统:模块和检索策略能根据经验响应(如MemEvolve、MemRL)

认知工具视角:记忆系统将"无界回忆"转化为"有界、精选的检索",改变了模型在每个决策点面临的任务结构。

  1. 外部化专业知识:技能系统(Skills)

技能外部化解决的是程序性负担。模型可能"知道"如何完成任务,但可靠执行需要重复构建工作流、默认值和约束,这导致方差:遗漏步骤、不稳定的工具使用、不一致的终止条件。

4.1 技能的三个组件

  1. 操作程序(Operational Procedure):任务骨架(步骤分解、阶段、依赖、停止条件)

  2. 决策启发(Decision Heuristics):分支点的实用经验法则(先尝试什么、何时退出)

  3. 规范约束(Normative Constraints):可接受性的边界(测试要求、范围限制、访问控制)

4.2 从执行原语到能力包

技能系统经历了三个阶段:

  • 阶段1:原子执行原语(如Toolformer)——稳定调用单个工具
  • 阶段2:大规模原语选择(如Gorilla、ToolLLM)——在大量工具中检索选择
  • 阶段3:技能作为打包的专业知识——将任务类别的操作方法打包为可重用单元

图5:作为外部化专业知识的技能
展示了技能的完整生命周期:从获取(专家编写、从情景记忆蒸馏、环境探索发现、现有单元组合)到技能工件(操作程序、决策启发、规范约束),再到激活流水线(注册表发现、渐进式披露、组合),最后在运行时执行。

关键机制:

  • 渐进式披露:不一次性加载完整技能文档,而是分层暴露(名称→摘要→完整指南)
  • 执行绑定:技能必须通过协议接口绑定到可执行动作(工具、API、文件、子Agent)
  • 组合性:技能可参与更高阶协调(串行、并行、条件路由、递归调用)
  1. 外部化交互:协议系统(Protocols)

协议外部化解决的是协调负担。裸模型可能推断出应该调用工具或委派子Agent,但没有显式契约时,它必须即兴创作消息格式、参数结构、生命周期语义和恢复行为。

5.1 协议的内容维度

协议将以下四个维度外部化:

  1. 调用语法(Invocation Grammar):参数名称、类型、顺序、返回结构(schema化)

  2. 生命周期语义(Lifecycle Semantics):多步交互的协调规则(状态机、事件流)

  3. 权限与信任边界:授权规则、数据流向、审计要求

  4. 发现元数据(Discovery Metadata):能力注册表、能力卡片、schema端点

图6:作为外部化交互的协议
上图:从孤立模型调用→API硬编码→标准化协议→Agent Web的演进。
下图:Harness通过三个功能界面实现外部化交互管理:Interact(与外部API/工具交互)、Perceive(感知环境/上下文/记忆/反馈)、Collaborate(与其他LLM/Agent/人类协作)。

5.2 协议家族综述

  1. 统一外部化:Harness工程

Harness是承载三个外部化维度(记忆、技能、协议)的工程层,提供编排逻辑、约束、可观测性和反馈循环,使外部化认知在实践中可靠运行。

6.1 什么是Harness?

Harness不是模型之外的第四个外部化维度,而是运行时环境——模型在其内部运行,通过它感知、决策和行动。

图3:Harnessed LLM Agent的外部化架构
Harness位于中心;三个外部化维度围绕它运行:记忆(工作上下文、语义知识、情景经验、个性化记忆)、技能(操作程序、决策启发、规范约束)、协议(Agent-用户、Agent-Agent、Agent-工具)。操作元素(沙箱、可观测性、压缩、评估、审批循环、子Agent编排)调节Harness核心与外部化模块的交互。

6.2 Harness设计的六个分析维度

图7:作为认知环境的Harness

基础模型(Agent核心)位于中心;六个Harness维度形成协调环:记忆(状态持久化)、技能(可重用例程)、协议(确定性接口)、权限(沙箱、文件隔离)、控制(递归边界、成本上限)、可观测性(结构化日志、执行轨迹)。

6.3 Harness作为认知环境

从分布式认知理论看,Harness不仅仅是软件基础设施,而是塑造Agent有效认知的环境。它决定了什么进入感知领域、什么跨会话保留、哪些操作可调用、哪些行动需要审批、哪些中间状态可修订。

Harness将无界任务转化为结构化环境,通过外部化记忆、形式化程序、引入显式控制点和约束执行,重新分配认知工作负载。

  1. 交叉分析:模块间耦合

三个外部化模块在Harness内并非孤立,而是形成六条关键交互流:

图8:记忆、技能、协议之间的耦合

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

为什么要学习大模型?

我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着AI技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。

大模型入门到实战全套学习大礼包

1、大模型系统化学习路线

作为学习AI大模型技术的新手,方向至关重要。 正确的学习路线可以为你节省时间,少走弯路;方向不对,努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划,带你从零基础入门到精通!


2、大模型学习书籍&文档

学习AI大模型离不开书籍文档,我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。

3、AI大模型最新行业报告

2025最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

4、大模型项目实战&配套源码

学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。

5、大模型大厂面试真题

面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

适用人群

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …
第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …
第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …
第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询