☰
用LangGraph和Jev搭建生产级智能体框架
2026/10/15 1:49:43 网站建设 项目流程

Google Cloud 推出的 Advent of Agents 第三季是一个为期31天的免费系列,旨在教授如何构建安全且受治理的AI智能体。每天发布一篇动手教程,涵盖智能体身份、护栏、沙箱化、可观测性、评测、MCP安全、成本控制和集群管理等内容。教程以客户和安全团队常见问题为出发点,提供可运行的代码解决方案。此外,文章还介绍了如何使用 LangGraph 和 Jev 搭建生产级智能体框架,以及LLMOps大模型调度循环的详细解析,旨在帮助读者深入理解和实践AI智能体的开发。


智能体

Google Advent of Agents 第三季来了![1]

Advent of Agents 第三季是 Google Cloud 推出的一个免费、为期 31 天的系列,主题是为生产环境构建安全且受治理的 AI 智能体。

整个十月,每天发布一篇动手教程,内容涵盖:智能体身份、护栏(guardrails)、沙箱化、可观测性、评测、MCP 安全、成本控制,以及集群管理(fleet management)。

来这里看看:https://adventofagents.com[2]

每篇教程都从一个客户和安全团队真的会问的问题出发,然后用可运行的代码来回答它。

感谢 Google 今天的赞助合作!

智能体工程

用 LangGraph 和 Jev 搭建生产级智能体框架[3]

我们动手实践课《Agent Engineering》的第 3 部分和第 4 部分现已上线:

  • 第 3 部分:用 LangChain Middleware 和 Jev 构建智能体框架 →[4]
  • 第 4 部分:用 LangGraph 和 Jev 实现规划与验证循环 →[5]

Jev 是一个System One 模型——它不为开放式文本做生成,而是为带类型的决策返回经过校准的概率。

在这两部分里,我们用它来做这些事:路由模型调用、对请求分类、评估工具风险、核验证据,以及在智能体循环中检测「反复用同一招」。

完整实现涵盖了:

  • 重试、回退、模型路由和硬性调用上限
  • PII 脱敏、注入过滤和权限强制
  • 写操作需人工批准
  • 基于 Jev 的请求分类与工具风险检查
  • 带完成判据的结构化规划
  • 证据检查、Jev 概率区间(probability bands),以及独立的大模型验证
  • 修复、重规划、卡死检测和执行预算
  • 只允许把已验证的结论写入记忆

第 3 部分构建的是围绕单次模型和工具调用的控制;第 4 部分则把这个智能体放进一个显式的 LangGraph 循环里:

这个参考项目为上述各项控制加了46 个测试,并包含完整实现。

  • 在第 3 部分里搭出这个框架 →[6]
  • 在第 4 部分里加上规划与验证 →[7]
为什么值得关心?

智能体内部的很多决策需要语义判断,但并不需要另一个模型去生成文本。

  • 一个路由器要从固定的一组模型里挑一个。
  • 一个护栏要判断这个请求该不该继续。
  • 一个验证器要判断现有证据是否满足某条完成判据。

传统大模型当然能做这些决策,但它的输出仍然需要写 prompt、解析和校验。确定性规则更便宜、更可预测,但它只能抓住事先编码进去的那些情况。

**Jev 处理的正是中间地带。**它接收当前状态和一个带类型的问题,然后在一个固定 schema 内返回一个概率。

第 3 部分把这些概率用于路由、请求筛查和工具风险检查;第 4 部分则把它们用在一个三层验证器里:

  1. 确定性证据检查:无需调用模型,先处理掉明显的失败。
  2. Jev:接受或拒绝高置信度的情况。
  3. 独立的大模型检查器:处理不确定的中间区间。

Jev 不会取代权限、确定性检查或人工批准。它的概率只是更大控制系统里的一个信号。

这种设计适用于那些「需要语义、但答案空间有界」的智能体决策。它也展示了确定性代码、概率分类器和通用大模型如何协同工作——而不必把每一个决策都推给主智能体。

到第 4 部分结束时,这个客服智能体已经能够:从供应商故障中恢复、阻止未授权的写操作、把动作暂停等待批准、验证每一步调查、在进展停滞时换思路,以及在任务无法完成时返回明确的状态。

  • 在第 3 部分学习如何路由、守卫和批准智能体动作 →[8]
  • 在第 4 部分学习如何正确规划、验证并停止智能体循环 →[9]

👉 交给你了:你会把哪些有边界的智能体决策,从通用大模型手里挪走?

LLMOps

大模型调度循环,一次讲清楚:[10]

当用户向大模型发出一条 prompt 时,由此产生的推理请求并不会直接从 API 端点走到 GPU 上。

它会先进入服务引擎(serving engine),由其中的**调度器(scheduler)**决定它的 token 在何时、以何种方式被处理。

下面是完整的生命周期:

想深入完整的 LLMOps 生命周期,我们在 LLMOps 课程里从基础到生产环境全都讲了一遍。从这里开始 →[11]

1)请求进入等待队列

每个请求都带着 prompt、采样设置和最大输出长度到达。

prompt 长度各不相同,而调度器无法预知最终的生成长度。因此它一次迭代、一次迭代地管理这些请求。

2)调度器组装下一批

在每一个模型步之前,调度器会检查两个主要约束:

  • 这一轮迭代最多能处理多少 token
  • 还剩多少 KV 缓存空间

然后它应用调度策略,通常是优先已在运行的 decode 请求,再接纳新工作。

3)新请求进入 prefill(预填充)

在 prefill 阶段,模型处理 prompt 的各个 token,并创建注意力机制所需的 K 和 V 张量。

这个阶段可以并行处理大量 prompt token。很长的 prompt 可能会被切成多个块(chunk),以免长时间阻塞正在进行的生成。

4)运行中的请求进入 decode(解码)

prefill 完成后,请求转入 decode。模型此时利用前面所有 token 已建立的 KV 缓存,生成下一个 token。

标准的自回归解码,通常在一个模型步里为每个活跃请求只新增一个 token。

5)GPU 执行被选中的工作

现代服务引擎可以把 prefill 和 decode 的工作放进同一个 GPU 批次。例如:请求 A 可能正在处理它的 prompt,而请求 B 和 C 正在生成各自的下一个 token。

因此,批次并不是一个「跑到底才结束」的固定分组——它的构成在每一个模型步之后都可能改变。

6)引擎更新请求状态

执行结束后,生成的 token 被采样并追加到各自的请求上。

  • 一个已完成的请求会释放它的 KV 缓存块,并离开批次。
  • 一个未完成的请求保留状态,并成为下一轮调度的候选。

调度器随后就能用释放出来的 token 预算和缓存空间,去接纳另一个等待中的请求。

在下图中,C 在第 1 轮迭代后完成,于是 D 在第 2 轮进入;到第 3 轮时,活跃批次里只剩 A 和 D。

这种迭代级替换就是连续批处理(continuous batching)。它让 GPU 持续保持忙碌,同时让 prompt 长度和输出长度各不相同的请求各自独立推进。

​最后

我在一线科技企业深耕十二载,见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事,早已在效率与薪资上形成代际优势,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包:

  • ✅AI大模型学习路线图
  • ✅Agent行业报告
  • ✅100集大模型视频教程
  • ✅大模型书籍PDF
  • ✅DeepSeek教程
  • ✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了,有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型?

人工智能技术的爆发式增长,正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议,到全国两会关于AI产业发展的政策聚焦,再到招聘会上排起的长队,AI的热度已从技术领域渗透到就业市场的每一个角落。


智联招聘的最新数据给出了最直观的印证:2025年2月,AI领域求职人数同比增幅突破200%,远超其他行业平均水平;整个人工智能行业的求职增速达到33.4%,位居各行业榜首,其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张,也让人才供需矛盾愈发突出。麦肯锡报告明确预测,到2030年中国AI专业人才需求将达600万人,人才缺口可能高达400万人,这一缺口不仅存在于核心技术领域,更蔓延至产业应用的各个环节。

​​

资料包有什么?

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图(还有视频解说)

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了,这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制,且资料与智泊AI共享,相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。


智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌,通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌,构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论,还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事‌!

​​​​

如果说你是以下人群中的其中一类,都可以来智泊AI学习人工智能,找到高薪工作,一次小小的“投资”换来的是终身受益!

应届毕业生‌:无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。

零基础转型‌:非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈:传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型‌。

👉获取方式:

😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询