最近圈子里聊 AI 基础设施,绕不开两个缩写:NVLink Fusion和UALink。围绕“超节点”和“Scale-up”这两个词,大家争论的焦点已经从“要不要高速互连”变成了“这条高速公路到底该由谁来修、谁来收费”。作为一个从 GPU 集群运维一路做到芯片互连方案评估的人,我来说说我看到的真相。
这话题看起来像是纯芯片厂商之间的路线之争,但实际上它直接关系到明年你采购的服务器是整柜交付还是按张卡拼装、你的大模型训练代码要不要为通信拓扑重写、以及你团队的运维预算会不会被互连功耗吃掉一大块。我尽量用从业者的视角把这些门道拆开讲清楚,不堆 PPT 概念,只聊实际影响。
1. 为什么超节点和Scale-up突然成了算力领域的“必答题”
1.1 模型参数量涨上去之后,通信瓶颈从交换机转移到了GPU后背
早几年的 AI 训练集群,大家习惯用“千卡万卡”的数量来堆算力。那时候每个 GPU 之间的通信压力主要靠 InfiniBand 或者高性能以太网扛着,网络架构是典型的 Scale-out:算力节点通过交换机互联,节点之间可以无限扩展。这套思路的问题在 MoE(混合专家)模型、长序列训练、以及大规模张量并行出现之后越来越明显——模型被切得太碎,训练过程中需要频繁交换中间激活值、梯度、专家路由信息,而这些通信几乎都发生在“相邻”的 GPU 之间,如果大家都跑去挤交换机,那延迟和拥塞很快就把算力提升吃掉了。
我印象很深的一次是帮客户调一个千亿参数模型的训练性能,单看 GPU 利用率已经到 85% 以上,但端到端吞吐怎么都上不去。后来抓包一看,每步迭代里有将近 40% 的时间花在跨节点的 all-to-all 通信上,交换机端口全部跑满,数据包排队延迟从微秒级跳到了几十微秒。那一次之后我才真正理解,为什么业界要强调 Scale-up:当模型规模突破一定阈值,真正的性能瓶颈不在 GPU 芯片本身,而在 GPU 背后那几条高速互连链路。
1.2 Scale-up和Scale-out的本质区别:一个是造巨型计算机,一个是组计算机集群
把这两个词放到一起对比,很多人容易混淆。Scale-out 是“拼装集群”:每台机器是独立个体,通过网络交换机连起来,扩的是节点数量,机器之间通信走的是标准网络协议,延迟在微秒到几十微秒量级。Scale-up 是“造巨型计算机”:多个加速器通过专用高速互连直接连成一个大域,对外表现就像一台拥有超大显存、超大算力的单体设备,通信走私有协议或专用总线,延迟能压到亚微秒甚至更低。
超节点这个词,本质就是 Scale-up 的具体产物。NVIDIA 的 DGX GH200 把 256 颗 Grace Hopper 超级芯片连成一个逻辑 GPU,GB200 NVL72 把 72 颗 Blackwell GPU 通过 NVLink 全互联——这些都不是普通集群,它们是“一台巨型计算机”。而其他芯片厂商要想在超大模型训练这个赛道上和 NVIDIA 竞争,单靠堆 GPU 规格是不够的,必须拿出能和 NVLink 抗衡的 Scale-up 互连方案。UALink 就是在这样一个背景下被推出来的。
2. NVLink Fusion:NVIDIA把“互连”做成了整机架构的一部分
2.1 NVLink的演进路径:GPU之间的专用通道,怎么变成超节点骨架
NVLink 这套东西不是一天建成的。从 2016 年 Pascal 时代的 NVLink 1.0,到 Volta 的 2.0、Ampere 的 3.0、Hopper 的 4.0,再到 Blackwell 的 5.0,每一代的带宽几乎都是翻倍着走:从最初 160 GB/s 一路飙到 1.8 TB/s。每代升级除了速度翻倍,还在不断改变连接形态。最开始 NVLink 只是点对点连接两块 GPU,后来引入 NVSwitch 把多块 GPU 全互联起来,再往后把 Grace CPU 和 Hopper GPU 用 NVLink-C2C 连成超级芯片。这几步走下来,NVLink 已经从“显卡之间的数据线”变成了 NVIDIA 数据中心平台的骨架。
这里要特别说下 NVLink-C2C,它是 chip-to-chip 接口,直接支持芯片与芯片之间的裸片互连。NVLink-C2C 既可以连接 CPU 和 GPU,也可以连接两颗 GPU,甚至可以实现两颗芯片在逻辑上融合成一颗。Grace CPU 内部的两个计算块、还有 Grace 和 Hopper 之间的互联,都是靠 NVLink-C2C 打的底子。这套设计思路为后来的 “NVLink Fusion” 埋下伏笔:互连不只是机箱里的一根线,而是可以渗透到封装和裸片级别的系统级能力。
2.2 Fusion的这步棋,为什么说是对Chiplet时代的一次卡位
说回 NVLink Fusion。从目前公开的技术架构信息看,NVIDIA 已经不满足于用 NVLink 去连接独立的 GPU、CPU,而是试图把互连的边界继续往前推,形成一个“融合”的计算域。你可以把它理解为:把过去分立在多个芯片上的计算单元、缓存、内存控制器、甚至网络接口,通过统一的互连协议整合到一个虚拟设备里。它和 NVLink-C2C 的区别在于,NVLink-C2C 解决的是芯片与芯片之间的物理互连,而 NVLink Fusion 更像是在架构层面定义了“什么样的芯片组合可以被融合成一台逻辑机器”。
这和 Chiplet 的发展趋势高度吻合。Chiplet 的意思是,把原本一个大 die 的处理器拆成多个小 die(芯粒),再用封装和互连技术把它们组合成一个系统级封装(SiP)。这颗新的“大芯片”在物理上是多颗 die,但在逻辑上是一颗芯片。NVIDIA 在 Blackwell 的 B200 上已经做了双 die 封装,两颗 Blackwell 芯片通过 NVLink-C2C 连接,共享统一显存域。到了 Fusion 阶段,这套逻辑可以继续扩展:一个超大节点里的所有加速器,不管物理上拆成了多少 die、多少颗芯片,在系统看来就是一个巨大的、连续的计算和内存池。
这一手卡位非常关键。如果 Chiplet 真的成为下一代芯片设计的主流,那互连协议就是决定 Chiplet 组合能力的天花板。NVIDIA 做 NVLink Fusion 明摆着是想告诉大家:你们用 Chiplet 拆出来的芯粒,只有按我的协议连起来,才能发挥出最大的 Scale-up 性能。
2.3 时延确定性:比带宽更值钱的隐性壁垒
很多人在对比互连方案时只盯着带宽数字,标称多少 TB/s、多少 Gb/s,看得很过瘾。但真实跑大模型训练的时候,时延确定性往往比峰值带宽更致命。大模型训练是同步并行模式,每一轮迭代中所有 GPU 都要完成前向传播、反向传播、梯度同步,最慢的那个 GPU 决定整轮迭代的耗时。如果通信时延有抖动,哪怕只有几次超出预期,也会导致整体训练效率往下掉。
NVLink 系列经过多代迭代,最值钱的地方恰恰在于它提供了极低的、可预测的通信时延。NVLink-C2C 可以把 CPU-GPU 或 GPU-GPU 通信时延压到纳秒级,而且因为是私有协议,NVIDIA 能对整条链路做端到端的 QoS 控制,从硬件层面保证关键同步消息优先传输。这种确定性是标准化的通用协议很难做到的——通用协议要考虑兼容性,优先保证“都能用”,很难为了极致时延去砍掉不必要的兼容逻辑。
3. UALink的开放突围:行业联盟想在NVLink的护城河上架一座桥
3.1 联盟的来由:用什么技术、由哪些人推动
如果只有 NVIDIA 自己在玩 Scale-up,那这篇文章也就没什么好对比的了。真正让 NVLink Fusion 产生压力的,是 UALink 的出现。UALink 的全称是 Ultra Accelerator Link,由 AMD、Intel、Microsoft、Google、Meta、Broadcom、Cisco、HPE、Dell 等公司联合推动,这个阵营基本把 NVIDIA 之外所有和 AI 加速器相关的巨头都拉进来了。他们的目的非常明确:定义一个开放的加速器互连标准,防止 NVLink 继续垄断超节点内部的 Scale-up 连接。
UALink 联盟想解决的核心问题,和 NVLink 在过去十几年解决的问题高度重合:让多个加速器像一台机器一样协同工作。但思路不同。NVLink 是 NVIDIA 的私有协议,只有用 NVIDIA 的 GPU、NVIDIA 的 NVSwitch,才能享受完整的 NVLink 能力。UALink 则想提供一套公开标准,任何加速器厂商都可以围绕它设计自己的芯片和系统,让 AMD 的 GPU、Intel 的 Gaudi、甚至各种 AI ASIC 芯片都能连进同一个超节点。
这里需要注意,UALink 不是想替代 PCIe,也不是想替代 InfiniBand 和以太网。它在协议栈里的位置很明确:面向 Scale-up 域中加速器与加速器之间的本地连接。跨超节点的互联仍然是标准网络的事情,UALink 只负责“节点内部把这些加速器拧成一股绳”。
3.2 UALink 1.0的技术目标与时间线
根据 UALink 联盟公开发布的信息,UALink 1.0 规范主要面向连接同一 Scale-up 域中的加速器。技术上,它建立在 PCIe 物理层基础之上,但针对大容量、低时延、高带宽的加速器通信做了大量优化。UALink 1.0 支持的速率达到 448 Gb/s 的 SerDes 通道,理论上可以支撑上百个加速器的高效互联。联盟的目标是在较短时间内推出可供各厂商量产实现的规范,让第一批 UALink 设备在 2025 年前后进入市场。
这里有个很关键的细节值得关注:UALink 选择建立在 PCIe 物理层之上,而不是从头设计一套物理层。这么做的好处是能最大程度复用现有 PCIe 生态的成熟度,减少重复设计和验证工作,让各厂商的产品更容易做出来。但代价是,它在物理层特性上会被 PCIe 的技术约束牵着走,和 NVLink 这种从头到尾为 GPU 通信量体裁衣的方案相比,某些极端场景下的能效比或时延指标可能不占优。
时间线上,UALink 的推进速度在开放标准里算快的。但开放标准“发布到量产”之间的距离,往往比大家想象的远得多。规范写完只是第一步,后面还有各厂商芯片流片、系统验证、互操作性测试、软件栈适配等一大串工作。我见过不少开放标准,发布时轰轰烈烈,等到真正能用已经过去三四年,最后生态早就被私有方案抢占了。
3.3 开放联盟的“通病”:统一标准易,统一交付难
我在系统集成这个圈子里待久了,对“开放标准”有比较复杂的感情。开放标准最大的价值是多元选择,最大的风险是碎片化。UALink 的成员公司来自不同领域,AMD 和 Intel 本身是竞争对手,Google 和 Microsoft 在 AI 业务上也有重叠,这决定了它们在 UALink 的大旗下还要各自做差异化。到了具体实现阶段,不同厂商对标准的理解、对时延指标的把控、对软件接口的支持程度,都会存在细微差异。这种差异在单一厂商方案里不存在,但在开放生态里会直接变成系统集成时要面对的兼容性问题。
以实际可参考的例子来说,PCIe 规范和 NVMe 规范都相当成熟,但不同品牌 SSD 在同一块主板上的表现仍然千差万别。UALink 要面对的加速器设备可比 SSD 复杂得多,对齐难度完全不是一个量级。所以我对 UALink 的态度是:方向绝对正确,但落地节奏和最终交付体验,还需要时间观察。它想撼动 NVLink 的生态壁垒,靠的不能只是一纸规范,而是要靠一批真正能被大客户信任的量产产品。
4. 藏在Chiplet背后的互连经济学
4.1 Chiplet拆的是芯片,连起来的是超节点
聊完两大阵营的明争暗斗,回过头来看一个更底层的问题:为什么 Scale-up 互连会和 Chiplet 绑在一起讨论。你看标题里就带着 Chiplet,这不是凑热点,而是技术逻辑的必然。
Chiplet 的核心动机是成本。芯片制程越先进,单颗大芯片的良率越低、成本越高。把大芯片拆成多个小 die,每个小 die 面积小、良率高,还能混用不同制程,需要高性能逻辑的用先进制程,需要大容量缓存的用成熟制程,最后用先进封装把它们封装在一起。这套玩法的前提是,die 与 die 之间的互连带宽要足够大、时延要足够低,否则拆开之后的性能损耗会吃掉拆分带来的成本优势。
从这个角度看,Chiplet 和 Scale-up 是一条绳上的两个环节:Chiplet 在封装层面把多个 die 连成一颗“逻辑芯片”,Scale-up 在系统层面把多颗“逻辑芯片”连成一个“逻辑设备”。NVLink Fusion 之所以值得关注,正是因为它试图把这两层用同一套互连思想贯穿起来。
4.2 UCIe、NVLink Fusion、UALink三者怎么分工,不是一回事
这里很多人会问:UCIe(Universal Chiplet Interconnect Express)和 UALink 是不是要打架?它们和 NVLink Fusion 到底什么关系?
先理清 UCIe。UCIe 是专门为 Chiplet 之间互连定义的标准,关注的是封装级别 die-to-die 的互联,可以把它理解成“芯片内部高速公路”的路面标准。UCIe 主要解决的是:几个 die 放在同一个封装里,它们之间的物理层、协议层怎么对齐。它的应用范围基本局限在一个封装或一个系统级封装内部。
UALink 则是系统级的互连标准,管的是“多颗独立加速器芯片之间的 Scale-up 连接”,通常跨芯片、跨模组、甚至跨机柜。它工作的物理距离比 UCIe 大得多,面对的工程挑战也不一样。
NVLink Fusion 则更像一个框架,把封装内互连(类似 UCIe 的层面)和系统级互连(类似 UALink 的层面)都纳入同一个架构体系,只是它这套体系是 NVIDIA 私有的。所以三者不是替代关系,而是不同层面的协议,只是 NVLink Fusion 想用自己的标准把多个层面统一起来,UALink 则希望至少在系统级 Scale-up 这个层面建立一个开放的分水岭。
4.3 从封装到机柜:Scale-up互连的成本到底花在哪
很多人评估互连方案只看带宽单价,却忽略了 Scale-up 互连在真实系统中的成本远不止线缆和连接器。做一个粗略拆解:
| 成本项 | 说明 | 大致占比(经验值) |
|---|---|---|
| 交换芯片/桥接芯片 | 实现多个端口无阻塞互联的芯片研发与制造成本 | 30%-40% |
| 高密度连接器与线缆 | 铜缆、光缆、背板连接器,要求极高信号完整性 | 10%-20% |
| 封装与基板 | 先进封装、高密度布线基板,是 Chiplet 互连的主要载体 | 20%-30% |
| 功耗与散热 | 高速 SerDes 每通道功耗不低,需要额外散热设计 | 10%-15% |
| 测试与验证 | 高速信号的测试设备、一致性验证、系统级调优 | 5%-10% |
这个表格是基于一般系统集成经验估算的,具体产品差异很大,但它能说明一个问题:Scale-up 互连的成本大头不在最后一米线缆,而在交换/桥接逻辑和封装基板。NVIDIA 选择做 NVLink Fusion,本质上就是把这些成本全部内化到自己的系统方案里,用整机毛利来消化;UALink 阵营则需要说服各成员公司自己承担这部分成本,这对开放生态的推广速度是个不小的考验。
5. 工程实测视角的对比维度:带宽、时延、功耗与生态系统
5.1 规格表之外的数字游戏:标称带宽和实际可达带宽
做技术选型不能只看 PPT 上的标称值。互连方案的标称带宽通常是指物理层的双向聚合速率,而真实应用能用到多少,要打一个大大的折扣。影响因素包括:协议封装开销、拥塞控制机制、内存带宽是否匹配、驱动和通信库的实现质量。
以实际项目经验来看,在高速互连上跑分布式 AI 训练,实际可用带宽往往只有标称值的 60%~75%。如果你的通信库不支持高效的 RDMA 操作,或者内存分配没有做 NUMA 感知,实际带宽可能连 50% 都到不了。所以在对比 NVLink Fusion 和 UALink 时,与其纠结峰值数字,不如关注两个更实际的问题:第一,这个互连方案能不能给你提供清晰的“有效带宽/时延”测试方法;第二,主流 AI 框架(如 PyTorch、JAX)对它的支持深度如何。
5.2 生态绑定的真实代价:开发、运维、供应商锁定
NVLink Fusion 最大的优势是生态完整,从芯片、交换、软件栈到上层框架,全部由 NVIDIA 一体化集成。这种闭环带来的是开箱即用的体验:你用 NCCL,一行代码不改就能享受到 NVLink 的高带宽;你用 CUDA 编程模型,互连的细节被封装得非常好,不需要处理底层的拓扑和路由。
但闭环的代价也很明显。最直接的就是价格话语权:NVIDIA 的整机方案往往是“捆绑销售”,你不能只买 GPU 不买 NVSwitch,也不能拿自己的交换芯片去替代 NVLink Fusion 中的某个组件。对于超大规模云厂商和国家级算力中心来说,这不仅是成本问题,更是供应链安全与自主可控的问题。UALink 的意义在这里就体现出来:它提供了一种潜在的可能性,让加速器、交换机、服务器机柜可以由不同供应商提供,避免单一厂商卡脖子。只是这条“开放”路径要真正成熟,还需要软件生态全力跟上。毕竟对最终用户而言,技术再先进,如果跑不了主流框架,那也只能停留在实验室里。
6. 给算力规划者的选型建议与我的判断
6.1 一句话判断法:看你的核心瓶颈是训练还是推理
如果你现在需要做算力规划,又不想被各种 KOL 的站队言论带偏,我建议你先做一个判断:你的核心场景是什么?如果是超大模型的预训练、全参数微调,特别是用了大规模张量并行或专家并行的场景,那么 Scale-up 域的带宽和时延直接决定训练效率,这时候选择生态成熟、确定性高的方案(目前就是 NVIDIA NVLink Fusion 这套体系)是最稳的。如果是推理服务、云服务上的多租户 GPU 调度,或者训练规模不大(比如单机 8 卡以内就能搞定),Scale-up 互连的重要性就没那么高,普通 PCIe+以太网的组合已经够用,没必要为超节点溢价买单。
6.2 分规模场景的互连策略
我再给不同规模的团队一些可落地的参考。
- 小型团队(实验室、创业公司,卡数在 32 卡以内):建议直接选择 NVIDIA 的整机方案,比如 8 卡机加 NVLink 桥接,不要折腾任何第三方互连。这个阶段核心是快速把模型跑起来,时间比钱贵。
- 中型团队(100 卡~1000 卡规模):需要认真评估 Scale-up 拓扑。如果主要跑开源大模型,NVIDIA 方案依然是稳妥选择,但要为未来的供应商多样化做些准备,比如代码层面尽量避免绑定某些 NVIDIA 私有通信库的扩展接口。也可以关注 UALink 阵营的动态,等第一批量产设备出来后在测试环境里验证。
- 大型云厂商/算力中心(千卡以上):必须在技术路线和供应链安全之间做平衡。短期内NVLink Fusion 训练效率确实占优,但长期来看,保留多套互连方案的兼容能力,避免被一套私有大网锁死,会是更理性的策略。这时候选择服务器时优先考虑支持 OCP 开放加速器模块等标准的机型,为未来接入 UALink 设备留好空间。
6.3 我的一些个人看法
说句掏心窝子的话,过去一年我在多个项目里同时接触到两套方案的早期形态。我的感受是,NVIDIA 在 Scale-up 互连领域的领先是系统性的,它不只是带宽数字领先,而是在互连架构、软件栈、调试工具、运维经验上全面领先。这个壁垒很难靠一个联盟的标准在短时间内推翻。但 UALink 的出现重要意义在于:它第一次让行业里有了一个可以认真讨论的“备选方案”,让互连协议不再是一个锁死生态的黑盒。
对于做技术的我们来说,最好的应对方式不是押注某一边,而是把互连机制本身理解透——知道时延来自哪里、带宽消耗在什么地方、哪些场景需要资源预留、哪些场景通信可以被计算隐藏。这些东西学会了,不管是 NVLink Fusion 还是 UALink 时代的设备,你都能很快上手。
最后分享一个我自己的经验:在评估任何互连方案时,我都会坚持让厂商提供一份“最坏情况下的通信时延”测试报告,而不是只给平均时延。正常运行时平均时延很好看,但分布式训练最怕的是长尾延迟,是那些偶尔冒出一次的高延迟然后拖慢整个迭代的异常。互连方案是否具备有效的流控和优先级调度,这在你真正跑到千卡规模时,会比任何宣传文档都重要。这一点,大家在选型时一定不要忽略。