企业官网建设流程全解析

摘要

模型装不进单卡就得切，但切在哪一层、切多少份，直接决定通信量：切得好通信少一半，切错了加卡之后延迟反而更高。本文讲推理侧张量并行的切法要点——为什么常见一层按列切另一层按行切、并行度的拐点在哪、以及它和批大小与互联带宽的关系。2026 奇点智能技术大会（11 月 20-21 日·北京万达文华酒店）AI 算力与推理优化专题会讨论这类部署取舍。

▸ 核心结论：并行度不是越高越好；过了拐点，通信增长盖过计算收益，端到端反而变慢
▸ 关键权衡：批越大通信占比越低、并行越划算，代价是首 token 延迟上升
▸ 适合谁读：做推理部署的工程师——加卡之前先分清是显存不够还是延迟不达标

本文的结构 两种切法 一 张量并行 vs 流水并行的直观差异 | 切在哪 二~三 最省的切法 / 通信量怎么估 | 约束 四~五 互联带宽 / 与批大小的关系 | 落地 六~八 常见坑、衔接大会、落地顺序 显存只差一点时，先考虑量化和缓存优化，别急着上并行

一、两种切法的直观差异

张量并行把每一层的权重矩阵切成几块，分到不同卡上，每层计算完都要一次通信把结果拼起来。流水并行把不同层放到不同卡上，数据像流水线一样从第一段流到最后一段，卡之间只在边界传激活值。

直观上：张量并行通信次数多、每次量小、延迟低；流水并行通信次数少、单次量大、但存在填充气泡。推理服务通常更看重延迟稳定，所以偏向张量并行，除非模型层数极多。

两种切法对显存的作用也不同。张量并行把每层的权重分摊到多卡，显存下降随并行度线性；流水并行只要求单卡装得下层，显存下降是阶梯式的。

实际部署里常见的是两者结合：先在层内切，再把层分段。这样既降低单卡显存压力，又控制通信总量，代价是并行配置的调优空间变大。

还有一种介于两者之间的做法是按层分组的混合并行：一部分层用张量并行，一部分用流水。它可以按层对通信的敏感度做差异化处理，代价是配置复杂度上升。

二、切在哪一层最省

经典的组合是相邻两个权重矩阵一个按列切、一个按行切，这样中间结果不需要通信，只在层输出处做一次归约。这是把通信量压到最小的关键设计，几乎成了默认做法。

切分位置的选择还受权重形状影响。某些层的隐藏维不便于整除，强行切分会产生填充或不对称，既不省带宽也不省显存，反而带来额外的边界处理。

工程上通常把不易切分的层整体放在一张卡上，其余层正常切。这种混合切分需要框架支持不规则映射，实现复杂度比统一切分高。

切分位置的选择还受框架实现影响。有些框架对特定切分模式有专门优化，换一种切法虽然理论通信量相近，实际效率却差别明显，所以要参考框架的推荐做法。

相邻两个权重矩阵的经典组合（每层只需一次通信） X --> [ W1 按列切 ] --> 中间结果 --> [ W2 按行切 ] --> 归约 --> 输出 [W1a][W1b] [W2a] | | [W2b] GPU0 GPU1 GPU0 GPU1 为什么这样最省：中间结果天然不需要跨卡拼接，只在层输出处归约一次 反面：两层都按列切 -> 中间还要再归约一次 -> 通信量翻倍 并行度拐点（示意，必须实测） 低并行度 通信占比小，延迟随并行度下降 -> 值得加 拐 点 通信增长开始追上计算收益 -> 这里是延迟最低点 高并行度 通信主导，加卡反而变慢 -> 别再加 批大小的影响 批变大 -> 计算增长快于通信 -> 通信占比下降 -> 高并行度更划算 但首 token 延迟上升。交互场景优先降并行度，宁可多占几张卡做副本 互联带宽是硬约束：并行度通常限制在机内卡数以内，除非有更高带宽的互联方案

三、通信量怎么估

单次通信量与激活值大小成正比，也就是批大小乘隐藏维乘数据类型字节数。张量并行度翻倍，单卡上要传的份额变小，但通信次数不变，所以总通信量随并行度线性增长。

这说明张量并行度不是越高越好。超过某个点之后，通信时间会超过计算时间的下降幅度，端到端延迟反而上升。这个拐点与互联带宽强相关，必须实测。

估算通信量时别忘了解码阶段的特点。生成阶段的批很小、序列很长，通信量与计算量的比值比预填充阶段高得多，所以并行度的最优值在两个阶段可能不同。

这也是分离式计算与统一计算架构差异的来源之一。把两个阶段放在不同配置的集群上，各取最优并行度，能拿到比统一配置更好的整体效率。

估算时还要把通信的启动开销算进去。并行度高时单次消息变小，启动开销占比上升，这条曲线会让最优点比纯带宽估算更靠前。

四、互联带宽的硬约束

张量并行对卡间带宽极度敏感。同一台机器内的 NVLink 带宽比跨机的以太网高出数倍，所以并行度通常会限制在一台机器内的卡数以内。

跨机做张量并行时，延迟会明显恶化，通常需要更快的互联方案。这也是超节点概念流行的原因——把更大范围的 GPU 用高带宽互联连起来，让张量并行的规模可以扩大。

互联带宽还有一个常被忽略的指标是延迟而非带宽。小消息频繁传递时，延迟比带宽更能决定性能。张量并行的通信恰好以小消息为主，所以延迟指标要重点看。

因此评估集群时不能只看标称带宽，要实测小消息的往返延迟。两台机器参数相同但拓扑不同，张量并行的表现可能差出一大截。

拓扑感知的并行度配置值得投入。让通信密集的组落在同一交换域内，能在不换硬件的情况下改善延迟，实现成本主要是配置管理而非框架改动。

五、与批处理的关系

张量并行的通信量随批大小增长，而计算量的增长更快。所以批越大，通信占比越低，张量并行的效率越高。

这个性质对服务设计有指导意义：如果一定要用高并行度，就把批凑大一些，代价是首 token 延迟上升。反过来，低延迟的交互场景应当尽量减小并行度，宁可多占几张卡做副本。

批大小还会影响并行度的可用范围。批很小的时候，单卡就能处理好计算，加并行的收益远小于通信开销，所以低延迟场景反而应当用较小的并行度。

这种反直觉的结论只能用实测验证。建议把批大小与并行度做一张二维表，找出延迟最低的组合，而不是分别调优再拼起来。

解码与预填充的最优配置不同，也意味着统一部署时要选一个折中方案。若业务以长输出为主，应偏向预填充的优化；以短交互为主则相反。

六、常见坑

坑一是按参数均匀切分而不按计算量切分。不同层计算量差异明显，平均切会让某些卡成为瓶颈，其他卡干等。

坑二是忽略通信与计算的流水重叠。把通信做成阻塞式，延迟会比理论值高出一大截，而且随并行度增大而恶化得更快。

坑三与激活值的内存布局有关。切分后期望的布局与实际不符会触发额外的转置拷贝，这种开销不出现在任何显式指标里，却会实实在在吃掉带宽。

坑四与容错有关。并行度越高，单点故障影响的范围越大。张量并行组内任一卡故障通常会导致整组重启，所以并行度也是可用性的一个参数。

坑五与量化叠加有关。张量并行配合量化时，权重切分的边界需要与量化的分组对齐，不对齐会导致额外的反量化与重排开销，抵消并行收益。

七、衔接大会专题

11 月 20-21 日，北京万达文华酒店，C++ 及系统软件技术大会的 AI 算力与推理优化专题会讨论推理部署与算子层优化；奇点智能技术大会的 AI Infra 专题从服务整体延迟与容量的角度讨论并行策略。

带着「我们加卡之后延迟变好还是变差」去参会，问题很实际。

参会时可以留意各家在超节点上的实测数据。同样标称带宽，不同互联方案在张量并行下的有效带宽差异很大，实测比参数更有参考价值。

另一个值得关注的问题是并行推理与批处理的配合。如何在保证延迟的前提下把批凑大，是服务设计中的核心权衡之一。

参会时可以留意各家在「并行度与延迟关系」上的实测曲线。曲线形状比单个数值更能说明互联质量与实现水平。

八、落地顺序

先确认单卡装不下是显存问题还是容量问题。显存差一点，优先考虑量化与缓存优化；确实需要并行，再上张量并行。

上并行后固定批大小与输入长度做对比测试，把并行度从一逐步调高，找到延迟最低的那个点，不要凭直觉设值。

测试时建议固定输入长度分布与并发曲线，只变并行度。这样得到的曲线可以直接用于决策，避免把其他变量的影响算进来。

最后一点：并行度调整后要重新验证数值正确性。切分方式变化可能引入微小的数值差异，短样本上的比对能快速确认是否踩到了边界问题。

最后一个提醒：并行度调整属于影响面较大的变更，建议与容量规划一起评估，而不是只在出现延迟问题时临时调整。

补充问答

问：并行度越高延迟越低吗？

答：不是。通信量随并行度线性增长，超过某个拐点后通信时间会盖过计算收益，端到端延迟反而上升。拐点与互联带宽强相关，必须实测。

问：为什么常见列切加行切？

答：相邻权重一个按列切一个按行切，中间结果不需要通信，只在层输出做一次归约。这是把通信量压到最小的组合，几乎成为默认做法。

问：能跨机做张量并行吗？

答：能但代价大。跨机互联带宽远低于机内，延迟会明显恶化。所以并行度通常限制在机内卡数以内，除非有更高带宽的互联方案。

问：批大小为什么重要？

答：批越大计算量增长越快，通信占比越低，张量并行效率越高。代价是首 token 延迟上升，所以要按业务对延迟的敏感度来权衡。

问：平均切分有什么问题？

答：按参数量平均切不等于按计算量平均。不同层计算量差异明显，平均切会让部分卡成为瓶颈，其他卡干等，整体效率下降。

大会信息
2026 奇点智能技术大会 + C++ 及系统软件技术大会
时间：2026 年 11 月 20-21 日
地点：中国·北京万达文华酒店
大会报名：免费领取大会PPT资料

立即报名，锁定 Lukasz Kaiser Keynote 与 70+ 场演讲完整资料！