企业官网建设流程全解析

聊到本地大模型部署，显卡就是绕不开的“发动机”。当前市面上可用的显卡，从几百块到几十万一块的都有，但真正能胜任大模型本地部署的，基本被 NVIDIA 主导的生态所覆盖，苹果和 AMD 则在差异化赛道上追赶。

下面从数据中心、消费级、专业工作站、苹果统一内存方案和 AMD 追赶者五个维度，为你拆解当前最值得关注的“显卡兵器谱”。

一、数据中心王者：为训练和推理而生的“核武器”

这些卡是云服务商和大型企业的标配，价格以万到十万人民币计，核心优势是巨大的显存、极致的带宽和多卡互联能力。

1. NVIDIA H200 / H100（Hopper 架构）—— 当前绝对主流

• 规格：

  • H100 SXM：80GB HBM3，带宽 3.35 TB/s。FP16 算力约 990 TFLOPS。

  • H200 SXM：141GB HBM3e，带宽 4.8 TB/s，这是目前单卡推理能力的天花板。算力与H100基本持平。

• 为什么关键：显存容量和带宽直接决定了能跑多大的模型、生成 token 速度有多快。141GB 的 H200 可以单卡流畅运行未量化的 70B 模型（约140GB FP16），或经过量化的 130B 模型。多卡通过 NVLink 互联，可以组成超大显存池，是运行 1.7TB 级 K3 这种怪物模型的唯一选择。

• 适用场景：大规模线上推理服务、全参数微调（SFT）、超大规模模型的单机多卡部署。

• 注意：由于出口管制，中国大陆买到的是阉割互联带宽的 H800 或后续特供版 H20。H20 显存 96GB HBM3，带宽 4.0 TB/s，但算力被大幅削减，专门为推理优化。

2. NVIDIA B100 / B200（Blackwell 架构）—— 新一代性能怪兽

• 规格：

  • B100：192GB HBM3e，带宽 8 TB/s。

  • B200：同样 192GB，但算力更高，且可以两块 B200 通过 NVLink-HBI 融合成一块“超级芯片”GB200，共享 384GB 统一显存。

• 目前状态：2026 年的当下，Blackwell 卡正处在量产爬坡和云厂商大规模铺货阶段，价格极其昂贵且稀缺。对于绝大多数本地部署者而言，它还是“未来之物”，但代表了密度进一步提升的趋势。

• 适用场景：万亿参数级模型的训练，以及未来超大规模 MoE 模型的推理。

3. NVIDIA A100（Ampere 架构）—— 依然老当益壮

• 规格：40GB / 80GB HBM2e，带宽 2.0 TB/s。

• 价值：虽然 A100 已发布多年，但 80GB 版本是很多中小企业和研究机构的“真香之选”。它支持 NVLink，能跑 70B 模型，二手或云上租用价格相对亲民，生态最成熟稳定，没有它跑不动的框架。对于预算有限但需要多卡并行能力的团队，A100 仍然是极其实在的选择。

4. NVIDIA L40S / L20（Ada Lovelace 架构）—— 轻量级推理新贵

• 规格：L40S 有 48GB GDDR6 ECC 显存，带宽 864 GB/s。不带 NVLink，但功耗低（300W），适合高密度部署。L20 是针对中国特供的推理卡，规格类似。

• 价值：相比 H 系列，它便宜很多，且 48GB 显存可以运行一个 4-bit 量化的 70B 模型或 FP16 的 13B 模型。如果你不需要多卡互联，只是想单机单卡跑中等大小的模型作为内部服务，L40S 是性价比极高的选择。

二、消费级性价比之王：开发者桌面的生产力工具

这些是我们个人或小团队能直接买到的游戏卡，价格几千到一万多，CUDA 生态完整，但显存和互联能力被精准刀法限制。

1. NVIDIA RTX 4090 / 4090 D（Ada Lovelace）—— 24GB 显存的“甜点级”大模型卡

• 规格：24GB GDDR6X，带宽 1.0 TB/s。FP16 算力约 330 TFLOPS（开启 Tensor Cores）。

• 地位：这是目前个人开发者跑大模型的绝对标杆。24GB 显存可以流畅运行 4-bit 量化的 70B 模型（约占 17-20GB），或高精度的 13B 模型。借助 ExLlamaV2 等专门针对消费卡优化的引擎，生成速度极快。单卡售价约 1.5 万元，是学习、调试、原型开发的最佳选择。

• 局限：24GB 显存是硬伤。跑不了全精度 70B，更与 MoE 模型（如 Mixtral 8x7B）的完整加载无缘。且不支持 NVLink，双卡也无法叠加显存做张量并行，只能做流水线并行或各自运行实例。

2. NVIDIA RTX 5090（Blackwell 架构）—— 新一代消费卡皇

• 规格（传言/预期）：显存可能提升至 28GB 或 32GB，带宽大幅增长（GDDR7）。性能显著提升。

• 价值：如果显存增大到 32GB，那么它能运行的模型范围将直接提升一个档次，比如更从容地处理 70B 量化版或 MoE 模型。到 2026 年，这应该是追求极致的个人开发者升级的目标。但核心限制依然是单卡显存容量和缺乏高速卡间互联。

3. NVIDIA RTX 3090 / 3090 Ti（Ampere，二手市场）

• 规格：24GB GDDR6X，带宽约 936 GB/s。

• 价值：RTX 4090 的前代，显存同为 24GB，但算力和带宽稍弱。关键优势是二手价格很低，是预算极度有限的学生的入门神器。它也支持 NVLink 桥，但游戏中已弃用，在推理中部分框架可利用它实现双 3090 的显存池扩展（尽管带宽有限，操作复杂），算一个独特的小优点。

三、专业工作站卡：单卡大显存的静谧猛兽

介于游戏卡和数据中心卡之间，适合需要单机大显存但无法部署服务器环境的场景，比如研究室、边缘服务器。

1. NVIDIA RTX 6000 Ada Generation

• 规格：48GB GDDR6 ECC 显存，带宽 960 GB/s。FP16 算力约 365 TFLOPS。

• 核心优势：48GB 显存，这在单卡中是一个质变。你可以直接运行全精度 FP16 的 30B 模型，或者非常舒适地运行 4-bit 的 70B 模型，而不像 4090 那样显存吃紧。并且功耗仅 300W，涡轮风扇适合服务器机箱多卡部署。价格约 4-5 万元。

• 适用场景：单机部署中等规模模型（30B-70B 量化）提供内部微服务，或者做全参数微调 7B 模型。它没有 NVLink，所以多卡依然无法显存池化，但胜在单卡显存足够大、省心稳定。

四、苹果统一内存方案：非NVIDIA的另一条路

苹果的 M 系列芯片（M2 Ultra / M3 Ultra 等）不是显卡，但它们的统一内存架构为本地大模型推理提供了一个极具魅力的选择。

• 原理：CPU 和 GPU 共享同一块物理内存，内存带宽极高（可达 800 GB/s - 1 TB/s）。一块 Mac Studio 配置 192GB 统一内存，其中约 150GB 以上可以直接给 GPU 用作“显存”。

• 代表：搭载 M2 Ultra（76 核 GPU）、192GB 内存的 Mac Studio 或 Mac Pro。

• 价值：可以在 10 万元级别的个人设备上，直接运行 FP16 的 70B 模型，甚至 4-bit 量化的 180B 模型。这在 N 卡阵营需要几块 A100 才能做到。借助 MLX 或 llama.cpp 的 Metal 加速，生成速度可接受。而且功耗极低，安静无噪音。

• 局限：模型加载和预热慢，并发性能远不如 GPU 服务器。生态较新，很多高效算子仍待优化。它最适合对延迟不敏感的巨型模型个人使用或本地开发验证。

五、AMD与Intel：打破垄断的追光者

• AMD Instinct MI300X：192GB HBM3，带宽 5.3 TB/s，纸面规格直逼 H200。通过 ROCm 生态，现在已可以用 vLLM 等框架进行推理。对追求开源、希望摆脱 CUDA 锁定的大规模部署者来说，它是正在成熟的“第二选择”。

• Intel Gaudi 3：专为深度学习定制的加速器，主打高性价比和大显存（128GB HBM2e），软件生态基于 SynapseAI，兼容 PyTorch。在特定客户中有一定份额。

六、选择指南：一张表看懂

从大模型本地部署需求出发，选择显卡的核心决策顺序永远是：显存容量 > 显存带宽 > 算力 > 互联能力 > 成本。

总结一句话：对个人而言，RTX 4090 是甜点；对团队而言，A100 80GB/H200 是核心生产力；而苹果的 Mac 则提供了一条独特的“大内存”路径。选择哪一把剑，取决于你要挑战的模型有多大，以及你的钱包有多深。