企业官网建设流程全解析

【AI大模型】扩容方案：业务增长后的性能扩容路线图

业务增长后，推理服务迟早会遇到性能瓶颈：吞吐上不去、延迟变高、显存告急。扩容不是一上来就加机器，而是先定位瓶颈，再沿清晰路线逐级推进。本文给出从单机到集群的扩容路线图：先讲瓶颈定位，再给单机优化、换硬件、多机并行与集群编排四个阶段，最后用可运行代码落地。全文控制在5000字以内。

先定位瓶颈

扩容前必须先确认瓶颈类型，否则容易花冤枉钱。推理瓶颈分三类：算力瓶颈，GPU 利用率已满但吞吐不够；显存瓶颈，显存已满导致并发上不去；吞吐瓶颈，单机并发饱和、请求排队。三类瓶颈对应不同扩容路径，定位错了方向，加再多资源也无效。

定位方法看三组指标。GPU 利用率高说明算力瓶颈；显存占用接近上限说明显存瓶颈；队列堆积、延迟上升而 GPU 利用率未满，说明吞吐或调度瓶颈。确认瓶颈后再选扩容路径，是扩容第一步。

阶段一：单机优化

扩容先做零成本或低成本的软件优化，压榨单机上限。量化降低显存与带宽，批处理提升吞吐，前缀缓存减少重复预填充，这些优化在加硬件前往往能带来明显提升。把软件优化做足，能推迟或避免硬件投入。

单机优化的顺序是：先量化到可接受的精度下限，再调大批处理与并发，最后开前缀缓存等特性。每项优化跑一轮压测确认收益，保留数据。单机优化到位后，若仍不满足，再进入换硬件阶段。

python -m vllm.entrypoints.openai.api_server \ --model meta-llama/Llama-3.1-8B-Instruct \ --quantization fp8 \ --gpu-memory