企业官网建设流程全解析

本仓库DeepSeek-V4.1-Flash-Quark-PTPC-FP8是 AMD 基于 Quark 量化框架，把 DeepSeek-V4.1-Flash 转换为 PTPC-FP8 精度的模型权重库。本文带你逐行拆解官方量化脚本的每个参数，掌握从零复现 PTPC-FP8 量化的完整流程，并验证精度、部署上线。

📦 先看仓库：什么被量化了，什么被保留了

README.md 的模型卡片给出核心事实：

仓库主体是 48 个 safetensors 权重分片，外加 config.json（架构 + 量化配置）与 tokenizer 文件。从 config.json 可以看到：文本模型共 40 层，每层是 384 个路由专家 + 1 个共享专家的 MoE 结构（每 token 选 6 个专家），还带两级索引器的稀疏注意力、engram n-gram 嵌入表、超连接（Hyper-Connections）等模块——理解这些，才能看懂后面量化脚本为什么要排除那么多层。

仓库里的多模态示例图（作为 inference/ 目录的视觉输入样例）正好说明了"视觉塔不量化"的意义——PTPC-FP8 量化模型完整保留了图像理解能力：

🛠️ 复现准备：环境与素材清单

复现前先备齐三样东西：

1. GPU 与软件：1 张 AMD GPU（gfx950 系，如 MI355/MI350），Linux + ROCm 7.2.0、PyTorch 2.12.0、Transformers 5.17.0，并安装 AMD Quark v0.13.0；
2. 基座权重：deepseek-ai/DeepSeek-V4.1-Flash的完整本地目录。注意它的权重以MXFP4 / MXFP8微缩放格式存储，转换前需要先反量化；
3. 量化脚本：Quark 仓库自带的官方示例Quark/examples/torch/language_modeling/llm_ptq/quantize_quark.py（本仓库只放量化结果，脚本在 Quark 仓库中）。

量化完成后可与本仓库的产物直接对照，仓库可通过以下命令获取：

git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8

🔍 量化脚本参数逐行拆解

官方完整脚本（原文见 README.md）：

MODEL_DIR="deepseek-ai/DeepSeek-V4.1-Flash" OUTPUT_DIR="amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8" HIP_VISIBLE_DEVICES=0 \ QUARK_MXFP4_IMPL=triton \ python3 Quark/examples/torch/language_modeling/llm_ptq/quantize_quark.py \ --model_dir "${MODEL_DIR}" \ --output_dir "${OUTPUT_DIR}" \ --quant_scheme ptpc_fp8 \ --layer_quant_scheme "*.engram.embed" ptpc_fp8 \ --quant_flow file2file \ --model_export hf_format \ --keep_excluded_layers_as_original_model_state \ --exclude_layers \ "embed" \ "*head*" \ "*ffn.gate*" \ "*attn.compressor*" \ "*attn.indexer.weights_proj*" \ "*attn.indexer.wk*" \ "*hc_*" \ "*vision*" \ "*aligner*"

环境变量：用哪张卡、走哪个内核

核心参数：方案、流程与导出格式

实际生效的量化配置会写进产物的 config.jsonquantization_config（权重fp8_e4m3per-channel、PerChannelMinMaxObserver观测器、导出weight_format: real_quantized、pack_method: reorder），复现时可逐项对照。

排除清单：哪些层绝对不能量化

--exclude_layers用通配符列出 9 类"敏感层"。结合 config.json 中展开后的具体层名，对应关系如下：

设计思路一句话总结：只量化占计算量绝对大头的大矩阵（专家、注意力、engram 嵌入表），小而敏感的路由与多模态通路保持高精度，这样才能做到精度无损。

📊 验证复现结果：精度对标与部署上线

验证分两步：查产物、测精度。

1. 检查产物：输出目录应有 48 个 safetensors 分片 +config.json+ tokenizer 文件，与本仓库一致；config.json的quantization_config关键项应为quant_method: "quark"、version: "0.13"、pack_method: "reorder"（见 config.json）。

2. GSM8K（8-shot）精度对标：官方结果里，量化模型与基座模型同框架、同主机下 GSM8K 得分均为92.95，精度恢复率100%（README.md）。用 vLLM 部署后跑 lm-eval 即可复核：

export HIP_VISIBLE_DEVICES=0,1,2,3 export VLLM_ROCM_USE_AITER=1 export VLLM_ROCM_USE_AITER_MOE=1 export VLLM_ROCM_USE_AITER_MHA=1 export SAFETENSORS_FAST_GPU=1 export VLLM_MOE_SKIP_PADDING=0 vllm serve amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8 \ --tensor-parallel-size 4 \ --trust-remote-code \ --moe-backend aiter \ --max-model-len 8192 \ --gpu-memory-utilization 0.90 \ --port 8008

lm_eval \ --model local-completions \ --tasks gsm8k \ --model_args "model=amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8,base_url=http://127.0.0.1:8008/v1/completions,num_concurrent=32,max_retries=5,timeout=1800,tokenized_requests=False,tokenizer_backend=None,max_length=8192" \ --gen_kwargs "max_gen_toks=4096" \ --num_fewshot 8 \ --log_samples \ --output_path /tmp/gsm8k-dsv41-ptpc-fp8

得分接近 92.95，即量化复现成功 ✅

🧩 没有 MI300 级显卡？用 inference/ 研读与自检

仓库还附带一套可读性优先的参考实现（inference/README.md），不追求生产性能，但非常适合理解模型结构：

• convert.py：把 HF 权重按张量并行 rank 切分，--expert-dtype fp4等参数帮助理解专家权重布局；
• run.sh 配合 examples/example.txt：一条命令跑通双图交错的多模态示例，端到端验证转换后的权重；
• model.py：直接python model.py即构建小模型跑 prefill + 22 步 decode，自检 dense-fp8 / MoE-fp4 内核管线；
• encoding/ 目录提供 V4.1 提示词格式参考实现 encoding.py，支持多轮对话、工具调用、thinking 模式与 1–100 数值推理预算。

✅ 常见疑问速查

📚 关键文件索引

小结：复现 DeepSeek-V4.1-Flash-Quark-PTPC-FP8 的核心就三步——装好 Quark v0.13.0 + ROCm 环境、跑通file2file量化脚本（重点理解--quant_scheme ptpc_fp8与排除清单的取舍）、用 GSM8K 92.95 对标验证。掌握"大矩阵量化、敏感层豁免"这一思路后，你也能把它迁移到自己的 MoE 模型上。