企业官网建设流程全解析

5个关键步骤：在AMD硬件上高效运行Step-3.5-Flash-MXFP4模型

【免费下载链接】Step-3.5-Flash-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Step-3.5-Flash-MXFP4

Step-3.5-Flash-MXFP4是基于AMD MI350/MI355硬件优化的高性能语言模型，通过MXFP4量化技术实现了效率与精度的平衡。本文将详细介绍在AMD平台上部署和运行该模型的完整流程，帮助用户快速上手这一强大的AI工具。

📋 准备工作：环境检查与依赖安装

在开始部署前，请确保您的系统满足以下要求：

• 硬件要求：AMD MI350/MI355 GPU（支持MXFP4指令集）
• 软件环境：
  • 操作系统：Linux
  • ROCm：7.1.0
  • PyTorch：2.10.0
  • Transformers：4.57.6
  • vLLM：推荐使用特定commit版本（de7dd634b969adc6e5f50cff0cc09c1be1711d01）

首先克隆项目仓库：

git clone https://gitcode.com/hf_mirrors/amd/Step-3.5-Flash-MXFP4 cd Step-3.5-Flash-MXFP4

建议使用Docker环境以确保依赖兼容性，项目推荐使用的Docker镜像为：

rocm/vllm-dev@sha256:63f1fe04d87376bb173a1e837fba8610ab2dd77039fe7c9b97195f2a89d4d463

🔧 步骤1：模型量化配置与执行

Step-3.5-Flash-MXFP4模型采用了AMD-Quark量化技术，将权重和激活值均量化为MXFP4格式。项目提供了专用的量化脚本step3p5_quantize_quark.py，执行以下命令进行量化：

python3 step3p5_quantize_quark.py --model_dir $MODEL_DIR \ --num_calib_data 128 \ --multi_gpu \ --trust_remote_code \ --preset mxfp4_moe_only_no_kvcache \ --output_dir $output_dir

关键参数说明：

• --preset mxfp4_moe_only_no_kvcache：指定MXFP4量化方案，仅对MoE层进行量化
• --multi_gpu：启用多GPU量化加速
• --num_calib_data 128：使用128条校准数据优化量化精度

量化过程会生成MXFP4格式的模型权重，保存在指定的output_dir中。

🔄 步骤2：vLLM框架准备与补丁应用

该模型需要使用vLLM框架进行高效推理，但需要应用特定补丁以支持Step-3.5-Flash架构。按照以下步骤准备vLLM环境：

1. 安装vLLM：

pip uninstall vllm -y git clone https://github.com/vllm-project/vllm.git cd vllm git checkout de7dd634b969adc6e5f50cff0cc09c1be1711d01 pip install -r requirements/rocm.txt python setup.py develop cd .. export QUARK_MXFP4_IMPL="triton"

2. 修改vLLM源码文件：

文件1：vllm/model_executor/models/step3p5.py
添加packed_modules_mapping属性到Step3p5ForCausalLM类：

class Step3p5ForCausalLM(nn.Module, SupportsPP, MixtureOfExperts): hf_to_vllm_mapper = WeightsMapper( orig_to_new_substr={".share_expert.": ".moe.share_expert."} ) + packed_modules_mapping = { + "qkv_proj": [ + "q_proj", + "k_proj", + "v_proj", + ], + "gate_up_proj": [ + "gate_proj", + "up_proj", + ], + }

文件2：vllm/model_executor/layers/quantization/quark/quark_moe.py
强制设置self.emulate为True：

- self.emulate = ( - not current_platform.supports_mx() - or not self.ocp_mx_scheme.startswith("w_mxfp4") - ) and (self.mxfp4_backend is None or not self.use_rocm_aiter_moe) + self.emulate = True

这些修改确保vLLM能够正确处理Step-3.5-Flash的MoE结构和MXFP4量化格式。

🚀 步骤3：模型加载与推理启动

完成环境准备后，使用vLLM加载量化后的模型：

python -m vllm.entrypoints.api_server \ --model $output_dir \ --quantization quark \ --trust_remote_code \ --attention_backend ROCM_AITER_UNIFIED_ATTN \ --port 8000

核心参数说明：

• --model：指定量化后的模型目录
• --quantization quark：启用AMD-Quark量化支持
• --attention_backend ROCM_AITER_UNIFIED_ATTN：使用AMD优化的注意力后端

启动成功后，您可以通过HTTP API或Web界面与模型交互。例如，使用curl进行测试：

curl http://localhost:8000/generate \ -H "Content-Type: application/json" \ -d '{"prompt": "What is the meaning of life?", "max_tokens": 100}'

✅ 步骤4：性能验证与评估

为确保模型在AMD硬件上高效运行，建议进行性能评估。项目提供了基于GSM8K基准的评估方法：

lm_eval --model vllm --model_args 'pretrained=$MODEL_DIR,attention_backend=ROCM_AITER_UNIFIED_ATTN,quantization='quark',trust_remote_code=True' --tasks gsm8k --batch_size auto

根据官方测试数据，该模型在GSM8K基准上达到了87.26%的准确率，相比原始bf16模型（89.39%）保持了97.6%的精度恢复率，同时显著降低了显存占用。

⚠️ 步骤5：常见问题解决与优化建议

在部署和运行过程中，可能会遇到以下问题：

1. 内存访问错误：确保设置环境变量QUARK_MXFP4_IMPL="triton"
2. 性能不佳：检查ROCM版本是否为7.1.0，旧版本可能不支持MXFP4优化
3. 模型加载失败：确认使用了正确的vLLM commit版本和补丁
4. 多GPU配置：对于多GPU部署，添加--tensor-parallel-size N参数（N为GPU数量）

优化建议：

• 调整批处理大小以平衡吞吐量和延迟
• 使用--gpu-memory-utilization 0.9提高GPU内存利用率
• 对于长文本处理，可调整max_seq_len参数（最大支持128000 tokens）

📚 总结与资源

通过以上5个步骤，您可以在AMD MI350/MI355硬件上高效部署和运行Step-3.5-Flash-MXFP4模型。该模型结合了MXFP4量化技术和MoE架构，在保持高精度的同时显著提升了推理效率。

相关资源：

• 模型配置文件：configuration_step3p5.py
• 量化脚本：step3p5_quantize_quark.py
• AMD-Quark文档：https://quark.docs.amd.com/latest/index.html
• vLLM文档：https://docs.vllm.ai/en/latest/

如果您在使用过程中遇到问题，建议查阅项目README.md或联系AMD开发者获取支持。

【免费下载链接】Step-3.5-Flash-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Step-3.5-Flash-MXFP4