NInfer 本地大模型推理服务部署手册 (Qwen3.8-27B-NVFP4)-港品优选

NInfer 本地大模型推理服务部署手册
(Qwen3.8-27B-NVFP4)

部署完成日期：2026-10-20

一、概述

本文档记录了在 GPU 服务器上部署 NInfer 推理引擎、加载 Qwen3.8-27B-NVFP4 大模型、并以 OpenAI 兼容 API 提供服务的完整过程。系统已成功部署并通过实测验证，由 systemd 托管并设置开机自启。

项目	配置
主机名	guoxizheng-System
IP 地址	192.168.50.10
GPU	2 × NVIDIA Tesla V100-SXM2-16GB (16 GB 显存/卡, 共32GB)
GPU 互联	PCIe (PHB)，无 NVLink
CPU	x86_64 (多核, 支持 AVX2)
内存	15 GiB
交换分区	4.0 GiB
磁盘	约 275 GB 可用（系统分区 /）
网卡	enp0s31f6 (有线, 千兆) + wlp6s0 (无线)