企业官网建设流程全解析

从 DeepSeek API 切换到本地模型

好消息是：由于你用的是openaiSDK，只要本地模型提供 OpenAI 兼容接口，改动量极小——通常只需改base_url和model两个参数。

一、核心原理

text

当前架构： Python → OpenAI SDK → https://api.deepseek.com 本地架构： Python → OpenAI SDK → http://localhost:11434/v1 （本地推理服务）

只要本地推理服务暴露 OpenAI 兼容的/v1/chat/completions接口，代码几乎不用改。

二、常见本地推理方案对比

三、方案一：Ollama（最简单，推荐入门）

1. 安装 Ollama

bash

# Windows：下载安装包 https://ollama.com/download # Linux： curl -fsSL https://ollama.com/install.sh | sh

2. 拉取模型

bash

ollama pull qwen2.5:7b # 阿里通义千问 7B ollama pull deepseek-r1:7b # DeepSeek R1 蒸馏版 ollama pull llama3.1:8b # Meta Llama 3.1

3. 验证服务

bash

ollama serve # 默认监听 11434 端口 curl http://localhost:11434/v1/models

4. 改代码

python

import os from openai import AsyncOpenAI client = AsyncOpenAI( api_key="ollama", # 本地模型不校验，随便填 base_url="http://localhost:11434/v1", # 指向本地 Ollama ) response = await client.chat.completions.create( model="qwen2.5:7b", # 换成 Ollama 里的模型名 messages=messages, temperature=0.3 )

改动量：只有base_url和model两个字段。

四、方案二：vLLM（生产级，高吞吐）

1. 安装 vLLM

bash

pip install vllm

2. 启动 OpenAI 兼容服务

bash

python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-7B-Instruct \ --host 0.0.0.0 \ --port 8000 \ --tensor-parallel-size 1

3. 改代码

python

client = AsyncOpenAI( api_key="EMPTY", base_url="http://localhost:8000/v1", ) response = await client.chat.completions.create( model="Qwen/Qwen2.5-7B-Instruct", messages=messages, temperature=0.3 )

优势：

• 支持多并发请求，吞吐量是 Ollama 的数倍

• 支持 PagedAttention，显存利用率高

• 生产环境首选

五、统一封装：一处配置，多处切换

建议把模型配置抽到环境变量或配置文件，实现「云端 / 本地」一键切换。

1. 配置文件config.py

python

import os # 切换模式：deepseek / ollama / vllm LLM_PROVIDER = os.getenv("LLM_PROVIDER", "deepseek") PROVIDER_CONFIG = { "deepseek": { "base_url": "https://api.deepseek.com", "api_key": os.getenv("DEEPSEEK_API_KEY"), "model": "deepseek-chat", }, "ollama": { "base_url": "http://localhost:11434/v1", "api_key": "ollama", "model": "qwen2.5:7b", }, "vllm": { "base_url": "http://localhost:8000/v1", "api_key": "EMPTY", "model": "Qwen/Qwen2.5-7B-Instruct", }, } def get_llm_config(): return PROVIDER_CONFIG[LLM_PROVIDER]

2. 客户端工厂llm_client.py

python

from openai import AsyncOpenAI from config import get_llm_config _client = None def get_llm_client() -> AsyncOpenAI: global _client if _client is None: cfg = get_llm_config() _client = AsyncOpenAI( api_key=cfg["api_key"], base_url=cfg["base_url"], timeout=60, ) return _client def get_model_name() -> str: return get_llm_config()["model"]

3. 业务代码

python

from llm_client import get_llm_client, get_model_name async def ask(question: str, messages: list) -> str: client = get_llm_client() response = await client.chat.completions.create( model=get_model_name(), messages=messages, temperature=0.3 ) return response.choices[0].message.content

4. 切换方式

bash

# 用 DeepSeek 云端 set LLM_PROVIDER=deepseek python main.py # 用本地 Ollama set LLM_PROVIDER=ollama python main.py # 用本地 vLLM set LLM_PROVIDER=vllm python main.py

业务代码零改动，只需切换环境变量。

六、本地模型 vs 云端 API 对比

七、硬件需求参考（本地部署）

量化技术可大幅降低需求：

• Q4_K_M（4bit 量化）：显存需求降低约 60%，质量损失小

• Ollama 默认使用量化版本，7B 模型只需 5GB 左右

八、注意事项

九、完整迁移清单

📌 总结

核心一句话：只要本地推理服务提供 OpenAI 兼容接口，切换本地模型只需改base_url和model两个字段。配合环境变量配置，可以实现云端与本地一键切换，业务代码完全不用动。