企业官网建设流程全解析

JoyAI-VL-Interaction 部署实战：在 RTX 2080 Ti 上搭建多模态推理服务

本文记录了在双卡 RTX 2080 Ti 环境下，从零部署 JoyAI-VL-Interaction 多模态大模型的全过程，包括环境配置、依赖安装、代码修复以及网络问题的排查与解决。

📋 项目背景

应用户需求，我们在配备2x NVIDIA RTX 2080 Ti（每卡 11GB）的服务器上进行 JoyAI-VL-Interaction 模型的部署工作。该模型源自 vllm-omni 项目，是一个支持图像和视频理解的多模态大语言模型。

硬件与软件环境

🔧 第一阶段：环境配置

1.1 创建 Conda 环境

我们首先创建独立的 Python 环境以避免依赖冲突：

conda create-nvllm-omnipython=3.10conda activate vllm-omni

环境位置：~/miniconda3/envs/vllm-omni/

1.2 安装核心依赖包

在vllm-omni环境中安装以下包：

• vllm-omni 0.22.0— vLLM 多模态扩展
• vllm 0.24.0— 底层推理引擎
• opencv-python— 图像处理
• pytest— 单元测试框架
• CUDA 相关依赖（torch、nvidia-* 系列包）

pipinstallvllm-omni==0.22.0vllm==0.24.0 opencv-python pytest

💡 提示：建议在安装前更新 conda 和 pip，以避免潜在的版本兼容问题。

🐛 第二阶段：代码修复

问题描述

在启动 vLLM 服务时，发现vllm-omni 0.22.0尝试从 vLLM 导入supports_xccl函数，但 vLLM0.24.0版本中已经移除该函数，导致以下错误：

AttributeError: module ‘vllm.utils.torch_utils’ has no attribute ‘supports_xccl’

解决方案

手动在 vLLM 的torch_utils.py文件中添加缺失的函数。

文件路径：~/miniconda3/envs/vllm-omni/lib/python3.10/site-packages/vllm/utils/torch_utils.py

添加位置：约第 73 行

defsupports_xccl()->bool:"""Check if the current platform supports XCCL (AMD ROCm)."""returntorch.version.hipisnotNone

函数作用：该函数用于检测当前平台是否支持 AMD ROCm 平台的 XCCL 通信库。由于我们使用的是 NVIDIA GPU，该函数直接返回False，不影响正常推理。

📦 第三阶段：源码配置

3.1 获取 vllm-omni 源码

虽然已通过 pip 安装了 vllm-omni，但我们还需要本地源码以支持 orchestrator 服务的运行：

gitclone https://github.com/vllm-project/vllm-omni.git ~/vllm-omni

源码目录包含关键模块：

• vllm_omni/experimental/fullduplex/— 全双工通信模块

3.2 配置 PYTHONPATH

确保 Python 能找到本地源码：

exportPYTHONPATH=~/vllm-omni:$PYTHONPATH

⚠️ 重要：此环境变量在每次启动服务前都必须设置，否则 orchestrator 将无法找到必要模块。

⏳ 第四阶段：模型下载（进行中）

4.1 当前进度

配置文件的缓存目录已创建：
~/miniconda3/envs/vllm-omni/hf_cache/hub/models–jdopensource–JoyAI-VL-Interaction-Preview/

模型权重文件（safetensors 格式，约 17GB）尚未下载完成。

4.2 遇到的网络问题

系统配置了代理：

http_proxy=http://127.0.0.1:7897https_proxy=http://127.0.0.1:7897all_proxy=socks://127.0.0.1:7897

问题：httpx库不支持 socks 代理 scheme，导致下载请求失败。

4.3 尝试过的解决方案

4.4 待执行的下载命令

source~/miniconda3/bin/activate vllm-omniunsethttp_proxy https_proxy http_proxy https_proxy all_proxy ALL_PROXYexportHF_HOME=~/miniconda3/envs/vllm-omni/hf_cacheexportHF_ENDPOINT=https://hf-mirror.com python-c"from huggingface_hub import snapshot_download; snapshot_download('jdopensource/JoyAI-VL-Interaction-Preview', cache_dir='$HF_HOME')"

🚀 第五阶段：服务启动（待完成）

5.1 启动 vLLM 后端服务

模型下载完成后，执行以下命令启动 vLLM 服务器：

source~/miniconda3/bin/activate vllm-omniunsetall proxy varsexportHF_HOME=~/miniconda3/envs/vllm-omni/hf_cacheexportVLLM_USE_FLASHINFER_SAMPLER=0vllm serve jdopensource/JoyAI-VL-Interaction-Preview\--served-model-name JoyAI-VL-Interaction-Preview\--port8061\--quantizationfp8\--max-model-len32768\--gpu-memory-utilization0.5\--enable-prefix-caching\--limit-mm-per-prompt'{"image":256,"video":1}'

参数说明：

5.2 启动 Orchestrator 编排服务

source~/miniconda3/bin/activate vllm-omniunsetall proxy varsexportPYTHONPATH=~/vllm-omni:$PYTHONPATHexportHF_HOME=~/miniconda3/envs/vllm-omni/hf_cacheexportVLLM_USE_FLASHINFER_SAMPLER=0python-mvllm_omni.experimental.fullduplex.joyvl.serving.server\--port8070\--main-backend-url http://127.0.0.1:8061/v1\--main-model JoyAI-VL-Interaction-Preview

架构说明：Orchestrator 作为前端网关，将请求转发至后端 vLLM 服务，实现全双工多模态推理。

📁 关键文件清单

🔮 后续优化建议

1. 模型下载替代方案：若 Python 下载持续失败，可尝试使用wget或curl直接从 hf-mirror.com 下载模型权重
2. 多卡并行：RTX 2080 Ti 双卡可通过tensor-parallel-size=2进一步提升吞吐量
3. 监控指标：建议配置 Prometheus + Grafana 监控 GPU 利用率和推理延迟

📝 总结

本次部署的核心挑战在于vllm-omni 与 vLLM 版本不匹配以及网络代理兼容性两个问题。通过手动修补缺失函数和配置环境变量，我们已解决大部分障碍。模型下载是当前唯一阻塞项，一旦完成即可启动完整的推理服务。