GPU资源不够用?利用率低?成本太高?
很多企业在部署 AI 应用时,都会遇到一个问题:GPU设备价格昂贵,但资源却没有被充分利用。
通过vGPU 虚拟化 + Kubernetes Volcano,可以把一张高性能显卡的计算资源灵活分配给多个任务使用,就像把一间大办公室划分给多个团队共享。
主要解决三大问题:
降低成本:一张显卡支持多个任务共享,减少不必要的硬件投入。
提高利用率:避免GPU资源闲置,让昂贵的算力发挥更大价值。
提升管理效率:统一管理和分配算力资源,减少人工协调和资源争抢。
适用场景:企业AI应用、模型推理、AI开发测试、多团队共享GPU算力等。
如果你的企业也面临GPU资源浪费、算力成本高、多人抢显卡等问题,欢迎交流,可提供GPU虚拟化、算力资源池建设及私有化部署方案。
# 本技术基于 k8s 1.23.17 版本,前题是安装了volc度器
## 查看GPU是否支持MIG,如果不支持,Volcanoano 调 vGPU + HAMi-core ;如果支持,使用Volcano vGPU + Dynamic MIG
nvidia-smi -q | grep -i -A3 MIG支持 MIG 的卡通常会看到:
MIG Mode
Current : Disabled
Pending : Disabled不支持看到:
MIG Mode
Current : N/A
Pending : N/A
## 查看volcano 和vcctl版本,1.9以上支持
1.给 scheduler 开启deviceshare.VGPUEnable: true
## 编辑,如下图
kubectl edit cm -n volcano-system volcano-scheduler-configmap
- name: deviceshare
arguments:
deviceshare.VGPUEnable: true
deviceshare.SchedulePolicy: binpack
2.安装 volcano-vgpu-device-plugin
## 修改k8sGPu节点中标签
kubectl label node gpu节点hostname gpu=on --overwrite
## 下载yaml文件和镜像
https://raw.githubusercontent.com/Project-HAMi/volcano-vgpu-device-plugin/v1.12.0/volcano-vgpu-device-plugin.yml## 编辑yaml文件
## 配置yaml文件
spec:
template:
spec:
nodeSelector:
gpu: "on"
## yaml中的nodeconfig是默认配置,该不该都行
kubectl apply -f volcano-vgpu-device-plugin.yml ‘
3.验证
kubectl get node gpu02
kubectl -n kube-system get pods -l name=volcano-device-plugin -o wide
kubectl get node gpu02 -o yaml | grep -E 'volcano.sh/vgpu