企业官网建设流程全解析

平面视频怎么做出立体感？CogVideo 实现 AI 视频 2D 转 3D 实战指南

【免费下载链接】CogVideotext and image to video generation: CogVideoX (2024) and CogVideo (ICLR 2023)项目地址: https://gitcode.com/GitHub_Trending/co/CogVideo

很多人一听到「AI 视频 2D 转 3D」，首先想到的是深度估计工具。但在实际工作流里，更常用的做法是用 CogVideo 这类开源的 AI 视频生成框架来实现立体感：让模型根据文字直接生成带空间层次的场景，把静态图片动起来，或者对已有素材做视频重绘，再配合帧插值让画面更顺滑。这篇文章以 CogVideo 为例，把这条路完整走一遍。AI 视频 2D 转 3D 并不是什么魔法，而是几种具体技术的组合。

图：CogVideo 的 Web 演示界面，选择生成方式、输入提示词即可开始

先对齐概念：这里的"2D 转 3D"指什么

严格来说，CogVideo 不是深度估计工具，它不输出深度图。这里说的「立体感」是视觉层面的空间层次：镜头运动、前后景分层、视差。对应到仓库里的能力，有三条路径：

• 文生视频（t2v）：用提示词直接生成带空间感的场景；
• 图生视频（i2v）：让一张静态图产生运动，构图由你掌控；
• 视频重绘（v2v）加帧插值：对已有素材重新渲染，或用 RIFE 插帧（一种根据相邻帧运动关系估计中间帧的技术）提升流畅度。

三条路径的入口都在inference/cli_demo.py，通过--generate_type参数切换即可。

📦 环境准备：两步跑起来

先拉取代码并安装依赖，注意 Python 版本建议在 3.10～3.12 之间，低于或高于这个范围都容易在 requirements.txt 里的个别组件上报版本冲突：

git clone https://gitcode.com/GitHub_Trending/co/CogVideo pip install -r requirements.txt

装完即可运行下一节的示例，模型权重会在首次执行时自动下载。

🎬 分场景实战：三种输入方式

文字生成空间感场景

t2v 模式下，立体感主要靠提示词堆出来。模型是用长描述训练的，一句「一只小狗」很难出好效果。推荐先用 inference/convert_demo.py 里的方案，让大语言模型把短句扩写成包含镜头运动、光线、前后景关系的详细描述，再送入生成。如果你有参考视频但写不出描述，tools/caption/目录里的视频字幕工具也可以先自动生成一段。

图：常见的街景素材，平面素材正是多数人想增加空间感的对象

python inference/cli_demo.py \ --prompt "Rainy night street, slow dolly shot, neon reflections on wet pavement, foreground pedestrians passing by" \ --model_path THUDM/CogVideoX1.5-5b \ --generate_type t2v

注意提示词里用了「dolly shot（镜头推拉）」「foreground pedestrians（前景行人）」这类镜头语言，它们就是让画面产生纵深的手段。

让静态图片动起来

i2v 模式把构图交给你的图片，模型负责补运动，适合产品图、插画、风景照。把--generate_type换成i2v、--model_path换成 I2V 权重（如THUDM/CogVideoX-5b-I2V），再加上--image_path指向输入图片即可，其余参数与 t2v 通用。想要网页操作的话，inference/gradio_composite_demo/里提供了带 RIFE 插帧开关的完整演示。

图：图生视频的输入示例，模型会为海浪和天空补出自然运动

⚙️ 参数调优：影响立体感的 4 个参数

• guidance_scale（默认 6.0）：提示词遵循度。调高后画面更「听话」，但过高容易出现伪影；
• num_inference_steps（默认 50）：去噪步数，加多能提升质量，耗时近似线性增长；
• num_frames：1.0 版本常用 49 帧，1.5 版本支持 81 帧（5 秒）或 161 帧（10 秒）；
• 显存不够时：把 inference/cli_demo.py 中的enable_sequential_cpu_offload()换成enable_model_cpu_offload()，速度更快但占显存更多，显存特别紧张时则保留 offload。

🛠 排障：新手最常踩的 2 个坑

生成太慢

两条路：一是多卡并行推理，用torchrun拉起 tools/parallel_inference/parallel_inference_xdit.py，把计算拆到多张卡上，4 卡相比单卡能快数倍；二是改用量化推理脚本inference/cli_demo_quantization.py，牺牲少量质量换速度。

torchrun --nproc_per_node=4 tools/parallel_inference/parallel_inference_xdit.py \ --model /path/to/CogVideoX-2b --height 480 --width 720 \ --ulysses_degree 2 --ring_degree 1 --use_cfg_parallel \ --prompt "A small dog." --num_inference_steps 20

立体感不明显

按成本从低到高排查：先优化提示词（补镜头运动和前后景描述），再增加推理步数，最后才是微调。如果你需要稳定产出某种特定风格或主体，可以训练一个 LoRA（只更新少量参数的轻量微调方式），流程和脚本都在 finetune/README.md 里。

写在最后

上手路径其实很短：装依赖 → 跑cli_demo.py→ 调提示词和参数 → 慢就上并行、效果差就做微调。AI 视频 2D 转 3D 的核心价值，在于把「空间感」这件事从专业三维软件里解放出来，用提示词和几行命令就能得到可用的立体画面。

【免费下载链接】CogVideotext and image to video generation: CogVideoX (2024) and CogVideo (ICLR 2023)项目地址: https://gitcode.com/GitHub_Trending/co/CogVideo