企业官网建设流程全解析

SolarWM 是开源的长时程视频世界模型训练框架，而它的SolarRenderer集成把"结构条件渲染（Structure-Conditioned Rendering）"带进了这套框架：只需一条结构视频、一张可选首帧和一段文本提示，模型仅用4 步采样就能渲染出画面细腻、运动一致的高质量视频。本文带你快速理解 SolarWM×SolarRenderer 的原理、输入要求和上手步骤，让你从一条灰盒或分割结构视频直接生成成片。

什么是"结构条件渲染"？

传统文生视频依赖随机发挥，而结构条件渲染的思路是：把"画面长什么样"和"镜头怎么动"解耦。

你提供给模型的"结构视频"可以是任意形式的占位动画，比如：

• 语义分割视频（每个类别一种纯色）
• 灰盒 / 体素块（grey box）动画
• 深度图或骨骼驱动的游戏画面
• 甚至手绘草图

模型负责"填肉"：按照结构视频逐帧给出的布局、遮挡关系和相机运动，把材质、光照、色彩和细节补全成真实感或风格化画面。

下面的 Reactor 演示截图直观展示了这个过程——左侧是纯色块结构输入，右侧就是 4 步采样渲染出的 synthwave 风格成片：

4 步渲染：两个 LoRA 如何分工

SolarRenderer 基于MiniMax-H3 的 Ref2VA 视频 Transformer，通过两个 LoRA 适配器完成工作（详见 src/solarwm/renderer/）：

推理时两个 LoRA 差值以 float32 合并后一次性并入基座权重，避免逐个合并带来的舍入误差。这种"少步采样 + 结构引导"的组合，使得单卡即可在数分钟内产出一条158 帧 / 24 fps（约 6.6 秒）的视频。

双向 vs 块因果：长视频也能渲染

• 双向模式（bidirectional）：整段视频一次性采样，默认 158 帧，适合常规短片段。
• 块因果模式（--causal）：每个块最多包含 5 个视频 latent（约 20 帧），只关注提示词、首帧、6 个块的结构窗口和最多 5 个已生成视频块；4 步采样出一个块后即写入 KV 缓存。加--seconds 60可请求长达一分钟的输出，显存占用由有界注意力窗口控制，而不是随时长线性爆炸（见 docs/solar_renderer/inference.md）。

三种输入，一条命令出片

SolarRenderer 的完整输入组合（full条件）包含三部分：

1. structure.mp4（必需）：覆盖至少 158 帧 @ 24 fps 的结构视频，其他帧率会自动重采样；
2. first.png（可选）：与结构视频开头同机位、同布局的首帧，给模型一个具体的外观锚点；
3. prompt.txt（必需）：遵循六段式训练格式（subject_definitions/summary/retention_analysis/detailed_description/overall_soundscape/non_diegetic_music），描述结构代表什么，以及期望的材质、光照与运动。

仓库内置了完整的示例目录 examples/solar_renderer/sem-highway_synthwave/，其中first.png就是下面这张 80 年代霓虹公路的首帧参考：

快速上手三步走

在仓库根目录创建独立环境并安装后（完整命令见 docs/solar_renderer/README.md）：

python -m pip install -e ".[renderer]" python -m solarwm.renderer.prepare_h3 --dir "$H3_ROOT"

然后一条命令渲染内置示例（需要下载 control 与 4step 两个 LoRA 权重）：

python -m solarwm.renderer \ --h3 "$H3_ROOT" \ --control "$RENDERER_WEIGHTS/solarrenderer_control_lora.safetensors" \ --fewstep "$RENDERER_WEIGHTS/solarrenderer_4step_lora.safetensors" \ --structure examples/solar_renderer/sem-highway_synthwave/structure.mp4 \ --first examples/solar_renderer/sem-highway_synthwave/first.png \ --prompt examples/solar_renderer/sem-highway_synthwave/prompt.txt \ --out render.mp4 --seed 0

💡 推理只需1 张 CUDA GPU；上游参考环境下编码约 4 分钟、采样约 3.5 分钟。

提示词怎么写？六段式格式 + caption 技能

SolarRenderer 是用六段式提示词训练的，不要随意替换成简短的自由描述。每个字段各司其职：

• subject_definitions：固定句式，声明每个输入是什么（如"Video 1 是语义分割……"）；
• summary：任务类型 + 一段动作与镜头运动描述；
• retention_analysis：说明每个输入哪些内容被保留、哪些不被复制；
• detailed_description：350–500 词，写材质、光照、天气与事件。

不想手写？仓库提供了 skills/solarrenderer-caption/SKILL.md 描述的本地caption skill：把技能目录连同结构视频交给编码代理，它会调用 conditions.py 保留训练时的精确输入描述，并可用check.py校验格式、用first_frame.py从结构视频抽帧、生成并裁剪适配首帧。格式细节可参考 docs/solar_renderer/prompts.md。

训练配方：四个 LoRA 阶段

想复现或继续训练这套适配器，configs/solar_renderer/ 下提供了四个阶段配方（8 卡节点 + FSDP + 序列并行）：

数据准备用python -m solarwm.renderer.preencode预编码，完整流程见 docs/solar_renderer/training.md。

生态集成：ComfyUI 节点与 Web 演示

SolarWM 把 SolarRenderer 接入了多种使用形态，降低上手门槛：

• ComfyUI 节点包：把comfyui/solar_renderer软链进custom_nodes即可，拖入结构视频（灰盒、分割、骨骼、深度、游戏画面、草图）加首帧和提示词，4 步出片；低显存工作流 16 GB 显存（如 RTX 4080/4090）可跑。入口页面为/solarrenderer，支持"6.6s 整段"或"整段分块"两种模式，详见 comfyui/solar_renderer/README.md 与现成工作流 workflows/。
• Reactor Web 服务：浏览器端选择结构视频、可选外观参考与提示词，实时流式接收渲染片段，界面即前文截图，见 reactor/solar_renderer/README.md。
• 评测工具：eval/solar_renderer/ 提供渲染基准与质量评估脚本。

而 SolarWM 主线则负责更大尺度的世界模型训练——examples/solarwm/中的首帧示例展示了同一框架生成的多样世界风格：

总结：为什么值得关注

• 结构先行，外观后补：镜头运动与布局完全由结构视频决定，重渲染/换风格只需换首帧和提示词，结构不变；
• 4 步少步采样：control LoRA + 4-step LoRA 的组合让单卡几分钟出片，接近可交互的延迟（Reactor 实测每块约 1.8–2.1 秒）；
• 长时程可扩展：块因果模式让一分钟级视频以有界显存滚动生成，与 SolarWM"长时程"的设计目标一脉相承；
• 全链路开源：数据、四个训练阶段、推理、ComfyUI/Reactor 集成一应俱全，代码位于 src/solarwm/renderer/，文档入口 docs/solar_renderer/README.md。

从一条灰盒视频到成片，SolarWM×SolarRenderer 把"世界模型"的门槛降到了一条命令——现在就可以用内置的 synthwave 高速公路示例跑起来试试。