企业官网建设流程全解析

• 大模型
• 人工智能
• 模型量化

NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4是 NVIDIA 推出的一个 40 亿参数（4B）“循环式”（looped）大语言模型：它把共享的 40 层循环块反复套用 1~4 次，用同一份 NVFP4（4-bit 浮点）权重就能在1~4 倍推理算力之间自由切换，还支持 256K 长上下文与商业使用。对新手来说，它的最大卖点是——换“算力档位”不需要换模型，也不需要重新训练。

图：4B 的 Dory1.0-4B 在 2 次循环时已超越 Gemma4-26B-A4B，4 次循环时逼近 Qwen3.6-35B-A3B（AA v4.3.2 内部估算分）

30 秒速览：Dory1.0-4B 是什么？

一句话概括：它不是“堆参数”的传统小模型，而是把算力和精度做成旋钮的弹性模型。

为什么“循环”是关键？架构拆解

传统 GPT 的每一层只经过一次；Dory 则把 72 层拆成三段（见 config.json）：

• Input 块：16 层
• Recurrent 块：40 层（共享权重，被反复套用 N 次）
• Output 块：16 层

每次循环之间还会把输入重新注入（reinject），让模型在“隐空间”里反复咀嚼同一句话，而不是急着往外吐字。循环次数由参数n_recurrent_loops控制（默认 2，可设为 1/2/3/4），配合 1024 的滑动窗口与交错的全注意力层，长上下文的 KV 缓存压力也比同规模纯全注意力模型更低。

一个权重文件，四档算力：怎么选循环次数？

这是 Dory 最实用的能力——同一份model.safetensors权重，改一个参数就是不同算力档位：

官方在统一评测框架下给出的部分分数（越高越好，† 为 4 loops 列）：

可以看到：在编码与 Agent 类任务上，4 loops 的 4B Dory 反超了 9B~26B 的同台选手。完整榜单见 README.md。

思考越多、说得越少：token 效率实测

循环式推理有个隐藏福利：更多算力花在“内部思考”上，输出 token 反而变短了。下图展示了相对 1 loop 的单次尝试输出量：

图：4 loops 时，Terminal-Bench 2.1 输出量降至 1 loop 的 0.50x，GDPval-AA-V2 仅 0.40x

这意味着在 Agent 任务中，“4 次循环 + 更短输出”的端到端延迟和成本，未必高于“1 次循环 + 长输出”——选档位时建议按自己的实际负载测端到端耗时，而不只看单次前向。

KV 缓存内存：per_loop 与 last_loop 两种模式

循环模型每套一轮，KV 缓存就涨一截？Dory 给出两个开关（recurrent_kv_cache_mode）：

• per_loop：每轮循环独立缓存，精度最稳，内存随循环数增长；
• last_loop：每层只保留最后一轮的 KV，任何循环数下缓存占用都等于 1 loop，官方实测精度几乎不降。

长上下文 + 高并发时，建议直接上last_loop，把省下的显存留给更多并发请求。

快速上手：vLLM 与 llama.cpp 部署指南

方式一：vLLM 启动推理服务（推荐）

Dory 的 vLLM 支持目前还在合入主线，需从对应 PR 安装：

VLLM_USE_PRECOMPILED=1 pip install "git+https://github.com/vllm-project/vllm.git@refs/pull/60149/head"

然后启动服务（默认 2 loops，256K 上下文）：

vllm serve --model nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4 \ --hf-overrides '{"n_recurrent_loops": 2, "recurrent_kv_cache_mode": "per_loop"}' \ --max-model-len 262144 --max-num-seqs 128 \ --enable-prefix-caching --async-scheduling \ --reasoning-parser nemotron_v3 --tool-call-parser qwen3_coder \ --enable-auto-tool-choice

• 想切换档位：改n_recurrent_loops为 1~4 即可；
• 想省显存：把recurrent_kv_cache_mode改为last_loop；
• 采样建议（同 generation_config.json）：temperature 1.0、top_p 0.95，工具调用时加上force_nonempty_content: true。

方式二：llama.cpp（适合 Mac / 本地轻量部署）

1. 构建支持 Dory 的 llama.cpp 分支（README 中给出了 Apple Silicon 的完整 cmake 命令，含 Metal 加速）；
2. 下载配套的 Q5_K_M GGUF 权重（约 3.67 GB），校验 SHA-256 后启动llama-server；
3. 用--override-kv设置循环数与缓存模式：

--override-kv "dory.num_loops=int:2,dory.recurrent_kv_cache_mode=str:per_loop"

启动后浏览器打开http://127.0.0.1:8080即可聊天，OpenAI 兼容 API 在:8080/v1。

为什么选 NVFP4？4-bit 原生预训练 + 实测加速

Dory 不是一般“训练完再量化”的模型——它在6T tokens 预训练中前 ~4.5T 直接用 NVFP4 原生训练，之后再切回 BF16，量化配置见 hf_quant_config.json（W4A16、group_size 16，词嵌入与 lm_head 不量化）。

NVIDIA 在 DGX Spark 上实测，相对 BF16 基线：

也就是说：4-bit 权重 + 循环推理，在消费级/边缘 GPU（Hopper、Blackwell、DGX Spark）上也能跑出 2 倍以上的推理提速。除 NVFP4 外，官方还提供 BF16、MXFP8 与 GGUF（Q5_K_M）版本，可按需选择。

仓库文件导航

总结：小模型也能“多花点时间想清楚”

Dory1.0-4B 证明了另一条路线：不堆参数，堆“循环思考”。一份权重文件覆盖 1~4 倍算力档位，循环越多输出越短，NVFP4 再叠加 2 倍以上的硬件加速——对想在有限显存里跑强推理/编码小模型的同学，它值得放进你的测试清单。上手路径很简单：vLLM 起服务 → 默认 2 loops 跑起来 → 按任务在 1/2/4 之间调档。

• 大模型
• 人工智能
• 模型量化