企业官网建设流程全解析

TensorFold 是一个单文件 Zig 二进制就能运行的开源 LLM 推理引擎，支持 Apple Silicon Metal 与 NVIDIA CUDA，无需安装 Python 或 MLX。本文是一份 TensorFold serve 启动参数速查清单，围绕--context、--parallel、--temperature等核心标志逐组讲解，新手照着配置第一条命令就能起服务。

先跑起来：一条最小启动命令

tensorfold serve "$HOME/models/nemotron-lightning" \ --name local-model --parallel 1 --context 8192 --temperature 0 --no-thinking

服务默认监听http://127.0.0.1:8080/v1，对外提供 OpenAI 兼容接口。拿不准某个标志时，运行tensorfold serve MODEL --help即可在不加载模型的情况下打印用法；完整标志表见 README.md。

网络与身份：谁能连、怎么找到它

上下文窗口：--context 与 --max-tokens 怎么设

• --context N限制的是提示词 + 回复的总 token 数，模型自身窗口和内存检查依然生效。Qwen3.8-27B 默认 32,768，最高可开到 262,144；Nemotron 默认请求上下文为 16,384（见 docs/recipes/nemotron-3.5.md）
• --max-tokens N是单条回复的默认上限，默认 4096，单个请求可以覆盖

💡 显存吃紧？调小--context或搭配--parallel 1；发长请求前，先看启动时报告的可用容量。

采样参数：--temperature、--top-p、--top-k、--min-p

• --temperature T：采样温度，0 表示贪心解码（输出确定，最适合调试）
• --top-p P/--top-k K/--min-p P：核采样与长尾截断的服务端默认值
• 优先级规则：检查点的generation_config.json→ serve 标志 → 请求字段。也就是说启动时设的只是默认值，单个请求仍可覆盖（细节见 docs/api.md）

并发与性能：--parallel、--keep-warm、--prompt-cache-gib

• --parallel N：最多同时接纳 N 个请求，默认auto。注意差别——MLX 上 auto 表示请求共享解码轮次，CUDA 上 auto 是逐条串行，想真正并发必须显式传 N
• --keep-warm SECONDS：最后一个请求结束后 GPU 保持激活的秒数，默认 900，传 0 关闭
• --prompt-cache-gib GIB：保留提示词前缀的内存预算（Nemotron、Flash Next、GLM、Qwen3.8-27B 支持），0 表示关闭前缀复用
• --learn/--learn-dir DIR/--learn-gib GIB：把 system prompt 等共享前缀落到磁盘，重启后新会话可直接续用
• --no-drafts：关闭草稿（draft）机制，产出纯参考输出，便于精确性对比
• --drafter DRAFTER：Qwen3.8-27B 的 DFlash2 草稿器——不带它 27B 会明显变慢

推理控制：--thinking、--reasoning-effort 四件套

• --thinking/--no-thinking：是否让聊天模板打开 reasoning 块
• --reasoning-effort LEVEL：默认推理力度，low/medium/high/xhigh
• --thinking-budget N：限制推理 token 数
• --loop-guard：检测到重复的短推理循环时主动收尾

上下文压缩：--compact-at 与 --compact-keep

压缩默认关闭，开启后超长的会话会被自动压缩摘要，而不是直接拒绝：

• --compact-at auto|FRACTION：压缩开关
• --compact-keep TOKENS：逐字保留的最近 token 数，默认 20,000 或窗口的 1/4（取较小值）
• --compact-memory DIR：把每段会话的记忆笔记另存为 Markdown 文件

后端选择与其他实用标志

两条可直接抄的组合命令

# 单人开发机：快速启动、确定性输出 tensorfold serve ~/models/nemotron-lightning --name local-model \ --parallel 1 --context 8192 --temperature 0 --no-thinking # 小团队共用：并发请求 + 长上下文 + 前缀缓存 + 仪表盘 tensorfold serve ~/models/nemotron-lightning --name team \ --parallel 4 --context 16384 --prompt-cache-gib 8 --dashboard

想让它作为后台服务常驻？用tensorfold service install管理，见 docs/control.md。

如何自查本机支持的标志

tensorfold capabilities --json # 列出该二进制支持的标志及平台相关取值 tensorfold serve MODEL --help # 查看单个模型的用法，不加载模型

更多细节可翻阅 README.md 的 Serve flags 表、docs/api.md 的并发与采样行为，以及 RUNBOOK.md 的 CUDA 部署章节。

📌 速查清单就到这里，建议收藏备用——下次配置任何启动命令时，照表取值即可。