企业官网建设流程全解析

• 人工智能
• 大模型
• 具身智能
• 机器人
• 微调

FLUX 3 Action DROID 是 Black Forest Labs 开源的 7B 世界动作模型(World Action Model),在 DROID 数据集上微调后以 42.92% 的 RoboLab-120 任务成功率登顶榜首。本仓库围绕它提供6 个权重变体:根目录 BF16 完整版、FP8r 量化版、Guidance 蒸馏版和 1 步推理蒸馏版——它们的精度、显存占用和采样步数各不相同。本文带你用一张表看懂六大变体的差异,并给出不同硬件和场景下的选型建议。

仓库结构速览:一个模型,六个包

整个仓库的目录布局非常清晰:

flux-3-action-droid/ ├── config.json / config.native.json # LeRobot 配置 / 原生 FLUX Action 配置 ├── model.safetensors # 根目录 BF16 权重(已验证的默认版本) ├── lora.json # 可选的 LeRobot 任务 LoRA 训练配方 ├── manifest.json # 权重 SHA256 校验清单 └── variants/ ├── fp8r/ # FP8r 量化 ├── gd/ # Guidance 蒸馏(BF16) ├── gd-fp8r/ # Guidance 蒸馏 + FP8r 量化 ├── sd/ # 步骤蒸馏(BF16) └── sd-fp8r/ # 步骤蒸馏 + FP8r 量化

根目录是唯一经过官方验证的默认策略,其余 5 个变体都是实验性优化检查点(Experimental optimization checkpoint),按需下载即可。每个变体的文件清单和校验和记录在 manifest.json 中,下载后可自行核对完整性。

命名规则:gd、sd、fp8r 到底代表什么

变体命名来自 3 个可自由组合的维度 🧩:

对应关系一览:

采样参数对比:4 步推理 vs 1 步推理

各变体的推荐采样参数(Cosmos UniPC 采样器)差异是选型的第二关键点:

解读:

• Base 版需要跑 4 步,且 video guidance 为 4 意味着每步要计算两次前向(条件 + 无条件),实际前向次数最多,推理最慢;
• gd 版通过蒸馏免去了无条件分支,4 步内单前向,速度明显提升,适合追求质量稳定的场景;
• sd 版只用 1 步直接出结果,延迟最低,是实时机器人控制的理想选择(其 1 步在 timestep 0.999 评估,并以 sigma ≈ 0.9998 做 endpoint 更新,细节见 variants/sd/README.md)。

显存与精度:BF16 与 FP8r 的区别 💾

BF16 包中 DiT 检查点为完整的 BF16 张量;FP8r 包则做了精细的混合精度量化:

• 所有线性权重矩阵按行级 E4M3FN FP8存储(行缩放系数为 FP32,存放在<module>.weight_scale);
• DROID 的动作输入/输出头和动作调制层保持 BF16,保护动作输出的精度;
• 归一化参数保持 BF16,模型输入输出仍为 BF16。

官方给出的显存参考:BF16 下约需32 GB(NVIDIA H200);使用--quantize fp8 --offload-text-encoder后可降到24 GB 显卡。FP8r 变体正是为这类显存受限的环境准备的。

⚠️ 注意:FP8r 权重不是 LeRobot 的即插即用策略,必须使用支持量化加载的 FLUX Action 独立加载器;而 BF16 变体自带 LeRobot 配置,可以直接用 LeRobot 加载。

加载方式:LeRobot 与独立 FLUX Action 怎么选

两种框架读取不同配置文件(参见 README.md 的 Usage 部分):

• LeRobot读取config.json,示例:

from lerobot.policies.flux3 import Flux3Policy repo_id = "black-forest-labs/flux-3-action-droid" policy = Flux3Policy.from_pretrained(repo_id)

• 独立 FLUX Action优先读取config.native.json(根目录、gd、sd 变体均提供),如 config.native.json,其中定义了num_inference_steps: 4、guidance_scale: 4.0、sampler: cosmos_unipc等默认推理参数。

另有两个实用细节:

1. 默认 LeRobot 加载不会拉取任何变体权重,只会下载根目录,变体需要你显式指定;
2. VAE 和文本编码器不随每个变体重复分发,而是以 Hub 引用方式共享自 base 仓库,省了大量下载体积。

只下载单个变体的命令

官方推荐用hf download的--include过滤下载,例如只拉取 1 步推理的 BF16 版:

hf download black-forest-labs/flux-3-action-droid --include 'variants/sd/*' --local-dir models/droid

把variants/sd/*换成variants/fp8r/*、variants/gd-fp8r/*等即可按需取件,避免下载全部 6 套权重。

选型建议:按你的场景对号入座

其他值得注意的细节 🔍

• 动作输出:模型输出 32 个动作 @ 15 Hz 的绝对关节指令 + 夹爪开合比例(0 开、1 闭),状态输入为 7 个臂关节角度 + 夹爪比例,三目相机(wrist / left / right)合成为 544x736 画布;
• 微调:lora.json 是一份 LeRobot 任务 LoRA(r=32、EMA 0.999)训练配方,不含适配器权重;但注意官方说明蒸馏变体的微调尚未验证;
• 安全:模型只输出关节目标,不限制速度、力或工作空间,实际部署必须由应用层强制安全限位。

选对变体后,你就能在质量、速度和显存之间找到最适合自己的平衡点——先用根目录版验证任务可行性,再按硬件预算切换 gd / sd 蒸馏版或 fp8r 量化版,是最稳妥的落地路径。

• 人工智能
• 大模型
• 具身智能
• 机器人
• 微调