企业官网建设流程全解析

dots3-note 架构深度解析：16B 激活参数的 280B MoE 如何实现高效推理

【免费下载链接】dots3-note-prev项目地址: https://ai.gitcode.com/hf_mirrors/dots-studio/dots3-note-prev

dots3-note preview 是 dots studio 推出的开放权重多模态大模型，采用混合专家（MoE）架构：总参数量高达280B，但每次推理只需激活16B参数，即可支持最长512K token上下文，同时理解文本、图像、视频和音频。280B 与 16B 的巨大差距正是 MoE 高效推理的核心奥秘。本文将从架构参数、稀疏激活、混合注意力到部署实战，为你完整拆解这套"以小博大"的推理设计。

dots3-note MoE 混合专家模型：280B 总参数 16B 激活参数的稀疏激活架构

什么是 MoE 混合专家模型：一张图看懂 280B 与 16B 的关系

传统的稠密大模型每处理一个 token，所有参数都要参与计算。而 dots3-note 采用 MoE 设计，把庞大的模型拆成256 个路由专家 + 1 个共享专家，每个 token 只交给其中Top-8 个专家处理。

• 280B 总参数：模型"知识总量"，决定了能力的上限；
• 16B 激活参数：每个 token 实际参与计算的部分，决定了推理成本；
• 共享专家：每个 token 都会经过的"公共通道"，保证基础能力稳定；
• 路由机制：一个轻量 Router 为每个 token 打分，动态挑选最合适的专家。

这套设计的直接收益是：拥有 280B 级别模型的强大能力，推理开销却只有 16B 稠密模型水平，这正是 dots3-note 实现高效推理的第一层基础。

dots3-note 核心架构参数一览

模型的全部架构参数都集中在仓库根目录的config.json文件中，以下是关键配置的速览表：

如果你动手查看config.json，会发现layer_types字段清晰记录了 46 层中每层的注意力类型，n_routed_experts、num_experts_per_tok等字段则定义了 MoE 的核心行为，非常适合作为理解架构的第一手资料。

高效推理的三大关键技术

稀疏激活：Top-8 路由如何把计算量压缩 17 倍

dots3-note 的 MoE 部分采用sigmoid评分函数与noaux_tc路由方法，每个 token 从 256 个专家中选出 8 个。256 选 8 意味着理论上 FFN 部分的计算量只有全量计算的 1/32，配合共享专家与norm_topk_prob概率归一化，在保持路由稳定的同时大幅降低算力需求。

MoE 层参数由moe_intermediate_size（1536）控制，每个专家的中间维度远小于稠密层，进一步压低了单专家激活的显存与带宽开销。

混合注意力：13 层 DSA + 33 层 SWA 支撑 512K 超长上下文

长上下文推理的最大瓶颈是注意力计算的二次方复杂度。dots3-note 采用约 1:3 的混合注意力结构：

• 13 层全注意力（DSA）：采用 Top-2048 稀疏索引机制（index_topk: 2048），配合 64 个索引头，让模型在关键层拥有全局视野；
• 33 层滑动窗口注意力（SWA）：窗口大小为 513（sliding_window_size: 513），局部 token 只与邻近位置交互，大幅削减计算量。

此外，注意力层使用 MLA 风格的低秩投影（q_lora_rank: 1024、kv_lora_rank: 512）压缩 KV 缓存，配合rope_theta: 80000000的超大旋转位置编码基数，让模型在 512K 上下文下依然保持稳定的位置感知能力。

多模态编码器：MoE ViT 视觉 + 稠密音频

高效推理不仅体现在语言主干，多模态编码器同样精打细算：

• 视觉编码器：MoE ViT，总参数 7B、激活仅 1.2B，采用金字塔式专家分配（后 16 层逐步增加路由专家数），并支持视频输入；
• 音频编码器：基于 Whisper 架构的稠密编码器，约 800M 参数，16kHz 采样，可处理最长 60 秒音频片段。

权重文件在仓库中分为model-vision.safetensors（视觉）与model-audio.safetensors（音频），主权重则拆分在model-00001-of-00131.safetensors至model-00131-of-00131.safetensors共 131 个分片中，model.safetensors.index.json中的total_size（约 577GB，BF16）恰好对应 280B 主干 + 编码器的整体规模，可作为核对下载完整性的依据。

部署实战：FP8 量化下如何低成本运行 280B 模型

配置与权重文件解析

generation_config.json定义了双 EOS 策略，chat_template.jinja则实现了多模态对话模板——图片、视频、音频会分别被替换为<|img|>、<|video_pad|>、<|audio_comp_start|>等特殊占位符，并支持enable_thinking开关控制思考模式。理解这套模板，是正确调用多模态 API 的前提。

最快部署步骤：单机 8 卡运行 FP8 权重

官方推荐的最高效路径是使用FP8 量化版权重（dots3-note-prev-fp8），单机 8 卡即可部署：

1. 获取仓库与权重：通过git clone https://gitcode.com/hf_mirrors/dots-studio/dots3-note-prev获取配置与建模代码（权重文件已内置于仓库）；
2. 选择推理框架：vLLM main 分支已原生支持，SGLang 提供官方 Docker 镜像，两者均支持 8 卡 TP/EP 并行；
3. 启用 MTP 投机解码：SGLang 使用 NEXTN 算法、vLLM 使用 3-token MTP（模型自带 1 个共享 MTP 层，约 1.13B 参数），可将 TPOT 再降低 50% 以上；
4. 按需开启多模态与工具调用：--enable-multimodal开启图文音视频输入，--tool-call-parser dots启用 OpenAI 兼容的工具调用。

总结：280B 与 16B 之间的推理艺术

dots3-note 用一组漂亮的设计回答了"如何用 280B 参数跑出 16B 的成本"：稀疏激活决定计算量，混合注意力撑起 512K 长上下文，MTP 投机解码压榨每一步生成延迟，FP8 量化则把显存门槛降到单机可及。对于想要低成本体验顶级多模态 MoE 能力的开发者和研究者而言，这份架构清单既是很好的学习范本，也是快速上手的部署指南。

【免费下载链接】dots3-note-prev项目地址: https://ai.gitcode.com/hf_mirrors/dots-studio/dots3-note-prev