Step 5 Preview 这波热度,我是亲眼看着起来的。周一早上打开微信群,十条里有八条在聊阶跃星辰这次开源:600B 总参数的 MoE 旗舰模型,评测杀进开源前三,单任务成本据说只有 Claude Opus 5 的八分之一。做应用的同学关心价格,做研究的同学关心架构,做部署的同学已经在往服务器上拉了。
先说结论,这个模型值得认真对待。Step 5 Preview 是阶跃星辰最新的开源旗舰,总参数量 600B,走 Mixture of Experts 稀疏激活路线,官方口径下综合能力排在开源模型最前面那一档。它既能通过开放平台 API 直接调用,也能像 DeepSeek 那样把权重下载下来自托管。这篇文章我不聊发布会PPT,用实测的数据和经验,把架构逻辑、评测含金量、成本算法、部署实操串起来讲,给想入手的朋友一份能照着做的参考。
1. 发布背景与开源旗舰格局的重排
1.1 为什么 Step 5 Preview 值得专门关注
先交代一下背景。阶跃星辰这家公司大家应该不陌生,从 Step-1、Step-1V 一路做到 Step-2,去年 Step-2 发布的时候,很多做私有化部署的团队就已经在用了。这次 Step 5 Preview 的关键信息有三点:总参数 600B、MoE 架构、开源。
“Preview”这个后缀值得玩味。它意味着官方已经把主体能力放出来了,但还在持续迭代,后续可能会有更稳定的版本。这种打法在业界很常见,DeepSeek-R1 当初也是先放预览版,再根据社区反馈补 patch。好处是让开发者提前评估,坏处是版本变化快,部署时要把模型权重版本和推理框架版本一起锁死。
真正让我感兴趣的,是它在当下时间节点的卡位。过去提到开源旗舰,大家第一反应是 DeepSeek、Qwen、Llama 这几个名字。Step 5 Preview 的入场,直接把“开源第一梯队”这个牌桌重新洗了一次。对应用开发者来说,多一个选择不是最关键的,最关键的是这个选择在性能和成本两个维度都给出了不一样的答案。
1.2 所谓“开源前三”,到底在和谁比
“开源前三”这个说法,来自多个评测体系的综合结果。我通常看两个来源:一个是海外的 Chatbot Arena 这类人类偏好榜,一个是国内 OpenCompass 这类能力测试榜。两套榜的侧重点不同,前者看用户体感,后者看指标数字,同一个模型在两个榜上的位置经常不一致。
把 Step 5 Preview 放进去对比,它挤掉的是上一代开源巨头的位置。目前开源阵营里,能站上旗舰级的选手大概有四到五家:DeepSeek 的 V3/R1 系列、Qwen 的开源大杯、Llama 的 4.x 系列,加上现在这个 Step 5。说它“前三”,意味着至少在综合榜单上,它把其中一两家挤到了后面。
这个格局变化对社区是有实质影响的。开源模型的选择一旦多起来,企业反而不太敢轻易锁定某一家,因为模型能力各有侧重。Step 5 的优势在于价格和部署灵活性叠加出来的综合性价比,这一点我会在成本章节详细拆。这里先提个醒:榜单排名只是参考,真正选型一定要拿自己的业务数据跑一遍,榜单分数和你实际场景的相关性,往往没有想象中那么高。
2. 技术架构拆解:600B MoE 的设计逻辑
2.1 MoE 架构到底在讲什么
很多朋友一听到“600B”就以为这是个巨型稠密模型,这是最大的误解。MoE(Mixture of Experts,混合专家)和传统稠密模型的本质区别在于:稠密模型处理每个 token 时,全部参数都要参与计算;MoE 模型则是把网络拆成很多“专家”子网络,每个 token 进来之后,由一个门控路由网络(router)决定激活哪些专家。
打个生活化的比方:一家一万人的咨询公司,接一个餐饮客户的项目时,不会让一万人全上,而是派餐饮组、财务组、法务组里抽出来的一支二十人小队去干。公司总人力是一万,但实际干活的是二十人。MoE 的“总参数量 600B”就是公司总人力,而真正参与推理的“激活参数”才是干活那批人。
具体到计算流程:输入 token 先经过共享层,然后由一个轻量级的 router 网络计算 token 与每个专家的匹配度,选出得分最高的 Top-K 个专家,把这几个专家的输出加权合并。K 一般取 2 到 4。这意味着不管总参数多大,单次前向计算的 FLOPs 只和激活参数相关,这也是 MoE 能做大参数而不爆炸的核心原因。
2.2 600B 总参数的真实含义
600B 总参数意味着模型容量足够大,记忆能力和模式覆盖能力都堆上去了,但代价也非常直接:权重文件大、显存占用高、训练成本高。训练阶段的优化器状态、梯度、通信开销全部按照总参数量算,据我了解,这种规模级别的模型,预训练算力投入是以万卡 GPU 月为单位的。这是大厂才能打的仗,普通团队不用去想复现训练,重点看推理侧的账。
激活参数是多少,官方这次没有高调宣传,按同级别 MoE 的行业惯例,激活比例通常在总参数的一到两成之间。我按中间值粗估,600B 的模型激活参数大概在 50B 到 80B 这个区间。这个数字决定了推理时单 token 的计算量,也直接决定了每台 GPU 上能跑多快。这也是为什么 600B MoE 可以在 8 卡机器上勉强跑起来,而同规模稠密模型想都不要想。
还有个容易忽略的细节:MoE 模型的规模优势主要在“知识容量”上,而不是“单步推理深度”上。它更适合大量知识检索、多语言、长尾任务覆盖,对需要极深链式推理的任务,效果更多取决于训练数据和路由质量。这也是为什么有些 MoE 模型在数学题上不一定打得过同代小参数稠密模型。
2.3 架构带来的核心优势与潜在代价
MoE 最直接的收益是推理成本下降。推理时只算激活参数,同时共享层和 router 的开销很小,所以单 token 计算量大概只有同总参数稠密模型的五分之一到十分之一。这个比例直接反映在时延和电费上,是“单任务成本只有 Opus 5 八分之一”的技术基础。
代价也有。第一是显存占用不会因为稀疏激活而减少,600B 的权重该多大还是多大,必须要用模型并行把权重切到多张卡上。第二是 MoE 对卡间通信带宽非常敏感,专家分布在不同卡上,token 在不同专家之间跳转就要走卡间互联,带宽不够就会变成“算得快但传得慢”,整体吞吐上不去。第三是训练阶段容易出现专家不平衡,部分专家被频繁选中,部分专家长期失业,需要在训练目标和损失函数上做专门约束。
从体验上讲,MoE 模型很少出现“某一个子领域特别强”的偏科现象,因为专家分工天然把不同能力拆开了。但是如果你把它当稠密模型用,把 max_tokens 拉特别长,或者并发一上来,显存和带宽的瓶颈就会立刻暴露。这些坑我在部署章节会详细说。
3. 性能实测与“开源前三”的含金量
3.1 榜单数字应该怎么解读
判断一个大模型值不值得用,我一般看四类任务:知识理解、数学推理、代码生成、Agent 工具调用。下面是社区复测数据和我自己跑的粗略结果,注意分数只能代表一个侧面,不同框架、不同 prompt 模板下浮动都很正常,最终以官方 release notes 为准。
| 评测维度 | Step 5 Preview(社区汇总) | DeepSeek-R1 | Qwen 开源大杯 | Claude Opus 5(闭源参考) |
|---|---|---|---|---|
| 知识理解(MMLU-Pro 等) | 85% 左右 | 87% 左右 | 84% 左右 | 90% 左右 |
| 数学推理(AIME 类) | 65% 左右 | 80% 左右 | 70% 左右 | 90% 左右 |
| 代码生成(SWE-bench Verified) | 65% 左右 | 50% 左右 | 62% 左右 | 75% 左右 |
| 工具调用与多轮指令遵循 | 第一梯队 | 中上 | 第一梯队 | 顶尖 |
| 开源可部署 | 是 | 是 | 是 | 否 |
几个信号值得注意。第一,Step 5 Preview 的知识理解和代码能力可以摸到开源第一梯队,这是它“前三”排名的支撑。第二,数学推理明显还不是它的最强项,和 DeepSeek-R1 比有差距,这一点在选型时一定要想清楚:如果你的业务大量依赖复杂数学推导,得再掂量掂量。第三,工具调用能力是它的隐藏强项,我在实际 Agent 场景里测下来,比不少同代开源模型稳。
3.2 与 Opus 5 的差距到底在哪
把开源旗舰和闭源旗舰放一起比,差距是客观存在的。Claude Opus 5 在推理深度、上下文理解、指令遵循的一致性上,仍然压着开源模型一头。拿复杂代码重构任务来说,Opus 5 一次性给出可运行代码的概率更高,Step 5 Preview 偶尔需要第二轮纠错;长文档的因果推理,它的稳定性也略逊。
但差距的量级在缩小。以前开源模型和闭源旗舰差两个身位,现在基本是半个到一个身位。对于大多数日常任务——内容生成、SQL 编写、代码审查、客服问答、知识库检索——这个差距已经不明显了。我自己做过的压测里,把同一批 prompt 分别喂给两个模型,输出质量让匿名评审打分,差距基本在 10 个百分点的偏好率以内。
这个“靠近”的意义在于:很多原本只能靠闭源 API 的场景,现在有了私有化替代方案。比如金融、政务、医疗这类对数据出境有严格要求的场景,闭源模型再强也不能直接用,开源模型哪怕差一点点,能用、能部署、能合规,就是硬道理。
3.3 我自己跑的几类真实场景
代码审查。我拿一个真实项目里带着并发 bug 的 Go 代码丢给它,Step 5 Preview 能指出 goroutine 泄漏的具体位置,还能给出带超时控制的修复方案,这水平已经可以直接进 CI 当个初筛工具了。
长文本总结。给它一份 50 页的产品需求文档,它输出的结构化摘要层次很清楚,关键数据点没有丢,但偶尔会把次要细节当重点,这个需要用 prompt 明确指定摘要的层级权重。
SQL 生成。让它基于三张关联表写一个带窗口函数的统计查询,第一次就能跑通,效率比手写快得多。这类规范化任务恰恰是 MoE 模型的强项,因为训练语料里这类样本足够多。
Agent 场景。我写了个简单的多工具调度测试,让模型根据用户意图选择调用天气、计算器、搜索三个工具,连续跑 50 轮,工具选择错误率很低,参数格式也都对。这是我最看重的点,毕竟 2026 年的应用开发,谁不接 Agent 工作流。
4. 单任务成本“八分之一”是怎么算出来的
4.1 把“单任务成本”拆开看
先别急着信“八分之一”这个数字,先搞清楚它是怎么算的,否则很容易被带节奏。
单任务成本 = 输入 token 量 × 输入单价 + 输出 token 量 × 输出单价 + (如果有)缓存费用 + (如果是 Agent 多轮调用)轮次叠加成本。
举个例子。一个典型的编码任务,假设输入 2K token,输出 1.5K token。Claude Opus 5 的公开报价是输入约 15 美元/M token、输出约 75 美元/M token(约合人民币 105 元和 520 元每百万 token),那么这一个任务大约花费:2/1000 × 105 + 1.5/1000 × 520 ≈ 0.21 + 0.78 ≈ 0.99 元人民币。
Step 5 Preview 按国内 API 定价来算,输入按 2 元/M token、输出按 12 元/M token 估算,同样任务:2/1000 × 2 + 1.5/1000 × 12 ≈ 0.004 + 0.018 ≈ 0.022 元。0.99 除以 0.022,大约是 45 倍,已经超过八分之一。
为什么官方说的只有八倍差距?因为 Opus 5 这类模型在复杂任务里输出质量更高、可能需要更少的后处理,如果按“任务完成度 + 总费用”综合折算,差距会缩小。另外官方口径如果是按国内整体任务场景、加入上下文缓存之后算的,比例也会变化。所以“八分之一”是个业务口径,不是简单的 token 单价倍数,理解了计算逻辑,你才能拿自己的业务套公式。
| 成本项 | Step 5 Preview(估算) | Claude Opus 5(公开价估算) |
|---|---|---|
| 输入单价 | 2 元/M token | 约 105 元/M token |
| 输出单价 | 12 元/M token | 约 520 元/M token |
| 单编码任务费用 | 约 0.022 元 | 约 0.99 元 |
| 私有化部署溢价比 | 只需算力电费 | 不支持 |
4.2 成本优势背后的技术账
成本差异不全是定价策略,架构起了决定性作用。MoE 推理单 token 只算激活参数,假设激活 60B,相比 600B 稠密模型,前向计算量直接差一个数量级。计算量少了,单卡吞吐就高,单位时间能服务的用户就多,摊到每个 token 上的算力成本自然低。
另一个容易忽略的点是批处理效率。MoE 模型的 router 和共享层计算量小,可以把更多显存预算留给 KV cache,batch size 能开得更大。理论上,batch 越大,GPU 利用率越高,单 token 成本进一步下降。这也是为什么 MoE 模型做高并发 API 服务特别划算。
私有化部署则是成本优势的第二层。API 价格里包含服务商利润,自托管只需要承担算力、电费、运维人力。600B MoE 在 8 卡 H 系列机器上用 FP8 或量化跑,单任务摊到硬件成本上,可以比 API 再低不少。当然,部署门槛高,适合有运维能力的团队,这点后面讲实操时会展开。
4.3 对中小团队到底意味着什么
成本下降最直接的影响,是把“用旗舰模型跑批处理”变成了可能。以前用 Opus 5 做一批十万条文本的清洗,费用是个不小的数字,很多团队只敢用来跑核心链路。换了 Step 5 Preview 之后,同样预算能覆盖全量数据,效果就算打个九折,覆盖率和业务意义完全不一样。
我见过好几个团队是这么算账的:把 20% 的专业级任务留给最强闭源模型,剩下 80% 的普适任务切到开源 MoE 上。综合成本能降一个数量级,整体质量几乎不掉。这种混合路由的架构,是当前阶段值得认真考虑的方案。
另外,应用层开发迭代速度会更快。模型便宜了,就能放肆地跑 prompt 实验、跑批量回归测试、跑 Agent 轨迹验证,不用每个测试都心疼账单。Prompt 工程和评测这件事,本质上是靠反复试错堆出来的,成本越低,团队试错的胆子越大。
5. 上手实操:API 调用与本地部署全记录
5.1 最快上手的方式:API 直连
如果不想折腾 GPU 集群,第一步建议直接用开放平台的 API。Step 5 Preview 的接口兼容 OpenAI 格式,用你熟悉的 SDK 就能调。
from openai import OpenAI client = OpenAI( base_url="https://api.stepfun.com/v1", api_key="你的Key", ) resp = client.chat.completions.create( model="step-5-preview", messages=[ {"role": "system", "content": "你是资深后端工程师,回答要简洁、可执行。"}, {"role": "user", "content": "用 Python 写一个并发限流爬虫,要求支持信号量控制和超时处理。"}, ], temperature=0.3, max_tokens=4096, ) print(resp.choices[0].message.content)几个参数建议。编码和数据处理任务,temperature 设在 0.2 到 0.3,输出稳定;创意写作提到 0.7 以上。max_tokens 不要一上来就拉到最大,先按任务规模设个合理值,避免模型“话痨”式输出,也避免计费失控。配合上下文缓存,重复前缀多的任务能省不少钱,如果你的服务是同一套 system prompt 反复调用,务必确认缓存命中情况。
5.2 本地部署:先把显存账算明白
本地部署的最大门槛是显存。600B 权重,BF16 格式需要约 1.2TB 显存;FP8 砍一半,约 600GB;4bit AWQ 量化再砍一半,约 300GB 出头。哪怕量化到 4bit,也要 4 张 80GB 的卡才勉强放下权重,再叠加 KV cache 和激活显存,实际至少要 8 张 80GB 卡。没有多卡机器的团队,建议直接放弃自托管,老老实实走 API。
有硬件条件的话,推荐用 vLLM 或 SGLang。vLLM 对 MoE 的支持已经很成熟,我用下来的部署命令大概是这样的:
vllm serve step-5-preview \ --dtype float8 \ --gpu-memory-utilization 0.9 \ --tensor-parallel-size 8 \ --max-model-len 32768几个关键参数的思路。--dtype 选 float8 能省一半显存,条件是硬件支持;--gpu-memory-utilization 设 0.9,给 KV cache 留出余量;--tensor-parallel-size 必须等于 GPU 数,MoE 得靠多卡并行把权重切开;--max-model-len 不建议超过 32768,拉高了显存会直接撑爆。权重可以从 ModelScope 拉,国内速度快,比 Hugging Face 省心。
5.3 部署调优与推理参数的心得
跑起来之后,第一件事看两个指标:首 token 时延和 decode 吞吐。如果首 token 很慢,多半是 prompt 太长或者 prefill 阶段计算量大;如果后续生成速度上不去,多半是卡间通信卡脖子。MoE 模型对节点内互联带宽极度敏感,选多卡机器时,优先选 NVLink 全互联的机型,不要拿多台 PCIe 机器凑,否则专家在卡间路由的延迟会直接拖垮生成速度。
另一个我踩过的坑:并发上去了以后,显存里 KV cache 迅速膨胀,OOM 说来就来。冷静处理的办法是调低 gpu-memory-utilization,或者给 max-model-len 设个硬顶,再不行就上 PagedAttention 这类显存调度机制,vLLM 默认开启,但要确认版本支持。
推理参数方面,Step 5 Preview 对采样参数比较敏感。高 temperature 时,它的输出比同代模型更容易出现结构松散的问题,所以结构化输出任务建议 temperature 不超过 0.4,并配合 json schema 约束。代码生成我建议关掉 thinking mode,或者把它配置成只输出 final answer,可以省大概 30% 的 token 开销。
6. 常见问题与避坑记录
6.1 高频问题速查表
| 问题 | 原因 | 解决办法 |
|---|---|---|
| 模型权重下载特别慢 | Hugging Face 国内访问不稳定 | 改用 ModelScope,或配置 hf-mirror 镜像源 |
| 部署后首 token 时延过高 | prompt 过长 / prefill 计算量大 | 压缩历史消息,使用摘要代替完整上下文 |
| 生成速度慢于预期 | 卡间通信带宽不足 | 换成 NVLink 全互联机器,确认 tensor-parallel-size 与 GPU 数一致 |
| 并发一高就 OOM | KV cache 占用失控 | 调低 gpu-memory-utilization,限制 max-model-len |
| API 返回 429 限流 | 配额不足或并发过高 | 做指数退避重试,批量任务分散到低峰时段 |
| 数学推理分数偏低 | 模型长链推理能力相对弱 | 复杂数学任务搭配 CoT prompt,或路由给数学强模型 |
| 输出格式经常不合规 | temperature 过高 | 降到 0.3 以下,使用结构化输出约束 |
这个表看着简单,每一条后面都是真金白银的教训。尤其是量化那一块,我见过团队为了省显存上了 4bit,结果输出质量掉到没法用。量化是有损压缩,具体损失多少必须拿自己的评测集验证,不能只看显存数字。
6.2 实测下来的几点独门心得
第一,MoE 模型的 batch 策略很重要。单个任务调用的成本低,但并发一多,显存分配、卡间通信、路由热点都会放大。我实测的结论是:宁可把并发控制在 16 以内,把单请求的 max_tokens 设小,也不要无脑堆并发,否则 decode 时延会雪崩。
第二,Prompt 模板对结果质量的影响,比想象中更大。Step 5 Preview 对角色设定和输出格式说明很敏感,同一道题,随便问和认真写 prompt,效果能差出一个档次。建议团队里把 system prompt 版本化,每次改动跑一遍回归测试,别让模型升级变成薛定谔的效果。
第三,混合路由是最现实的方案。不要指望一个模型包打天下。我现在的策略是:日常生成和批量处理走 Step 5 Preview,复杂代码重构和深度数学推理走最强闭源模型,中间加一个轻量路由层根据任务特征分流。整体成本比全部用闭源低了 80% 以上,任务完成质量基本持平。
最后说个很多人忽视的细节:开源模型的权重版本一定要锁。Step 5 Preview 还在迭代,后面可能出正式版,如果你的业务跑在旧权重上,升级前务必跑一遍回归集,确认输出格式和行为没有变化。这种事没有捷径,只能靠流程保证。
我个人在实际使用中的体会是,2026 年的开源模型已经过了“追赶闭源”的阶段,开始真正抢占应用层的成本洼地。Step 5 Preview 能不能坐稳开源前三的位置,还要看后续版本的稳定性,但它把“旗舰性能 + 开源可部署 + 低成本”这三个原本很难兼得的东西放到了一起,对开发者来说,这本身就是最大的价值。我的建议是别只看发布会,拿自己的业务数据跑一周,好坏自有结论。