- 大模型
- 推理模型
- 模型量化
【免费下载链接】Kimi-K2-Thinking-Pruning
Kimi-K2-Thinking-Pruning 是 Moonshot AI 开源的 1T 参数"思考型"智能体模型,原生 INT4 量化、支持 256K 上下文,并在 HLE(Humanity's Last Exam)、BrowseComp、AIME 等顶级基准上刷新了开源模型 SOTA 成绩。本文带你用最少的话读懂这些数字到底意味着什么。
模型速览:1T 参数的"思考智能体"
在解读成绩之前,先花 30 秒了解 Kimi K2 Thinking 的定位,它是理解所有分数的前提:
| 关键特性 | 说明 |
|---|---|
| 架构 | Mixture-of-Experts(MoE) |
| 总参数 | 1T,激活仅 32B |
| 量化 | 原生 INT4(QAT 训练,无损加速约 2 倍) |
| 上下文 | 256K |
| 专家数 | 384 个,每 token 激活 8 个 |
| 注意力机制 | MLA |
它的核心卖点是**"深度思考 + 工具编排"**:端到端训练让模型在推理链中自主穿插函数调用,能稳定完成 200~300 次连续工具调用而不"迷失方向"——这正是它在 Agent 类基准上领先的关键。模型架构细节可在 config.json 中查看,例如model_type设为kimi_k2、量化配置quant_method为compressed-tensors。
HLE 基准:无工具 23.9,带工具直接冲到 44.9
HLE(Humanity's Last Exam)号称"人类最后一考",题目难度面向专家级知识,是检验模型"真实智力"的硬指标。Kimi K2 Thinking 的表现分三档:
| 设定 | K2 Thinking | GPT-5 (High) | Grok-4 | DeepSeek-V3.2 |
|---|---|---|---|---|
| 无工具(纯文本) | 23.9 | 26.3 | 25.4 | 19.8 |
| 带工具 | 44.9 | 41.7* | 41.0 | 20.3* |
| Heavy 模式 | 51.0 | 42.0 | 50.7 | - |
三个值得注意的信号:
- 纯推理差距很小:无工具设定下 23.9 分,与 GPT-5 的 26.3 仅差 2.4 分,对上一个版本 K2 0905(7.9 分)是 3 倍级别的跃升。
- 工具是真正的放大器:带上搜索、代码解释器、网页浏览工具后,分数从 23.9 暴涨到 44.9,直接超过 GPT-5 带工具成绩(41.7*)——这说明它不是"更会答题",而是"更会找答案"。
- Heavy 模式再拉 6 分:先并行展开 8 条轨迹、再反思聚合,拿到 51.0,与 GPT-5 Pro(42.0)拉开明显差距。
官方测试中还特意屏蔽了 Hugging Face 的访问(避免数据泄露),在不屏蔽的情况下 HLE 分数可达 51.3,测试细节见 README.md 脚注部分。
AIME25 数学:带 Python 解释器直接满分
AIME(美国数学邀请赛)是竞赛数学基准,最能体现多步推理深度。Kimi K2 Thinking 的成绩非常"暴力":
| 设定 | K2 Thinking | GPT-5 (High) | Claude Sonnet 4.5 | DeepSeek-V3.2 |
|---|---|---|---|---|
| 无工具(avg@32) | 94.5 | 94.6 | 87.0 | 89.3 |
| 带 Python(avg@16) | 99.1 | 99.6 | 100.0 | 58.1* |
| Heavy 模式 | 100.0 | 100.0 | - | - |
解读:
- 裸考 94.5 分(32 次运行平均)已是顶级闭源模型水平,且注意 DeepSeek-V3.2 在无工具设定只有 89.3、带 Python 反而掉到 58.1*(复测值),说明"会写代码验证"本身是一种能力而非纯技巧。
- 99.1 → 100.0 的爬升说明它写代码验算的思路非常可靠,Heavy 模式直接刷满 100 分。
- 同类基准 HMMT25 上,K2 Thinking 无工具 89.4、带 Python 95.1、Heavy 97.5,趋势一致。
BrowseComp 搜索:60.2 分,开源模型新天花板
BrowseComp 考察真实网页环境下的深度搜索与综合能力,是"Agent 能力"的核心考题:
| 基准(带工具) | K2 Thinking | GPT-5 (High) | K2 0905 |
|---|---|---|---|
| BrowseComp | 60.2 | 54.9 | 7.4 |
| BrowseComp-ZH(中文) | 62.3 | 63.0* | 22.2 |
| Seal-0 | 56.3 | 51.4* | 25.2 |
这是整个成绩表里最亮眼的差距:
- 相对上一版 K2 0905,BrowseComp 从 7.4 提升到 60.2,接近 8 倍;
- 英文超过 GPT-5 约 5 分,中文 BrowseComp-ZH 62.3 几乎追平 GPT-5(63.0*);
- 背后是 300 步工具调用上限 + 每步 24k token 推理预算的配置,256K 长上下文则负责在超长搜索链中"不丢目标"。
配合 SWE-bench Verified 71.3、LiveCodeBench V6 83.1 等编程成绩,K2 Thinking 是目前开源阵营中最完整的"思考 + 搜索 + 编码"三合一选手。
成绩背后的关键工程:原生 INT4 量化
以上所有基准分数都是在 INT4 精度下测出的,这点很重要——量化通常会导致思考模型性能明显下滑,而 K2 Thinking 在后训练阶段用 QAT(Quantization-Aware Training)对 MoE 组件做了 INT4 权重量化(config.json 中可见num_bits: 4、strategy: group配置),实现了约 2 倍生成加速且成绩无损。对部署者来说,这意味着低显存成本下仍能跑满 SOTA 能力。
如何复现这些成绩:本地部署指南
想亲自验证分数,可按以下三步走:
- 选推理引擎:官方推荐 vLLM、SGLang、KTransformers,其中 vLLM/SGLang 需开启
--tool-call-parser kimi_k2与--reasoning-parser kimi_k2,完整示例见 docs/deploy_guidance.md;最小部署单位约为 8×H200(TP=8)。 - 设好推理参数:推荐
temperature = 1.0,256K 上下文;官方基准即在 temperature=1.0 下评测。 - 接入工具调用:HLE、BrowseComp 的高分依赖搜索/浏览器/代码解释器工具,工具循环调用的实现思路可参考 docs/tool_call_guidance.md 中的
finish_reason == "tool_calls"循环模式。
上图展示了基础模型阶段的横向对比,可以看到 Kimi-K2-Base 在 MMLU(87.79)、GSM8k(92.12)、C-Eval(92.5)等通用任务上就已全面领先同代基座——这是思考版高分的重要底盘。
总结:这张成绩单说明什么?
- HLE 带工具 44.9 / Heavy 51.0:验证"工具编排"是 K2 Thinking 的核心竞争力,且超过了闭源旗舰;
- AIME25 带 Python 99.1 / Heavy 100.0:竞赛数学基本无死角,代码验算能力成熟;
- BrowseComp 60.2:长程搜索能力大幅领先上一代,中文场景同样能打;
- INT4 无损:所有高分都是低精度量化下取得的,部署性价比极高。
对新手来说,结论很简单:如果你要一个"会想、会搜、会写代码"的开源模型做 Agent,Kimi-K2-Thinking 目前就是默认选项,更多评测原始数据可查阅 README.md 第 3 节 Evaluation Results。
- 大模型
- 推理模型
- 模型量化
【免费下载链接】Kimi-K2-Thinking-Pruning
相关推荐
RSpec for Rails 模型规格(Model Spec)实战指南:类型标注、生成器与事务型示例
RSpec for Rails 模型规格(Model Spec)实战指南:类型标注、生成器与事务型示例 在 RSpec for Rails(rspec rail
Kimi-K2-Thinking-Pruning工具调用完全指南:Function Calling从入门到多轮调用实战
Kimi K2 Thinking Pruning工具调用完全指南:Function Calling从入门到多轮调用实战 Kimi K2 Thinking Pru
大模型推理模型模型量化蓝鲸PaaS命令行部署实战:bkpaas-cli deploy命令参数完全手册
蓝鲸PaaS命令行部署实战:bkpaas cli deploy命令参数完全手册 蓝鲸智云 PaaS 平台(blueking paas)是一个开放式开发平台,让开
大模型推理模型模型量化
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考