美团开源1.6万亿参数大模型LongCat-2.0:5万张国产卡从头训到尾,MIT协议随便用
2026/7/18 13:37:37 网站建设 项目流程

7月6日,美团干了一件让整个AI圈都没想到的事——把自家万亿参数大模型LongCat-2.0直接开源了,MIT协议,可以商用。

说实话,这个消息出来的时候,我正在看WAIC的预热新闻。然后朋友圈就被刷屏了。1.6万亿参数,48B激活,100万token上下文,全程在5万张国产算力卡上训练。这几个数字放在一起,分量确实不轻。

为什么这件事值得关注

先说明白一个背景。万亿参数级别的MoE模型,之前也不是没有。但像LongCat-2.0这样,从头到尾用国产算力卡训练出来的,这是第一个。

五万张国产卡,不是五万张A100。这意味着什么?意味着在高端GPU被限制的背景下,国内团队用国产芯片跑通了万亿参数模型的完整训练管线。美团CEO王兴说AI转型是"必答题"不是"可选题",LongCat-2.0就是这份答卷。

用过的都懂,国产芯片和英伟达CUDA生态的差距不只是硬件性能,更多是软件栈的成熟度。美团能在这上面把1.6T的模型训出来,工程能力是实打实的。

LongCat-2.0 核心特性

参数规模

训练基础设施

架构创新

开源生态

总参数 1.6T

激活参数 48B

稀疏度 ~97%

5万张国产算力卡

30万亿+ Token预训练

华为昇腾/摩尔线程/沐曦适配

LongCat稀疏注意力 LSA

N-gram Embedding扩展

多教师在线蒸馏

MIT协议 免费商用

BF16/FP8/INT8多版本

国产卡推理代码同步开源

三项核心技术创新

LongCat-2.0不是简单的"堆参数"。它的架构设计里藏着三个很有意思的创新点。

LongCat稀疏注意力(LSA)

这可能是整个模型最核心的技术。传统Transformer的自注意力机制复杂度是O(n²),序列长度翻一倍,计算量翻四倍。对于100万token的上下文窗口,这根本没法玩。

LSA的思路很巧妙——它不计算所有token之间的注意力,而是通过三个策略做稀疏化:

  • 流感知索引:按输入流动态选择全局最重要的token,不是固定窗口
  • 跨层索引:复用前面层的注意力模式,减少重复计算
  • 层级化索引:从粗粒度到细粒度分级检索,类似多级缓存

效果是直接把复杂度从O(n²)降到了O(n)。对于Agent类任务——你需要把整个代码库、文档、对话历史都塞进上下文——这个优化不是锦上添花,是刚需。

N-gram Embedding扩展路径

这个设计解决的是另一个问题:MoE模型虽然参数多,但每个token只激活3%的专家,实际表达能力受限于路由策略。LongCat-2.0引入N-gram级别的表示学习,把连续的token序列作为一个整体编码,让路由更"聪明"地分配专家。

打个比方,传统MoE是每个字单独决定找哪个专家,N-gram是让一个词组一起决定。显然后者更容易捕捉语义。

多教师在线蒸馏

训练过程中同时用多个更强的模型(教师)来指导LongCat-2.0。不是训完再蒸馏,而是在线实时蒸馏,训练效率更高。

实际表现怎么样

看几个关键指标:

基准测试LongCat-2.0GPT-5.5Claude 4.5
SWE-bench Pro59.558.655.2
Terminal-Bench 2.170.868.365.7
上下文窗口100万200万200万
开源协议MIT闭源闭源

在SWE-bench Pro上反超了GPT-5.5,Terminal-Bench 2.1也领先。这两个基准都是实打实的编程能力测试,不是刷榜的那种。

更关键的是,它的平均激活参数只有48B。48B激活就能拿到这个成绩,说明MoE的路由策略设计得很高效——不是"力大砖飞",是"好钢用在刀刃上"。

国产芯片适配:不只是能跑

开源当天,华为昇腾、摩尔线程、沐曦股份三家国产芯片厂商就宣布完成适配。但这还不是最关键的。

美团这次同步开源了专门针对国产算力芯片深度优化的推理代码,包括:

  • PD分离部署:Prefill和Decode分开部署,充分利用不同芯片特性
  • KV-cache切分:把缓存切分到多卡,降低单卡显存压力
  • Super Kernel算子优化:针对国产卡指令集定制的融合算子

说白了,这等于给国产芯片生态提供了一套"最佳实践"参考。对于正在国产化替代的企业来说,这个价值可能比模型本身还大。

对开发者意味着什么

MIT协议意味着你可以直接拿LongCat-2.0来做商业项目,不需要付费,不需要申请。这跟很多"开源但商用需授权"的模型完全不同。

48B的激活参数意味着,如果你有足够的内存(大概2-4张80G显存的卡),就可以跑BF16版本。如果用量化版本(INT8),甚至单卡就能推理。

对于做Agent应用的开发者来说,100万token的上下文窗口是一个非常有吸引力的特性。你可以在一次推理中塞进整个项目的代码、几十页的文档、完整的对话历史,然后让模型做跨文件的修改。

写在最后

LongCat-2.0的开源,意义不只是多了一个大模型可以用。它证明了国产算力生态可以支撑万亿参数级别的模型训练,为后续的国产化AI基础设施趟出了一条路。

当然,开源只是第一步。模型的实际效果、社区的活跃度、后续的迭代速度,这些才是决定它能不能真正形成生态的关键。但现在这个开局,确实让人对国产AI的下一步更有信心了。


美团LongCat-2.0于2026年7月6日正式开源,采用MIT协议,总参数1.6万亿,激活参数480亿,支持100万token上下文,在SWE-bench Pro上以59.5分领先GPT-5.5。华为昇腾、摩尔线程、沐曦等国产芯片厂商已完成适配。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询