☰
AI芯片风向生变:推理时代拼有效算力,内存与互联成关键
2026/11/4 8:13:04 网站建设 项目流程

1. 上海峰会现场最值得琢磨的三个信号,说给没去成的人听

这两天朋友圈被上海那场AI芯片峰会刷屏了,我作为一个每年都要跑几场行业活动的人,本来以为又是一场各家PPT比参数的例行公事,结果两天听下来,发现风向确实变了。如果你没能到现场,这篇就当是我帮你代逛了,把最有价值的观察和判断一次说清。

先说结论:AI芯片接下来的主战场,已经不是“谁的核心数多、谁制程先进”这种明面上的较量了。真正决定下一阶段格局的,是围绕芯片的软硬件协同、互联方案、内存带宽、以及“能不能让客户把算力真正用起来”这四件事。

这次峰会的几个信号很有意思。第一个是各家都不约而同地把重心从“训练芯片”转向了“推理芯片”,强调的是单位美元/单位功耗能跑多少个并发token,而不是再单纯吹峰值算力。第二个信号是端侧AI芯片的玩家明显变多了,从眼镜到耳机、从PC到汽车,大家都在抢“不需要联网也能跑大模型”这个入口。第三个信号最隐蔽但影响最大——台下的投资人、系统集成商和云厂商,问得最多的不是芯片跑分,而是软件栈成熟度、算子覆盖率、以及能不能兼容现有的主流模型框架。

从技术视角看,AI芯片这几年的变化本质上是算力需求结构变了。以前大家造芯片,目标很单纯:把Transformer的训练时间缩短。但到了2025年这个阶段,训练侧的格局已经基本固化,真正爆发的是推理需求。你在手机上用的语音助手、在PC上开的AI编程助手、在工业产线里跑的质量检测模型,这些全都是推理负载,而且它们对芯片的要求和训练完全不同——推理更看重时延、并发能力、内存带宽和能效比,而不是绝对的理论浮点算力。

这篇文章我想系统性地把这次峰会暴露出来的技术趋势、产品动向和行业判断整理一下,重点讲清楚三件事:AI芯片的架构演进到底走到哪一步了、为什么互联和内存开始比制程更重要、以及端侧芯片这条路线为什么突然成了香饽饽。所有这些,都是我听完现场报告、看完展区Demo、又和几家大厂的工程师私下聊了一圈之后,沉淀下来的东西。

2. 别再盯着峰值算力了,推理时代拼的是“有效算力”

这次峰会上有一个反复出现的词让我印象很深——“有效算力”。很多演讲嘉宾都在用一种更挑剔的眼神审视算力:你这颗芯片,实际跑一个LLM推理请求,延迟多少?每瓦特能处理多少个并发会话?能效比是多少?这不是某一家厂商的新提法,而是整个行业都开始意识到,理论算力数字已经欺骗大家太久了。

为什么会出现这个转变?根本原因是大模型的应用形态变了。2024年之前,大家聊AI芯片必谈训练,因为GPT-4这一代模型动辄上万张GPU集群训练,算力怎么堆都不过分。但到了2025年,一个明显的风向是:训练需求开始见顶,推理需求开始爆炸。

我在这再说得直白点,大模型的商业模式已经从“炼金”变成了“卖水”。开发一个基座模型,门槛极高,但那是少数头部玩家的事;而把模型部署到千家万户的业务场景里,才是绝大多数企业真正在做的。这带来的直接后果就是,AI芯片的考核指标彻底变了:

  • 峰值浮点算力(TFLOPS)不再是第一指标,因为实际推理根本跑不到那个峰值;
  • 时延(Latency)成为关键,比如智能客服、自动驾驶这些场景,200毫秒和20毫秒的体验天差地别;
  • 并发吞吐变得和算力同等重要,同样一颗芯片,能同时喂饱多少个用户请求,直接决定服务器采购成本和云服务定价;
  • 能效比被提高到前所未有的高度,因为推理服务是7×24小时跑的,电费是实打实的运营成本。

正因如此,这次峰会上好几家厂商在演讲中展示的测试基准,已经从传统的ResNet-50跑分,变成了“在Llama-3-70B上跑多少个并发streams”、或者“跑Qwen-2.5-14B的每token耗电是多少”。这种变化本身就说明,行业的话语体系已经在往真实应用场景迁移。

我再给你一个具体的例子理解“有效算力”和“峰值算力”的差距。展区里有一家做推理芯片的创业公司,他们展示了一组对比:一颗标称200TOPS的端侧NPU,如果软件栈做得不好,模型算子有40%没优化到位,实际跑一个大模型可能只剩60TOPS的效果;而另一颗标称只有120TOPS的芯片,因为算子全覆盖、内存调度优化做得好,实际跑起来反而更快。现场参观的企业客户明显对后者的兴趣更大。算力是纸面的,体验才是真实的,这句话放在AI芯片挑选上越来越管用。

说到这,我得提一嘴这次的意外发现:不少厂商在做“AI芯片评测墙”时,已经主动用免费开源模型作为基准负载。这是个特别务实的变化,因为闭源模型不肯开放权重,大家只能拿Llama、Qwen、DeepSeek这些开源模型来测。这意味着,开源模型实际上成了AI芯片行业的事实标准测试集,这个影响会越来越深远——芯片在开源模型上表现好,客户采购意愿就高,而芯片厂商也会反过来针对这些模型做深度优化,形成正反馈循环。

3. 内存与互联的卡脖子问题,成了比制程更硬的约束

这次峰会上有个观点几乎被所有演讲者提到,那就是:AI芯片的瓶颈已经从晶体管数量转移到了数据搬运速度。说白了,芯片计算单元的算力增长太快,但数据从内存搬到计算单元的“路”太窄了,模型权重根本喂不进去。

这个问题的学名叫“内存墙”。我试着用个生活化的类比来解释:假设你的计算单元是一个超级大厨,做菜速度极快,每分钟能炒50道菜;但你的配菜员(内存)能力有限,每分钟只能从仓库(主存)搬5道菜的食材过来,大厨只能干等。这时候你换再好的锅、再锋利的刀(算力单元)都没用,瓶颈在配菜员身上。

这次峰会上,围绕“内存墙”的解决方案大致有三条路线:

第一条是HBM堆叠技术。HBM(高带宽内存)通过硅中介层把多层DRAM和计算die封装在一起,用极宽的接口传输数据。这次有几家厂商展示了最新一代HBM3E方案,单颗芯片的带宽做到1.2TB/s以上,相当于每秒能搬运超过1万张蓝光碟的数据。这项技术现在已经成了高端AI芯片的标配,但难点在于产能和良率,HBM的制造和测试成本极高,头部DRAM厂商在这个环节的话语权非常大。

第二条是Chiplet和先进封装路线。既然单颗大芯片做不大做不便宜,那就把芯片拆成多个小模块——计算die、内存die、IO die分开制造,再通过先进封装“拼”在一起。台积电的CoWoS、CoWoS-R、以及这几年行业内反复讨论的UCIe互联标准,都是在做这件事。我在现场看到一家国内厂商展示了他们的Chiplet方案,把两个计算die和一个IO die封装在一起,良率做到了接近单die的水平,这个进步让我挺意外的。

第三条是近存计算(Near-Memory Computing)和存内计算(In-Memory Computing)路线。这条路更激进:直接把计算单元挪到内存旁边,甚至干脆让内存本身具备计算能力。现场有一家做存算一体芯片的公司,他们的Demo是在同一颗Die上集成了大容量SRAM和可配置的计算阵列,跑大模型推理的时候,模型权重存在SRAM里,计算时就地读取,不需要反复经过狭窄的数据通道。他们展示的能效比数据非常可观,FP16下做到了80TOPS/W,比传统方案高了一个量级。

这里我想多说一句,因为很多人对存内计算有个误解,以为它能完全替代传统方案。实际上目前成熟的存内计算还是以SRAM为主,密度有限,更适合中等规模的端侧和边缘侧场景;超大集群的训练芯片短期内还是要靠HBM+外部大容量内存的组合。相对合理的预判是:未来两三年内,HBM+Chiplet会是高端AI芯片的绝对主流,存内计算则会在端侧和边缘侧先跑出规模,两条腿走路,各管一段。

另外一个容易被忽略但极其关键的“隐形战场”是芯片间互联。大模型训练和推理早就不是单颗芯片的事了,而是千卡万卡集群协同工作。英伟达的NVLink之所以是壁垒,就是因为它在芯片之间建立了超高带宽、超低时延的直连通道,使得整个集群像一台虚拟超级计算机。这次峰会上,国内也有多家厂商在推自己的高速互联方案,比如类NVLink的点对点直连、基于以太网的RDMA方案、以及光互连技术。

有个现场展示让我印象深刻:一家做AI集群互联方案的厂商,用一个模拟的1024卡集群,演示了在PCIe和高速直连两种方案下训练一个大模型的性能差异。同样的卡、同样的模型,直连方案的整体训练吞吐提升了接近50%。说白了,大模型时代的算力是“连”出来的,不是“堆”出来的。集群规模越大,互联的瓶颈效应就越明显。谁先把互联协议和拥塞控制做好,谁就能在千卡级市场拿到先手。

4. 大模型从云端走向端侧,芯片厂的新蛋糕和老难题

这次峰会展区最热闹的当属端侧AI芯片。从智能眼镜、AI耳机、到AI PC、智能家居、车载智能座舱,凡是你想得到的终端设备,几乎都在秀“本地跑大模型”的能力。这背后的驱动力其实不难理解:

  • 隐私保护:敏感数据不出设备,谁愿意把病历、语音、摄像头画面全部传到云端?
  • 时延约束:很多交互场景不允许来回上传下载,比如自动驾驶的紧急制动判断,必须毫秒级本地响应;
  • 成本与可靠性:云端调用按Token计费,长期是一笔不小的开销,而且断网就不能用;
  • 国家与行业合规要求:不少行业对数据出域有严格限制,只能在本地处理。

但“端侧跑大模型”说起来容易,做起来是真难。为什么?因为大模型动辄几十B、上百B参数,而一个手机芯片的算力可能只有几十TOPS,内存只有几GB。要在这么“穷”的环境里跑出可用的效果,行业走了一条“软硬协同瘦身”的路线。

第一步是模型层面压缩。量化技术把FP16精度压到INT4甚至INT3,4-bit量化后的7B模型体积可以压缩到4GB出头;剪枝和蒸馏去掉模型的冗余参数,知识蒸馏让一个7B小模型去模仿70B大模型的行为。我现在手里用的这波便宜好用的小模型,基本上都是这么折腾出来的。

第二步是异构计算拆分。端侧芯片不再用一个通用GPU大包大揽,而是采用“CPU+GPU/NPU+小核NPU”的异构架构:大模型的主干网络跑在主NPU上,一些轻量的算子分给小核,音频编解码、语音唤醒这类固定任务用独立的小处理单元完成。这样做的目的是把算力用在刀刃上,避免大炮打蚊子,也避免整机功耗失控。

第三步是推理引擎优化。这是端侧落地最关键也是最脏最累的活。现场一家做端侧推理框架的厂商展示了他们的成果:在完全相同的手机SoC上,通过算子融合、内存复用和异步调度三板斧,把一个大模型的推理时延从原来的800毫秒压到了280毫秒。这个优化幅度靠堆硬件是根本做不到的,只能靠软件栈硬啃。

不过,端侧芯片真正的挑战还不在芯片本身,而在生态碎片化。我发现一个很有意思的现象:手机SoC、PC处理器、车载芯片、IoT芯片,各自为政,NPU指令集完全不互通,AI推理框架适配一套再换一套。对于应用开发者来说,每换一个平台就要重新适配一遍,这种体验非常劝退。

从业内角度看,现阶段比较务实的方向是中间层标准化。也就是由推理框架/编译器在上层做统一的图优化和算子接口封装,把不同NPU的差异隔离在底层,让开发者面对同一套API。这种思路本质上就是复刻当年GPU行业发生过的“统一计算框架”路径。谁能在这个中间层占据生态位,谁就能吃到端侧AI普及的最大红利。

5. 现场走访之后的厂商格局观察,三家路线值得留意

两天峰会逛下来,展区现场我基本每家的展台都待了十分钟以上,和十几位工程师聊了聊技术细节。在讲产品之前先补一句:这里讲的全是公开信息和行业共识,不含任何未经证实的内部料。你可以把它当成一份厂商路线的“参展观察笔记”来看。

第一家要提的是英伟达系的后续延续。虽然英伟达的人这次没站上主论坛,但现场几家合作伙伴的展台都在展示基于Blackwell架构的方案。让人感慨的是,老黄的CUDA生态护城河到现在依然无比牢固。在现场看到几个开发者,他们换芯片的唯一阻碍不是性能,而是“重新适配一套栈的时间成本”太高。你在决定换不换芯片之前,先算算你工程师团队几个月的人力投入,就明白这个生态壁垒有多硬了。

第二家是国内算力主力昇腾生态。这次昇腾相关厂商展示的重点明显往“大规模集群训推可靠性”倾斜。有个展台展示了2048卡集群长时间训练任务的稳定性监控面板,在30天连续运行下,训练中断次数控制在个位数。这个数据放到两年前是想都不敢想的。而且昇腾在推理侧的软件栈,对比前两代产品,算子覆盖率已经有肉眼可见的提升。加上“昇腾+MindIE/ MindSpore”的配合日渐成熟,我看到很多做私有化大模型落地的企业已经在认真评估迁移了。

第三家是一批走AGI专用架构的初创公司。现场有一家做“多模态推理单芯片”的厂商很有意思,他们的产品把视觉Transformer和语言模型解码器做在同一个加速器方案里,目标场景是智能安防和工业质检这类需要同时处理图像+文本的任务。相比拿通用GPU硬跑多模态模型,这种专用架构的单位功耗能效比翻了一倍多。虽然生态还不完善,但在垂直场景里已经够用了。主要的落地案例集中在智慧园区、仓储物流这些领域,采购方给出的反馈集中在“交付速度快、支持响应及时”上。

在现场我还留意到一个现象:国内芯片厂商的客户画像正在分化。过去大家一股脑儿对标高端训练卡,现在有的专攻推理一体机,有的聚焦端侧语音、视觉,有的做智算中心集群方案。这种分化恰恰说明,AI芯片市场从“大一统”进入了“各管一段”的成熟期。对采购方来说,这其实是好事,能按场景精准选型,而不是为用不到的高算力买单。

6. 对“AI芯片下一步往哪里走”的个人判断和技术复盘

两天峰会下来,再加上和同行们私下聊的内容,我需要重新校准自己对行业节奏的判断。最直观的感受是:2025年的AI芯片行业,不再有那种“一招鲜吃遍天”的路径了。过去几年大家默认“英伟达怎么做,全行业就怎么做”,现在这个假设已经松动,取而代之的是几条路线在各自场景里并行推进。

第一条主线是推理优化驱动的架构迭代。未来两三年上市的AI芯片,大概率会以推理负载为核心设计指标,也就是把内存带宽、并发解码能力、稀疏化支持这些做深做透。训练性能最强可能不再是宣传卖点,推理能效比和TCO(总拥有成本)才是打动客户的关键。

第二条主线是互联与集群能力的军备竞赛。当单芯片算力逐渐逼近物理极限,集群性能就成了差异化焦点。谁家的互联带宽高、时延低、容错强,谁就能在万卡集群+大模型训练/推理的战场上站住脚。值得关注的是,除了传统的专有互联方案,基于以太网生态的UEC(超以太网联盟)也在快速崛起,这会是一个非常精彩的博弈点。

第三条主线是从“芯片”到“芯片+模型+应用”的垂直整合。这次峰会上,不少芯片厂商直接展示了他们finetune好的行业模型和端到端的解决方案。单纯卖芯片越来越难了,客户要的是能开箱即用的AI能力。芯片厂商要么自己往应用层走,要么和模型厂商、集成商绑定成利益共同体,这比芯片本身的技术优势更影响市场格局。

从我个人的实际经验来说,做AI基础设施选型的人,很可能会面临以下这些实实在在的感受和选择:

  • 如果预算有限且主要跑推理,不必一味追最新的旗舰卡,成熟的中端推理卡配好软件栈往往性价比更高;
  • 选芯片先看软件栈,算子覆盖率和框架兼容性远比你想象的更能决定项目成败;
  • 集群若是超过百卡规模,第一优先考虑的已经不是芯片单卡性能,而是互联方案和调度系统的成熟度;
  • 端侧场景要务实看待精度损失,INT4量化跑极端案例可能变笨,但大部分实际场景是可接受的。

如果你是以跟进技术趋势为目的来读这篇,那记住一句话就够了:AI芯片的下一步,不是单点算力突破,而是整个系统的协同工程——从模型、芯片、互联到推理框架,每一层都必须咬合得严丝合缝。在这个阶段,硬件只是载体,决定上限的是软件和生态。

再分享一个我在展区里学到的实用建议,回到公司做技术选型时可以先从“三个匹配”入手:算力需求匹配应用负载、软件栈匹配团队能力、总成本匹配项目预算。拿这三个匹配去套任何一家芯片方案,思路会清爽很多。

最后补一句个人体会:做芯片的是硬功夫,做生态的是细功夫,在AI芯片这个行业里,两者缺一不可。下次再有类似的峰会,建议你现场去转转,别光看参数,要重点感受真实的产品演示和各家工程师的状态。看得多、走得近,会比研究报告管用得多。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询