顶级AI公司集体下场做芯片,这个趋势这两年已经明显得不能再明显了。你随便翻开一家头部AI实验室的招聘页面,排在最前面的岗位大概率不是提示词工程师,而是芯片架构师、编译优化工程师、高速互联工程师。一个做算法起家的团队,招人的口径突然变成了“我们正在自研下一代AI加速芯片”,这放在五年前是不可想象的。
我刚开始关注这个现象时也好奇:明明市面上已经有性能很强的通用AI芯片,为什么还要自己造?随着我陆续接触了一些相关项目,包括某头部实验室的推理加速卡评估、某大型云计算厂商的软硬协同优化实践,我慢慢看清楚了这背后的逻辑链条:这不是一次简单的“造芯片风潮”,而是整个AI产业在“软件红利”见顶之后,被迫向硬件要效率的必然转向。这篇文章我就把自己的观察和拆解完整写下来,重点聊聊为什么软硬结合会成为这轮复兴的核心,以及这场变化到底会波及到哪些人。
1. 集体造芯的底层驱动力
1.1 软件红利正在逼近天花板
先说最直接的原因:纯靠软件优化已经榨不出多少性能了。
过去十年,AI模型的训练和推理效率提升主要靠三驾马车:更好的算法结构(比如把RNN换成Transformer)、更聪明的分布式框架(比如各种并行策略的成熟)、更极致的算子库优化。这个阶段确实是“软件红利”时期,你的代码写得够好、并行切得够细,同样一块硬件就能跑出比竞争对手快几倍的效率。
但到了大模型时代,情况变了。Transformer结构已经成为绝对主流,算法层面的结构性创新进入平台期;分布式训练框架的成熟度也已经很高,该切的张量并行、流水线并行、数据并行基本都有成熟方案。这时候你会发现,再往下抠性能,瓶颈已经不是软件能解决的范畴了,而是卡在硬件的物理特性上——内存带宽不够、算子执行单元不匹配、数据搬运的能耗占比过高。
我举个例子你就明白了。一个注意力机制的计算,理论上需要的计算量是固定的,但在实际GPU上跑起来,真正花在矩阵乘法上的时间可能只占一部分,大量的时间浪费在把中间结果从显存搬到计算单元、再把结果写回去这个过程上。这种搬运开销和计算开销的比例失衡,你靠写软件是绕不过去的,因为硬件的存储层级、数据通路就是那样设计的。唯一的出路就是你连硬件一起改,让数据通路和你的计算模式匹配。这就是“软硬结合”的第一层逻辑。
1.2 算力账与成本账
第二层驱动力是钱。
大模型训练的算力成本已经到了一个夸张的体量。你去算一笔账就清楚了:一次千亿参数模型的预训练,在通用GPU集群上跑,动辄需要数千张卡连续跑几个月,仅电费就是天文数字,更不用说硬件采购成本和机房折旧。当模型的参数规模还要继续往上翻,通用芯片的性价比曲线会出现一个严重问题——通用意味着什么都有,但什么都只是“够用”。你为了支持图形渲染、科学计算、各种不同场景的通用芯片,塞了很多对AI推理来说冗余的功能单元,这些单元占面积、占功耗、占制造成本,但在你的模型里永远用不上。
自研芯片的价值恰恰在于:砍掉所有冗余,只为你模型的实际计算特征做定制。比如某头部AI实验室做的推理加速卡,核心就是把大模型推理最密集的几个算子(如矩阵乘、注意力计算、激活函数)用专用硬件单元来实现,同时把内存子系统改成更利于大模型权重流式加载的结构。这块卡在一些特定模型上的能效比,能做到通用GPU的好几倍。
这里有一个很关键的产业经济学逻辑:当一个场景的算力需求足够标准化、足够规模化时,专用芯片的成本优势就会碾压通用芯片。AI推理就是一个典型的“标准化场景”——Transformer结构统一了,模型尺寸虽然有大有小,但核心计算模式高度一致。一旦你的模型日调用量达到亿级,电费和时间就是最实在的成本,自研芯片省下的每一分钱,都会直接转化为利润和后发优势。
2. 从算法到芯片:软硬协同设计的三个层次
2.1 算法导向的硬件裁剪
这里必须展开讲一下,做AI芯片和传统做CPU、GPU的路子完全不一样。传统芯片设计是“先造硬件,再适配软件”,但AI芯片的逻辑是反过来的——“先确定算法,再裁剪硬件”。
我接触过某实验室的芯片规格定义过程,他们的团队花了大量时间做的事情,是把当前所有主流模型的计算图扒开揉碎,统计各类算子的占比,分析权重和中间激活值的内存访问规律,然后把那些“统计上最高频”的计算模式固化成硬件的执行单元。比如某推理芯片把稀疏化计算做成了一等公民,在硬件层面直接支持稀疏权重矩阵的高效存储和计算,而不是像通用芯片那样要到软件层面额外处理——这一个设计决策,就可能带来同功耗下数倍的推理速度提升。
这个过程的挑战在于:硬件的设计周期和模型的迭代周期存在严重错位。你定义一款芯片的时候,深度学习框架还在不断更新,模型结构也在变化。芯片流片成功后,可能一两年过去了,你的模型可能已经换了好几代。这就要求硬件裁剪必须是“面向一个稳定演进方向”,而非“锁定某一个固定模型”。从实际实践看,那种把目标定死在“精确复现某模型某算子”的方案,往往芯片还没流片就已经过时了;而抓住“注意力计算、前馈网络、高吞吐内存访问”这类稳定共性来设计的,则能在一段时间内持续受益。
对于做数据工作、做推理服务的团队来说,这个现象带来的实际启示是:你在做GPU选型和算力规划时,不要只看单卡性能指标,而要分析自己的模型结构里有哪些算子、这些算子在目标硬件上跑得是不是高效。很多时候你换一种硬件架构思路,比在原有GPU上堆算力划算得多。
2.2 系统级协同:内存带宽与数据搬运
如果说算子裁剪是AI芯片的“内功”,那系统级协同就是AI芯片的“外功”,而这里面最核心的瓶颈是内存带宽和数据搬运效率。
大模型推理本质上是一个非常吃内存带宽的场景。模型权重动辄几十上百GB,每生成一个token,理论上需要把所有模型权重从内存里过一遍。看GPU规格的时候你可以发现,近几代产品的算力(FLOPS)翻倍速度远快于内存带宽的提升速度。算力再高,如果数据喂不进去,计算单元就只能空转。一个简单的例子:同样是70B的大模型单机推理,你更需要关注的可能是这台机器到底能装多大内存、内存带宽是多少、HBM的带宽是否足够支撑你想要的并发吞吐,而不只是看芯片的FLOPS数字。
自研AI芯片在这方面有很多通用芯片做不到的优化空间。比如用专用的近内存计算架构,把部分计算逻辑直接挪到存储边上;比如用更宽的片上互连总线,减少数据在芯片内部搬运的跳数;比如设计两级甚至多级缓存结构,让模型权重的高频访问块尽量留在片上。这些设计无一例外,都是为了压低数据搬运成本。
这背后的原理和你在日常计算优化中遇到的“数据局部性”问题完全同源:计算密集型的优化,本质上是让数据的产生和消费在时间和空间上尽量靠近。只不过在AI芯片层面,这个“靠近”是用硅晶圆的物理布线来实现的,比软件层能做到的程度深得多。
2.3 从单一芯片到集群系统
还有一个容易被忽略的层次:现代AI计算从来不是单芯片的事。训练一个超大模型要几千张卡互联,推理一个高并发服务也要跑在几十张卡构成的集群上。所以顶级AI公司的芯片战略,本质上不是“做一颗芯片”,而是“做一个计算系统”。
这个系统包括高速互联网络、存储子系统、调度框架、集群管理软件、甚至散热供电方案。某大型云计算厂商做自研训练芯片时,投入最大的不是芯片本身,而是配套的机器学习集群系统——他们花了大把时间做网络拓扑优化,把卡间通信延迟压到极低。因为在千卡以上的并行训练中,通信时间占比可能高到30%以上,互联方案的优劣往往比单卡算力的高低更能决定整个集群的有效算力。
理解这一点很重要:如果你只盯着一颗自研芯片的性能指标,很容易高估或低估某个方案的真实价值。真正决定一个方案能不能用的,是它在一个完整集群中能不能高效编排起来。这也是为什么不少后来者造的芯片单卡指标很好看,但一放进大规模训练场景就“水土不服”——集群能力没跟上,芯片再强也发挥不出来。
3. 各家路线图:定制是手段,生态是终点
3.1 推理芯片:先把规模成本打下来
现在市场上已经流片或公开的自研AI芯片,围绕的需求大致分两派:一派主攻推理,一派主攻训练。先看推理派。
推理芯片的逻辑最容易理解,就是前面说的“标准化场景 + 规模效应”。某头部AI实验室为什么优先做推理芯片?因为他们的产品日调用量已经足够大,每一次推理的边际成本都是实打实的钱。用自研推理卡把单位token的生成成本降下来,每降一分,都是对毛利率的贡献。他们在架构上通常会选择“不求通用但求极致”:专注Transformer解码过程,对KV Cache的读写做专门优化,对批量推理的调度做硬件级加速。
我还注意到一个趋势:不少推理芯片开始把“多模型混合部署”作为重要设计目标。因为生产环境中不可能只跑一个模型,你要同时服务多个尺寸、多个任务的模型,芯片的片上存储、任务调度方式都必须适配这种混合负载。有些团队在这一块踩过坑,第一版芯片太执着于单个模型的极致速度,结果在生产环境的多模型混跑场景下效率直线下滑,最后只能回炉做调度优化。
3.2 训练芯片:把关键算子做到极致
训练芯片的难度要高出几个数量级。推理是近似“固定计算模式的重复执行”,而训练涉及前向、反向、梯度同步、优化器更新等多个环节,计算模式复杂得多,且对分布式协同的要求极高。
做训练芯片的团队,通常不会追求所有算子都做硬件固化,而是与编译器深度绑定,把那些“训练中最热点”的操作(比如矩阵乘、卷积、归一化)以及它们对应的梯度计算做极致优化。关键逻辑在于:训练过程是一个端到端的迭代闭环,只快某一段没有意义,你必须让整体收敛时间变短才算有效优化。这也导致训练芯片的验证成本极高——不是测芯片本身,而是要端到端跑真实模型训练任务,验证收敛结果是否正常。
目前做训练芯片的路线还远没有定型。有些团队采用相似于通用GPU的计算单元设计加上更强的互联方案,走改良路线;有些团队尝试更激进的异构架构,把不同算子的执行单元做成可配置组合。从产业实际落地的情况看,能在真实业务中大规模跑训练任务的国产自研芯片依然屈指可数,足以说明这条路的难度。
3.3 软件生态:芯片只是半成品
这里必须说一个常被外界忽略的残酷真相:芯片本身只是一个半成品,软件栈才是决定芯片能不能用的关键。
一颗AI芯片流片成功,只意味着硬件逻辑是对的,离“能在生产环境中跑模型”还有十万八千里。你需要编译器把深度学习框架的计算图翻译成芯片指令,需要算子库提供高性能内核,需要运行时系统做内存管理和任务调度,需要与主流深度学习框架的适配层。这一整套东西,比设计硬件还要花时间花人力。某实验室的自研芯片团队里,软件开发工程师的数量是硬件工程师的好几倍,这就是AI芯片和传统芯片设计最大的区别。
软件生态的完成度,也是后来者最难逾越的门槛。通用GPU厂商经过多年积累,软件栈的完善程度远超任何一家自研芯片的新玩家。所以几乎所有自研AI芯片的策略都是“先聚焦,后扩展”——先把自己的主力框架支持好,把三四类主力模型的性能做到极致,再慢慢往外扩。
对于使用AI服务的开发者和企业来说,这个生态因素意味着:你在选择推理服务提供商时,不必过度在意其自研芯片的宣传指标,而要看它基于这套芯片提供的软件接口好不好用、支持的模型生态全不全、出了问题有没有人帮你调。芯片跑分很性感,但决定你业务效率的是整条软件链路。
4. “做芯片”对AI产业格局的三层冲击
4.1 产业链话语权转移
AI公司自研芯片最直接的影响,是把原本属于芯片设计厂商的话语权,部分转移到了大模型算法公司手里。
在过去,产业分工很清晰:芯片设计公司做芯片,云厂商卖算力,算法公司用算力做模型。这种结构下,算力的规格、性能和定价权都集中在芯片手里。当一个模型训练跑一半,发现某种算力扩展性不够,你没法改硬件,只能迁就硬件改你的训练策略。
但自研芯片让算法公司第一次有了“改硬件”的能力。某头部实验室做推理芯片的过程就是一个典型:因为软件栈完全是自己的,调度策略为自家模型定制,他们可以随时往返于算法侧和硬件侧调整设计。这种“端到端”的掌控力,使他们在面对算力瓶颈时可以把问题放在整个系统中解决,而不是局限在软件层打补丁。这个能力的差异,在大规模模型竞争进入深水区后,会变成明显的结构优势。
而且你会发现,这种话语权转移不仅是技术性的,更是商业性的。当你有能力自研芯片,你和传统芯片厂商的谈判筹码都会不一样,因为你可以选“哪部分买、哪部分自己做”,而不是“要么全买、要么全不买”。
4.2 对开发者与创业者的影响
这场芯片自研浪潮对普通AI开发者和创业者的影响,比很多人想象的要更早到来。
最直接的影响是算力成本结构会变化。当顶级的AI公司把推理成本打下来,市场化的模型调用价格也必然跟着下降。这对做AI应用的团队是实打实的利好——你的单位毛利空间会因为上游成本的下降而变好。当然,前提是你的产品形态能吃到这个红利,如果你的服务是跑在某个固定GPU方案上,那么上游大模型公司用自研芯片压下来的成本,不一定能顺畅传导到你这里,你可能需要主动做适配迁移。
另一个重要影响是框架与工具链的重塑。每一家自研芯片公司都会配自己的编译器和优化库,这就意味着你的模型代码在迁移到不同硬件时,可能会有微妙的性能差异。过去你习惯了“一套PyTorch代码到处跑”,未来更常见的情况可能是“一套代码跑在不同芯片上,表现天差地别”。这要求开发者具备更强的底层优化的意识和技能,至少你要知道自己的模型在目标芯片上的热点在哪、怎么去配合芯片的架构特征来做调整。
对于硬核开发者来说,这反而是个大机会。懂“软硬协同”的人在就业市场上会越来越值钱——你不仅会改模型结构,还能看懂编译器日志,甚至能直接改算子实现和内存排布。这类能力在通用GPU时代是偏小众但非必需的技能,在自研芯片时代会变成核心竞争力的关键一环。
4.3 对传统芯片厂商的倒逼
最后看传统芯片厂商这边。头部AI公司纷纷自研芯片,毫无疑问给通用芯片厂商带来了压力,但实际情况不是简单的“替代”,而是一种倒逼升级。
通用GPU依然有它的优势:极强的通用性、完善的生态、成熟的供应链。在大模型训练这个场景,通用GPU在未来较长一段时间内仍然会是主流选择,因为训练模型的结构还在快速变化,自研训练芯片的迭代速度很难跟得上模型演进的节奏。但另一方面,推理市场会越来越明显地被自研专用芯片分流,因为这已经是高度标准化的场景,专用方案的效率优势太明显了。
我观察到有些芯片厂商已经开始调整产品策略。比如单独推出面向大模型推理的SKU,比如加大软件生态的开放度,比如在最新架构里增加对大模型稀疏化、量化计算的原生支持。这些变化本质上都是在回应同一个问题:既然客户在向定制化走,通用芯片就必须在灵活性和专业性之间找到新平衡,而不是坐等被边缘化。
站在整个行业的角度,这场冲击总体上是有益的:AI计算从“有什么用什么”变成了“需要什么造什么”,效率模型彻底变了。最终受益的,是整个AI应用生态的成本与速度。
5. 给观望者的三个判断框架与避坑提示
5.1 自研芯片的三个前提条件
可能不少业内的朋友会想:别人都在做芯片,我要不要也做?这里先泼一盆冷水:自研芯片是一个非常重的决策,不是所有公司都适合下场。
基于我看到的实际案例,我认为决定自研芯片前必须满足三个前提条件:
第一,你的AI负载必须已经标准化到足够高的程度。如果你的业务里跑着几十种不同结构、不同尺寸的模型,每种占比都很小,那么专用芯片的定制优势就完全发挥不出来。反之,如果你的负载高度集中于一类模型,日调用量巨大,才有定制的经济性。
第二,你的团队规模和技术纵深必须足够。做芯片不是招一拨硬件工程师就行的,你需要同时具备编译器、运行时、深度学习框架、系统软件各层的专业人才,而且这些人还要能跨层协同工作。很多自研项目最后不是死在芯片设计上,而是死在软件栈上——团队规模根本撑不起全栈开发。
第三,你的商业模型必须能够覆盖芯片的巨额研发成本。芯片流片一次就是千万级别的投入,即便流片成功,软件栈开发又是一年到数年的持续烧钱。如果你的业务规模撑不起这个摊销,那不如老实用现成方案。AI芯片项目不是一个可以“先试水”的轻投入,它一旦启动就无法回头。
5.2 常见误区
在讨论AI自研芯片的过程中,有几个容易被带偏的认知误区,我觉得有必要专门列一下。
第一个误区是“用跑分看一切”。AI芯片的性能,必须放到真实工作负载里评估,而不是看单卡算力峰值。同样一颗芯片,在不同批大小、不同模型结构、不同并发条件下的表现可能差异巨大。某些自研芯片在宣传材料里与通用GPU做了对比,但对比条件往往都是经过精心选择的,单算子或者特定模型下最优配置。你拿自己的业务去实测,结果可能完全不是那么回事。所以我的建议是:任何芯片方案,都一定要拿自己真实模型的真实流量去做POC(概念验证),跑出端到端指标再下结论。
第二个误区是“专用芯片一定比通用芯片好”。专用芯片是在特定场景下胜出,但一旦你的使用场景或模型结构发生变化,它的灵活性劣势就会显现。很多团队还停留在“用静态模型跑推理”的上一个时代,但实际业务中模型迭代频率很高,Prompt结构、输出格式、工具调用逻辑都在变,一个极度过拟合到某种固定计算模式的芯片,反而可能成为制约业务迭代的瓶颈。
第三个误区是“自研芯片=自主可控的全部”。芯片只是一层,上面还有整套软件工具链、开发框架、运维体系。如果这些环节里有大量闭源黑盒依赖,所谓“自主”就会打折。判断一个自研芯片方案的成熟度,不要只看芯片是否流片成功,更关键的是看它的软件栈是否开源开放、是否有活跃的社区生态、是不是容易接入你的现有系统。
5.3 什么时候该买、什么时候该自研
最后整理一个非常实际的决策参考。对绝大多数团队来说,这其实不是“要不要自研”的问题,而是“什么环节该买,什么环节该自己动手”的资源配置问题。
我的经验是,可以把AI能力建设拆成几层来看:最底层的硬件(芯片、服务器)优先用成熟方案,除非你有百亿甚至千亿级别的算力开销,否则这个层次自己做是不划算的;往上一层的集群调度和框架优化,可以有选择地深度定制,比如在主流框架基础上对集群拓扑、通信策略做适配改造;再往上的模型优化层,包括算子融合、量化压缩、推理引擎调优,这个层次应该全力以赴自研,因为它的投入产出比最高、和你的业务绑定最深。
现实中能看到的一个比较顺滑的演进路径是:先以现成芯片跑业务,同时在软件和模型层面积累优化能力;当业务量涨到一定规模后,尝试与芯片厂商联合定制某些规格;最终如果你的团队和体量足够强壮,再启动全栈自研。直接一步跳到自研芯片,很少见到成功的案例,反而是这种渐进式的“软硬结合”推进路径,更容易在成本可控的前提下建立真实的技术壁垒。
最后再分享一点个人的体会
我个人在实际观察这些项目后,最大的感受是:AI芯片的自研浪潮,看起来是硬件的复兴,本质上还是软件思维对硬件的接管。真正的决策驱动力是对工作负载的深度理解,是对计算模式的精确建模,是对系统效率的极致追求。那些走得稳的团队,往往不是说硬件设计能力有多强,而是他们的软件栈和业务理解足够深,然后才谈得上“从软件倒推硬件”。
如果你恰好在一家普通公司做AI基础设施,不需要因为“别人都在做芯片”而焦虑。你真正应该做的,是对你自己业务里的每一层计算开销有精确的度量——模型在跑什么算子、时间花在哪里、内存是怎么用的、数据是怎么搬的。当你对自己业务的“软硬结合”理解得像老中医把脉一样清楚时,无论芯片怎么演变,你都能第一时间找到最优的适配解。这才是这个时代真正的核心竞争力。