☰
从HotChips看AI芯片新趋势:数据流架构与编译器如何突破内存墙
2026/11/2 2:56:45 网站建设 项目流程

聊到 AI 芯片,我总是先想到每年夏天的 HotChips——那几天半导体圈的架构师、编译器工程师和投资人都会蹲在屏幕前刷 PPT。别误会,这不只是凑热闹。HotChips 上的内容几乎每一条都代表着一家公司愿意公开的、已经流片或者量产的系统级真相:为什么做这个选择、放弃了什么、实测数据是多少。今天我想顺着 HotChips 上反复出现的“数据流架构”这个词,聊聊我对下一代 AI 芯片架构的一些观察和思考,重点讨论它到底在解决什么问题、有哪些路线、以及为什么软件栈会成为最大变数。

这篇内容不是学术综述,也不是产品评测。它更像一个做体系结构和系统优化的人,在看了几年 HotChips 公开资料后,把自己踩过的一些坑、验证过的判断和没想明白的问题一起摊开来讲。无论你是做 AI 加速器选型、编译器开发,还是单纯想搞明白“GPU 之外还有什么 AI 芯片形态”,都可以读一读。

1. 为什么每年我都盯紧 HotChips:AI 芯片架构的风向标

1.1 它和其他展会最大的区别是什么

HotChips 和其他会议最不一样的地方在于:它不追求炫酷的发布效果,而是让芯片团队把 tapeout 之后的真实架构细节摆上台面。CES 上更多是产品形态发布,围着跑分和用户体验打转;ISSCC 更偏模拟电路和先进工艺;MICRO/ISCA 则更偏学术前瞻。而 HotChips 的核心是“架构披露”,经常由 CTO、fellow 或首席架构师亲自讲,内容包括互联拓扑、缓存组织、指令流水、编译器映射甚至是功耗实测。

这种风格的潜在价值在于:你会看到一家公司在真实工艺、真实成本和真实软件栈约束下做出来的取舍。比如某个芯片为什么要用网格互联而不是 crossbar,为什么要在片内堆几十 MB SRAM 而不是依赖 HBM,为什么编译器要采用静态调度而不是运行时调度——这些“为什么”恰恰是架构最有价值的部分。对比之下,很多新闻发布会只告诉你“我们很厉害”,而 HotChips 至少会让你知道厉害在哪条赛道上。

我印象很深的是,近几年 HotChips 上越来越多的厂商,不再花太多篇幅介绍“冯·诺依曼式”的通用计算单元如何提升主频或乱序窗口,而是反复讲“数据怎么搬”、“数据怎么放”、“计算怎么贴着数据走”。这本身就是一个强烈的信号:AI 芯片的下一代演进,内核已经不只是算力提升,而是数据流的重构。

1.2 传统控制流架构的算力天花板已经露出来了

过去十年,GPU 和 CPU 走的都是同一条路:从内存取指令,解码后让算术单元执行,再把结果写回寄存器或内存。按这个模型去堆算力,需要做三件事——加更多核心、拉宽向量位宽、提高频率,再配上一个足够大的缓存系统。

问题是这三件事都撞墙了。频率从 3GHz 再往上拉,功耗密度压不住;核心数继续增加,片上互联和缓存一致性变得极其复杂;向量位宽变宽以后,数据供给跟不上,也就是经典的“内存墙”问题。更直接的是,深度学习模型的计算密度越来越高,Transformer 里的 GEMM 和 attention 让访存模式变得有规律,但传统 CPU/GPU 却依然要花大量晶体管去支持“任意指令的快速执行”,而不是支持“特定数据流的顺畅流动”。

所以你会看到 GPU 虽然还是 AI 训练和推理的主力,但它能达到的峰值效率并不理想。一个 LLM 推理请求,在 GPU 上经常只有 30% 到 50% 的算力利用率,因为大量时间花在数据搬运、同步等待和指令调度上。芯片公司当然也在优化 GPU,但硬件结构决定了它还要继续兼顾图形、通用计算、生态兼容等任务。这时候,数据流架构带着“通常所说的让数据主动过来,而不是被动等着取”的理念,站到了前台。

2. 数据流架构到底在解决什么问题:能耗、延迟与并行度的三重账

2.1 数据搬运的代价远超计算本身

我经常在给团队做分享的时候引用一笔“能源账单”:一次 8-bit 整数加法,能量消耗大约在 0.03 pJ 量级;从 SRAM 里读一次数据要花几个 pJ;而从外部 DRAM 读几十 bit 数据要花几百 pJ 甚至更高。也就是说,做一次计算所消耗的能量,和在内存里捞一次数据相比,差出两三个数量级。越是大型模型,数据搬运的占比越重;算力可以很便宜很块,但搬数这件事,又慢又贵。

这个现象决定了芯片设计的一个核心思路:想办法减少数据移动,或者让计算在数据所在的物理位置上原地完成。数据流架构的很多设计,本质上都是在朝这个目标走。它不是简单地把 PE(Processing Element)堆得多高,而是把数据流组织成一条或多条尽可能短的路径,让中间结果直接被下一个运算单元消费掉,避免写回 DRAM 之后又被读出来。读 HotChips 上 Cerebras、SambaNova、Groq 的 PPT,你会发现它们都在讲一个类似的叙事:我们不是造了一个更快的 ALU,而是造了一个更短的数据搬运路径。

用生活化类比来说,传统架构像一个万能维修工,每次都接到工单,跑去仓库取工具,再跑到指定位置处理,再回来。数据流架构更像一条自动流水线:物料在传送带上移动,工人固定在几个工位上,物料一到手就立刻加工。单个工人的效率可能没有万能维修工高,但整条流水线一旦填满,吞吐量和能效可以大幅反超。

2.2 从“按指令取数”到“按数据流动”

数据流计算模型的核心思想是:计算不依赖中央程序计数器做集中调度,而是当“数据准备好”时,对应的计算节点自动触发执行。早期学术界把这种方式分为静态数据流和动态数据流:静态数据流里每个节点执行的条件是固定的输入 token;动态数据流则引入 tagged token 来区分不同循环迭代或调用实例,表达能力更强,但硬件复杂度也大幅上升。

真正在 AI 芯片里落地时,大多数产品采用的是“有限形式的数据流”。比如脉动阵列,每个 PE 处理完数据后直接传给下一个邻居;或者 CGRA(粗粒度可重构阵列),通过配置互连模式让数据沿配置好的通路流动。它们不像通用数据流机那样需要处理任意函数图,而是只针对计算图相对规则的深度学习场景做优化。

这种设计带来的优势不止是省掉指令取指的能耗。数据流架构天然有高并行度,计算节点只要数据到达就能并行执行;它不需要复杂的多级缓存一致性协议,因为数据的生命周期常常是非常短期的“流式通过”,可以重复使用片上缓冲。更重要的是,它把控制复杂度从硬件前移到了编程系统。硬件变成一张编织好的网,剩下的是如何把网络编织得刚好匹配算法。理解这一点后,再看各家芯片的具体形态,会清晰很多。

3. 从 HotChips 官宣看主流数据流芯片的路线选择

3.1 Cerebras:晶圆级数据流的“巨物美学”

Cerebras 最抓眼球的地方是把芯片做成整块晶圆,WSE-2 在 HotChips 上公开过关键数据:台积电 7nm 工艺,集成 2.6 万亿晶体管,85 万个 AI 核心,片上有 40GB 的 SRAM。如果用常规思路做这么大芯片,良率和散热先崩溃,但 Cerebras 选择用“足够大”来换取“不需要把数据送到外部”。

这个路线背后的逻辑很简单:既然从外部 DRAM 取数那么贵,那我干脆把“内存”直接堆在芯片上,让几乎所有模型参数都留在片内。WSE 系列没有传统 HBM 接口,也不是为了走标准生态,而是要以整个系统 CS-2/CS-3 的形式提供算力。训练千亿参数模型时,参数分片、通信调度都需要围绕“数据不离开晶圆”的原则来设计,这也是它软件栈和常规 GPU 训练栈差异很大的原因。

这种路线适合追求极致效能的训练场景,特别是对大模型预训练和科学计算。但它的挑战也很明显:晶圆级封装、供电、散热都超出了常规板卡设计经验;良率要通过冗余设计去容忍缺陷;编译器必须把计算图精细化地映射到 80 多万个核心上,这绝对不是普通的 PyTorch 后端能直接支持的。早期用户在迁移模型时,会明显感受到“模型不是随便就能跑起来”的代价。

3.2 SambaNova:可重构数据流与“软件定义”的编译器

SambaNova 在 HotChips 上多次介绍过 RDU(Reconfigurable Dataflow Unit),它更接近 CGRA 思路:一个大规模可重构的计算阵列,每个可配置的模式决定了数据如何在处理单元之间流动。和 Cerebras 的巨大网格稍显不同的是,SambaNova 强调“为模型定制数据通路”,并且在软件栈上投入非常大,编译器负责从一个计算图生成可配置的流水线配置。

SambaNova 的编译器系统把 PyTorch/Caffe 等模型编译成它们的中间表示,然后映射到 RDU 的可重构资源上。这样做的好处是,面对不同模型结构时,硬件能重新匹配最佳形态:卷积网络、Transformer、推荐系统的数据流形态不同,运行时配置也随之改变。这比固定互联拓扑的芯片更灵活一些,但同时也把大量复杂度放进了编译器。

从实际体验看,这类芯片吸引人的地方在于“企业级推理和微调一体”:一方面想把模型推断延迟压得很低,另一方面不想做太多手工优化。它的软件栈成熟度这几年在快速提升,但用户依然需要理解一些底层的数据流模式,否则编译器给出的调度不一定是最优的。对于软件团队强、硬件经验少的公司来说,需要一个系统的人持续跟进。

3.3 Groq:静态调度的流式执行,把并发交给编译时刻

Groq 的 LPU(Language Processing Unit)是数据流路线里比较极端的一支。它公开资料里强调“没有动态调度,没有乱序执行,没有缓存一致性”,所有指令和数据运动顺序都在编译阶段就静态确定。传统处理器在运行时由硬件动态处理分支、冒险、乱序,Groq 把这些全部挪到了编译时。

这样做的好处是硬件开销极低,流水线一旦填充,数据像流水一样在张量处理单元之间穿梭,非常适合大模型推理中连续 GEMM 和 elementwise 操作。Groq 的 LPU 在低延迟和单位功耗上做得非常激进,而且对大批量吞吐也有不错的表现。不过它的局限是:对动态 shape、稀疏计算和数据相关分支不友好。只要模型里出现类似在一个循环里根据 tensor 数值决定是否执行某段算子,静态调度就会变得很棘手,或者需要运行时的重编译。

从架构哲学上讲,Groq 是把“确定性”发挥到极致:既然模型计算图大部分是静态的,为什么处理器还要保留运行时调度这些硬件逻辑?这种路线让我印象很深,因为它是真正从编译器和硬件协同视角去重新思考处理器的例子。但它也说明一个道理:数据流架构不是魔法,它是把所有不确定性从硬件里抽离出来,再压给编译器去解决。

3.4 Google TPU 与脉动阵列:数据流思想早就在量产

很多人没意识到,Google TPU 第一代用的脉动阵列,本质上就是一种数据流架构。脉动阵列 1979 年就由 Kung 和 Leiserson 提出,在 HotChips 和 ISCA 的多次资料里,Google 公开了 TPU 的具体设计:一个大规模二维 PE 阵列,权重驻留在 PE 上,输入数据流式通过相邻 PE,乘累加结果在阵列内部累计后输出。这个过程没有复杂的取指过程,数据流动就是执行本身。

TPU 的出现让数据流思想第一次在百万级部署的数据中心芯片上得到验证。和前面提到的架构相比,TPU 的脉动阵列更偏向“固定功能”的加速器,灵活度较低,但效率很高。这也引出一个更普适的观点:并不是只有彻底革新的芯片才有数据流属性,任何把数据通路按应用流量预先配置的做法,都在借鉴数据流思想。今天的 GPU 也开始加入越来越大的 L2、更谨慎的算子融合调度,本质上是在向同样的问题低头。

下面用一个表格概括当前几条主流路线,方便对照:

架构路线代表方案片上存储/互联策略适用负载主要挑战
晶圆级网格数据流Cerebras WSE全片巨量 SRAM,紧耦合网格互联超大模型训练、科学计算封装散热、编译映射、良率
可重构数据流SambaNova RDU可配置 CGRA 拓扑,编译器配置通路企业级 LLM 推理与微调编译优化深度、生态成熟度
静态流式执行Groq LPU静态调度的张量流式寄存器LLM 推理、低延迟场景动态控制流支持弱、训练支持有限
脉动阵列Google TPU分布式 SRAM + PE 邻居互联定长计算密集模型灵活性有限,不规则模型效率下降

这些路线形态不同,但背后针对的目标其实是同一个:把数据搬移的代价压到最低,把计算资源尽量用满。

4. 数据流芯片的软件生态与编译器,才是真正的胜负手

4.1 编译器与调度器:数据流芯片的操作系统

在 CPU 上写程序,指令集和硬件动态调度帮你兜底;在 GPU 上写 CUDA,编译器也帮了不少忙。但数据流芯片不一样,硬件本身没有“万能执行引擎”,你必须在编译阶段就把计算图展开成空间上的硬件配置。所以每一家数据流芯片厂商实际上都必须做一套“从计算图到硬件配置”的编译器,这决定了硬件真正的可用性。

我把它类比成操作系统:没有编译器和运行时,数据流芯片就是一堆连接在一起的 PE,没有任何能力。这套软件栈需要完成几个核心任务:把高级框架里的算子分解成硬件可执行的基础算子;决定各个算子在芯片上的放置位置;规划片上存储分配和中间结果的复用;生成通信调度序列,并插入必要的同步和流水线缓冲。

听起来和 GPU 的 compilation 有相似性,但真正区别在于 GPU 的底层指令集是固定的,调度和访存模式都在统一指令框架下进行;而数据流芯片的“指令”其实是对硬件互联模式的配置,一旦生成后,它更像一条专用电路。编译器做得好不好,直接决定同一个模型在不同数据流芯片上 2 倍还是 10 倍的性能差距。

4.2 一个典型 GEMM 映射的调度示例

我举一个最经典的例子:矩阵乘法 GEMM。把 GEMM 映射到数据流阵列时,首先要决定哪个操作数是“驻留”的,也就是放在 PE 上不动的。通常可以选权重驻留(weight-stationary)或输入驻留(input-stationary)。权重驻留适合权重固定的推理场景:先把权重矩阵分片加载到整个 PE 阵列中,然后输入特征图从阵列左侧流入,每个 PE 把输入和本地权重相乘,结果向右累加传播。

这个过程用伪代码描述大概是这样的:

def map_gemm_to_dataflow(pe_grid, A, B): # A: M x K, B: K x N # 假设 B 权重驻留在 PE 上,按 row-major 分片 for i in range(M): for stage in range(K_block): input_chunk = load_from_left(A[i, stage]) for pe in pe_grid.row(i): weight_chunk = get_pe_weight(pe, stage) partial_sum = pe.mac(input_chunk, weight_chunk) send_to_right_neighbor(pe, partial_sum) return collect_from_right(accum_buffer)

实际编译器要做的远比这个复杂。它要考虑片上 SRAM 能放多大的权重块,什么时候从 DRAM 预取下一块;要插入 double buffering,让计算和访存重叠;还要决定累加缓冲的大小,保证中间结果不溢出。这一整套流程,在好的编译器和差的编译器之间,性能可能相差好几倍。

很多刚接触数据流芯片的团队会犯一个共同错误:把 GPU 的算子库思维带过来,以为上层只需要把 GEMM 当作黑盒调用就行。实际上数据流芯片的优化颗粒度更细,你得了解你的模型是否适合某种驻留模式,否则很容易出现“芯片标称 200 TOPS,实测跑不过 GPU 的几十 TOPS”的情况。

4.3 软件生态成熟度与迁移成本

数据流芯片的软件栈成熟度差异很大。有些产品已经能自动把 PyTorch 模型编译进数据流图,而有些还需要用户手工把模型写成特定格式的 graph。不管哪种,你大概率都要处理这些问题:算子不支持、动态 shape 导致重编译、调试可视化工具匮乏、编译器报错信息非常底层、模型里某些写法的性能突然崩掉几十倍。

按我自己的经验,评估一款数据流芯片能不能用,不应该只看峰值算力,而要看三点:编译成功率(一个主流开源模型能否直接编译通过)、编译速度(迭代一版要等几分钟还是几小时)、调试友好度(出现性能问题时,能否快速定位到是哪个算子/哪个数据通路的瓶颈)。这三个指标不达标,再好的硬件也很难跑出价值。

所以我会说,下一代 AI 芯片的竞争,一半在硬件架构的巧妙程度,另一半在软件工具链是否能把自己“伪装”成熟悉的东西。这份工作很难,但它是数据流架构从 demo 走向生产的必经之路。

5. 常见误区与架构局限:数据流不是万能的

5.1 四个常见误区

我见过很多人对数据流芯片的理解有偏差,先挑四个最常见的说:

  • 误区一:数据流芯片只能做 CNN 和推理。实际上今天的模型主力已经转向 Transformer,数据流芯片在大模型推理和微调上的价值同样突出,关键看算子是否规则。
  • 误区二:数据流芯片不需要外部 DRAM。片上 SRAM 再大也有限,大模型参数仍然需要外部存储,关键是能否有效预取和复用。Cerebras 是例外,而不是默认。
  • 误区三:数据流架构一定比 GPU 好。只有在数据流模式清晰、访存路径可静态预测的负载上才成立;乱序、稀疏、动态分支下可能非常糟糕。
  • 误区四:数据流芯片不需要程序优化。恰恰相反,数据流芯片可能是最依赖编译器和性能工程的一类处理器,只是很多人没意识到这一点。

这四个误区背后有一个共同点:把数据流架构当成一个“答案”,而不是一个“待解的工程优化问题”。它确实提供了一种高效的执行模型,但它对算法的假设非常强——计算图要规则、数据生命周期要可预测、控制流不能过度动态。脱离这些前提谈架构优劣,都不现实。

5.2 数据流架构的硬伤与边界

数据流架构最明显的硬伤是对“动态控制流”的厌恶。深度学习模型里,动态 shape、带条件的循环、稀疏张量、因果 mask 这类情况,在 GPU 上可能只是慢一点,在数据流芯片上可能直接编译失败或性能断崖式下降。比如 NLP 推理里 KV cache 的长度随输入变化,batch 内序列长度不一致,这些非规则访问会让静态调度非常头疼,也容易把数据流阵列的空载率拉得很高。

第二个硬伤是阵列规模与利用率之间的博弈。数据流阵列由大量 PE 组成,如果模型很小或者 batch 很小,大部分 PE 会空转。它不像 GPU 那样可以通过动态调度器把不同 warp 塞进空闲单元,它的并行结构在编译时就基本固定了。因此小模型低并发场景,数据流芯片的能力很难充分释放。

第三个硬伤是调试和可观测性。传统处理器上有 profiler 可以看指令级统计信息,而数据流芯片更像一个被配置好的电路,出了问题你看到的可能只是某个时间窗口的数据没有到达。没有成熟的调试器,开发人员只能靠模拟器,这会显著拉长开发周期。我给团队做过一个总结:买数据流芯片之前,先想清楚你的模型是不是“规则的、静态的、重复度高的”,如果不是,后面会很痛苦。

6. 如果要选型数据流架构芯片,该怎么评估与落地

6.1 什么场景下数据流架构能占优

从第一性原理出发,数据流芯片擅长的是“计算模式已知、数据流路径可预测、复用度高、访存密度大”的工作负载。具体来说,这四类场景比较适合:大规模 GEMM 占主导的大模型推理和训练;固定输入输出 shape 的业务模型(例如推荐系统的 embedding + DNN 组合);边缘端对能效比要求极高且模型相对固定;以及科学计算中的规则网格模拟和矩阵迭代。

反过来,如果你的模型经常出现动态分支、稀疏化、图结构随机变化,或者你正在做快速的模型结构探索,需要频繁改动神经网络拓扑,那数据流架构可能不是最合适的选择。传统 GPU 在灵活性和生态上依然是安全牌。做选型决策时,先评估工作负载的形状分布,再谈芯片参数,顺序不能反。

按我接触大量团队的经验,一个很实用的判断方法是算“算术密度”:单位数据搬运对应多少次计算操作。Transformer 里 GEMM 的算术密度通常很高,这是数据流芯片发挥的空间;而某些 embedding 查询和 GNN 聚合,算术密度低,数据流芯片的效率也未必比 GPU 更高。把模型中各类算子混在一起加权,再看目标芯片的 Roofline 空间,能筛掉很多不靠谱的选型。

6.2 评估数据流芯片的可执行方法

在正式批量采购或迁移业务前,我建议团队做三个可复现的基准测试,而不是只看供应商提供的测试报告。

第一,跑一个大 GEMM 测试。把矩阵规模、分块策略写清楚,用小批量和大批量分别测,拿到峰值效率和最大可达到吞吐。第二,跑一个真实主流模型,比如开源 LLM 的推理或者 BERT 微调,重点记录三件事:编译是否一次成功、编译耗时多久、吞吐和延迟数字是多少。第三,找一个带动态 shape 或者稀疏化的自有模型,看看它能否编译通过,性能会不会崩。这三个测试能帮你快速判断软硬件协同是否真的可用。

性能评估时可以画一个简化的 Roofline 模型来做初步判断。一般来说,结果越接近芯片标称峰值,说明该芯片越适合你的负载;如果在低算术密度区间就已经触及带宽上限,那就说明数据流芯片在这个场景下的优势有限。核心指标不要只看 TOPS,要记录 end-to-end 延迟、p99 延迟、单位请求功耗、开发人力成本。尤其最后一个,很多团队会忽略,但它往往才是实际上线最大的成本。

6.3 上手的三种姿势

如果你对数据流架构有兴趣,但团队还没有足够的芯片设计经验,我建议按这条路径逐步推进。第一种姿势是找一个云上的数据流芯片实例,先把模型跑通,观察性能和能耗数据,这能让你以最低成本建立体感。第二种姿势是使用厂商提供的模拟器或编译工具链,在纯软件环境里学习数据流映射和数据调度,理解该类芯片的编程模型差异。第三种姿势才是自研或者深度 Co-design:组建一个同时懂深度学习框架和硬件架构的小团队,在 FPGA 上做 CGRA 原型验证,等你真正找到一个高价值且规则化的核心负载,再投入到 ASIC 设计。

关于团队配置,数据流芯片项目里最容易被低估的是编译器工程师。一个整机系统是否好用,很大程度取决于图优化、算子映射、内存规划这三块代码的质量。而大部分做 AI 框架的人不熟悉硬件,做硬件的人又不熟悉模型,能跨两边的人非常稀缺。如果你预算有限,宁可硬件规模稍小一点,也要把编译器团队先配齐,否则芯片造出来也跑不出价值。

7. 关于下一代 AI 芯片架构的几点延展思考

7.1 让计算更贴近存储,是比“更强算力”更确定的方向

从 HotChips 近几年趋势看,每家公司在架构 ppt 里花最多篇幅讲的不再是主频和核心数,而是存储层次、互联带宽、数据复用策略。这说明芯片行业的重心已经发生转移:不是“我们快了多少”,而是“我们让数据走的路短了多少”。未来无论哪一种架构胜出,都必然沿着“让计算更贴近存储”的方向演进。

具体到形态上,可以想象三个方向的叠加:第一是把数据流加速单元做成通用处理器旁边的加速库,也就是把数据流芯片作为异构计算的一部分;第二是用 3D 堆叠技术把 SRAM 和 PE 阵列垂直集成,进一步缩短数据路径;第三是近存计算和存内计算技术的大规模落地,让模型权重直接参与计算。这三种方向都会和数据流思想产生深度融合。

7.2 大模型时代给数据流带来的新问题和新机会

大模型时代其实正在改变数据流架构的“考题”。以前数据流芯片最擅长 CNN,数据流是空间上比较规整的卷积滑动窗;现在模型的聚焦点是 Transformer,attention 里的 QK^T、softmax 和 PV 都是矩阵运算,底层依然规则,但中间穿插了很多非线性、mask 和动态形状的问题。这给了数据流芯片新的机会,也逼着厂商在编译器里加入更灵活的运行时支持。

更值得注意的是 MoE(混合专家)和稀疏 attention 的流行。这类模型本质上是让模型内部存在“按输入条件选择路径”的动态行为,传统的静态数据流很难做好。但换个角度想,如果能把“专家选择”也编译成一个确定性的路由逻辑,那么数据流架构就能发挥出极低的通信开销优势。这个方向还在探索阶段,我看到有团队在尝试在数据流芯片上做 MoE 的静态化调度,进展有,但说实话离产品化还比较远。

7.3 我个人在实际操作中的体会是

如果要给一个总结性的建议,我不会说“数据流芯片一定会取代 GPU”这种话。我更愿意提醒大家:不要用评测 GPU 的方式去评测数据流芯片,也不要用写 CUDA 的思维去写数据流程序。数据流架构最大的价值在于它逼着你重新审视“算力到底是被什么卡住的”——很多时候并不是 MAC 单元不够多,而是数据根本没喂进来。想清楚这一点,再去看下一代 AI 芯片的架构选择,你会更有判断力。

最后再分享一个小技巧,是我这几年评估数据流芯片时一直用的方法:拿到任何一款新架构的 AI 芯片,先不做大模型 benchmark,而是跑三个 5 分钟能写完的小算子——一个带不规则 memory access 的 gather、一个需要跨 PE 通信的 all-reduce、一个动态 shape 的小 GEMM。这三个小实验基本都能暴露这个架构最深的骨相。数据流芯片尤其如此,它最光鲜的时刻在大批量、高复用、规则流水的 GEMM 里;它最真实的底色,往往就藏在这些不规则的边角里。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询