Dwarkesh Podcast 深度技术解析 | 主讲人:Reiner Pope (MatX CEO、前谷歌TPU核心架构师) | 主持人:Dwarkesh Patel | 议题:芯片设计物理底层:逻辑门、脉动阵列与GPU/TPU架构演进
核心第一性原理:“人们总以为现代芯片是由魔法代码写成的,但追溯到物理与晶体管的绝对底层,任何超级计算都只是在做两件事:在逻辑门里翻转电压,以及在金属导线上搬运电荷。从 1 位全加器到 128×128 脉动阵列,所有的芯片架构权衡,本质上都是在用‘面积税’与‘延迟税’,去换取昂贵的‘寄存器搬运税’摊销。GPU 的本质,不过是平铺在硅片上的上百个微型 TPU。”—— Reiner Pope
01 算力基石:从逻辑门到乘累加单元(MAC)
在 AI 算力竞赛白热化的今天,研究者习惯调用算子,却鲜少直面物理底层的硅片世界。在微观层面,一个反相器(NOT 门)由一对互补的 PMOS 与 NMOS 晶体管构成;AND 与 OR 门则是利用门极电压控制导通。数字电路的核心物理挑战始终在于信号的物理沉降时间与金属导线电容充放电功耗:
- 全加器与面积-延迟权衡:1 位全加器接收三个输入产生和与进位。在多位加法中,行波进位延迟与位宽成线性关系(O(N));为了追求高频,必须引入先行进位树,以庞大的逻辑门面积和走线拥塞为代价换取低延迟。
- 乘法器与全加器森林:乘法在本质上是一系列移位后的与门输出相加。一个 16 位乘法器需要排列数百个全加器组成压缩树(如 Wallace Tree),布线极其密集。
- 昂贵的数据搬运税:深度学习绝大部分算子是乘累加(MAC)。如果每次 MAC 都必须从寄存器堆读取再写回,金属线电容功耗将远远超过乘法逻辑门本身的能耗,这就是所谓的 Data Movement Tax。
02 空间局部性革命:脉动阵列(Systolic Array)是如何工作的?
为了拯救被数据搬运税榨干的芯片,脉动阵列将矩阵乘法的两层外层循环直接烧铸在物理硅片上:数据像血液一样在处理单元(PE)网格中规则流动,彻底颠覆了传统处理器的访存模式:
数据纳米级接力复用:权重矩阵驻留在 PE 内部(Weight-Stationary)或沿正交方向逐拍流动,输入数据每周期输入一拍。每个数据只需从 SRAM 读取一次,随后直接在数千个相邻 PE 间极短金属线上传递复用,消除全局访存长跑。
边际周长定律:脉动阵列的算力与面积正比于网格面积 O(N²),而与外界 SRAM 交换数据的物理接口仅仅位于边缘周长 O(N)。阵列规模越大,计算密集度越高,昂贵的数据输入输出税被极大摊薄。
固化硬件循环流水线:普通向量处理器仅固化单次乘累加,脉动阵列直接将双重循环在二维物理空间全展开,提供无与伦比的能效比。
03 微架构分水岭:CPU 巨核 vs GPU 阵列 vs FPGA
为什么一个现代高性能 CPU 核心的面积,能塞下成百上千个 GPU 运算核心?Reiner Pope 深入剖析了不同计算形态背后的工程取舍:
| 微架构维度 | 现代高性能 CPU 核心 | 现代 GPU 流式多处理器 (SM) | 定制 FPGA 电路 |
|---|---|---|---|
| 设计哲学 | 极速延迟敏感型(单线程极限低时延) | 极限吞吐主导型(海量数据并行) | 周期确定型(硬件流水线无抖动) |
| 核心面积分配 | 70%+ 面积分配给分支预测器、ROB、乱序执行与超大 L1-L3 Cache | 70%+ 面积留给纯算术单元(ALU/Tensor Core)与寄存器堆 | 查找表(LUT)与可配置布线占大头,能效为 ASIC 1/5~1/10 |
| 隐藏延迟手段 | 依靠激进推测执行与巨大 Cache 避免停顿 | 硬件线程级交错(Warp Scheduling):等待内存时零开销切至就绪 Warp | 全物理连线直接流式推进,纳秒级确定性 |
04 终局思辨:GPU 不过是平铺在硅片上的微型 TPU
在讲座尾声,Reiner Pope 破除了行业对 GPU 与 TPU 的二元神话,并揭秘了新一代架构的突围方向:
粗粒度 TPU vs 细粒度 GPU:TPU 由少数超大脉动阵列(MXU,如 128×128)构成,极大摊销了寄存器堆开销,但周边走线较少易成瓶颈;而 GPU 则是一个平铺了上百个 SM 的规则网格,每个 Tensor Core 本质上就是微型脉动阵列,多通路细粒度局部数据交换能力极强。
可分割脉动阵列(Splittable Systolic Array):创业公司 MatX 的核心思路是破除“大而僵化(TPU)”与“小而昂贵(GPU)”的二元对立:在物理上既能融合成超大规模阵列榨取大矩阵乘法极致吞吐,又能在小 Batch 或稀疏时动态解耦为微型阵列,并剔除图形管线等沉重历史包袱。
硅基芯片对生物大脑的启示:20W 的人脑之所以能抗衡千瓦级 GPU,核心在于极其自由的“非结构化稀疏”与“突触级存算一体”。但在硅片物理规则下,结构化规则流动与可伸缩脉动阵列依然是算力扩展的最强工程解。
来源:Dwarkesh Podcast 深度对谈实录《Reiner Pope: How Microchips are Designed from First Principles》。内容经深度物理与微架构技术精编,仅供技术讨论与架构参考。