企业官网建设流程全解析

昨天有观众看过《一文讲懂主机启动时是如何给每个PCIe外设分配BDF的》发邮件来询问，主机在启动过程中是BIOS给PCIe设备分配MMIO，自己研发的GPU芯片现在会出现MMIO资源分配不足这么一个问题。想问下MMIO的主要功能和工作机制，如何理解MMIO在PCIe设备的作用，或者MMIO扮演一个什么角色? BIOS给PCIe设备分配的MMIO分配到哪里去等一些问题。

下面简单结合你做 GPU 芯片研发的视角来解释一下上面的这些疑问：

一、MMIO 是什么缩写？

MMIO = Memory-Mapped I/O（内存映射输入输出）

意思是： 把设备的寄存器、控制空间等映射到主机 CPU 的物理内存地址空间里，这样 CPU 就能像“访问内存一样访问设备”。

二、MMIO 主要功能是什么？

一句话总结：

让 CPU（或 DRAM 系统）能通过内存地址去访问 PCIe 设备的寄存器、控制器、DMA配置空间等。

MMIO 是设备与 CPU 之间的“命令通道”，“大脑 → 外设”的控制路径。

三、MMIO 在 PCIe 设备中扮演什么角色？通俗比喻

PCIe 设备内部通常有：

• 控制寄存器（启动 DMA、配置模式）

• 状态寄存器（告诉 CPU 是否完成某任务）

• 某些内部 SRAM buffer

• doorbell queue（通知队列）

• MSI/MSI-X table

• BAR 寄存器指向的各种控制空间

这些东西都需要一个方式让 CPU / 操作系统来读写。

MMIO 就是这个方式。

📌比喻：MMIO 就像是在“大楼（CPU 内存空间）”里面给 PCIe 设备开了几间“办公室”（地址空间），CPU 想跟设备交流，就走到那间办公室敲门（读写地址）。

📌无 MMIO = CPU 根本没法操作 PCIe 设备。

四、BIOS 给 PCIe 设备分配 MMIO 是怎么回事？

当主机开机时，BIOS/UEFI 会：

① 扫描所有 PCIe 设备

读取每个设备的 BAR（Base Address Register）寄存器。

每个 BAR 会声明：

这些空间通常包括：

• Doorbell queue

• 控制器寄存器

• 内部 SRAM window

• MSI-X table

• GPU 中的 GPC/SM 配置寄存器

• DMA engine 的寄存器

② BIOS 在 CPU 的物理地址空间中给它们找位置

CPU 实际可用物理地址空间（例如 0~TB）中会有一部分保留给 MMIO。

比如：

BIOS 会从这个区域分配：

这就是你说的“MMIO资源不足”：所有 PCIe 设备的 BAR size 总和超过了系统能提供的 MMIO window 大小。

五、为什么 GPU/大加速器特别容易 MMIO 不够？

因为：

• GPU 的寄存器空间特别大（上百 MB 甚至更多）

• 多个 BAR（BAR0、BAR1、BAR2，有时还 64-bit BAR）

• 大量 doorbell queues、调度器、VM context、DMA 配置寄存器

• 现代 GPU 的 BAR 空间越来越大（如 AMD 的 64GB BAR 技术）

服务器 PCIe 设备多时，MMIO 要求量瞬间爆炸。

六、MMIO 的工作机制（简单到极致的解释）

假设 GPU BAR0 被分配：

此时：

CPU 执行：

并不是写 DRAM，而是：

DRAM 完全不参与。

MMIO 的本质：

✔ CPU 发出一个写入

✔ RC 将其转成 PCIe Memory Write TLP

✔ 发给设备寄存器

七、MMIO vs DMA（为什么两者是配套关系？）

MMIO 是“控制通道”→ 用来告诉 GPU：“开始 DMA”、“配置队列”、“读取状态”

DMA 是“数据通道”→ 用于搬运大数据，比如 GPU 读写主机内存。

DMA 启动依赖 MMIO，但数据搬运不依赖 MMIO。

八、BIOS 分配的 MMIO 最终“分配到哪里了”？

BIOS 分配的是CPU 物理地址空间中的一段区域。

并不是某个 DRAM 地址， 而是 “标记为 MMIO 的地址”。

访问这个区域时：

✔ CPU 认为是访问“内存”

✘ 但不会走 DRAM

✔ Root Complex 会把这些读写转发给 PCIe 设备

这就是“内存映射 I/O”的精髓。

九、为什么会 MMIO 资源不足？

原因包括：

• 系统 MMIO window 不够（BIOS 或 CPU 硬件限制）

• 有太多 PCIe 设备

• GPU BAR 空间大

• 64-bit BAR 占用巨大

• Non-prefetchable 与 Prefetchable window 不能混用

• CXL 设备使 MMIO 紧张

• BIOS 没做好资源分配

十、GPU 厂商一般怎么解决 MMIO 不够？

常见方法：

1. 减少 BAR size（改 IP 配置）

例如从 16MB 改为 4MB，甚至拆分功能。

2. 使用 BAR virtualization（SR-IOV 等）

3. 让部分配置空间通过 doorbell + indirect access，而不是直接 MMIO

即：

这样 BAR 只需很小。

4. BIOS/MMIO window 增大（主板厂 or 固件）

5. 使用 64-bit BAR 让 BIOS 分配到 4GB 以上高地址

总结