企业官网建设流程全解析

ROCm GPU 内存管理：3 个坑帮你省掉一半拷贝时间

【免费下载链接】legacy-rocm-buildAMD ROCm™ Software - GitHub Home项目地址: https://gitcode.com/GitHub_Trending/ro/legacy-rocm-build

如果你的 ROCm GPU 内存管理没写对，程序能跑、kernel 也对，但 hipMemcpy 吃掉一半 wall time、GPU 利用率卡在 60%——这篇基于 ROCm 官方文档的笔记，讲清楚 ROCm 内存分配该怎么选、CPU 和 GPU 之间的数据怎么搬最快，以及出问题时先查哪三样东西。

图：ROCm 文档里的统一计算系统视图，L1/L2 缓存和全局内存的位置决定了 GPU 读一次数据要花多少代价

🎯 对号入座：这 3 个症状说明内存分配没选对

症状 1：hipMemcpy 占掉 kernel 时间的 50% 以上，但数据量不大。多半是主机侧还在用普通malloc给的页面内存，拷贝得先绕道一个中转缓冲。

症状 2：换了hipMallocManaged之后性能反而更差。通常是 XNACK 没开，页面迁移走了低效路径。

症状 3：同一块 buffer 主机和 GPU 轮流读写，带宽只有单向拷贝的零头。你在为主机设备内存一致性付钱。

三种主机内存先记一句话：

• 页面内存（pageable）：malloc/new分配的普通 RAM，操作系统随时可以把页面挪走，所以 GPU 没法直接对它做 DMA
• 固定内存（pinned）：hipHostMalloc分配的锁页主机内存，页面钉死在原地，GPU 可以直接 DMA 访问
• 托管内存（managed）：hipMallocManaged分配的"两边都能摸"的内存，缺页时自动在主机和 GPU 间迁移，Linux 上基于 HMM 异构内存管理

设备内存则是hipMalloc分配的 VRAM（HBM2e/GDDR6），GPU 本地访问最快；主机要碰它就走 PCIe 零拷贝，慢。

🔀 ROCm 内存分配怎么选：按访问位置定，不是按"哪个高级"选

先问两个问题：这块数据主要谁在用？要不要跨设备共享？

选择逻辑：数据只在 GPU 用，就hipMalloc；只在主机用但和 GPU 传得勤，就hipHostMalloc；两边都大量随机访问、拷贝成本高于迁移成本，才上 managed。hipHostMalloc 用法上没有魔法：分配、当普通指针用、hipFree释放，关键是别让这块内存被换页。

图：MI100 类架构中 HBM2 挂在各计算单元外围、L2 居中——离数据近的访问才是便宜访问，内存放错侧代价就在这里

🚚 ROCm 数据传输优化：一次完整的 H2D 链路怎么走

把输入数据送进 GPU 喂给 kernel，典型链路是：

1. 主机侧准备：数据从磁盘/网络进 RAM（pageable）→ 搬进 pinned buffer（hipHostMalloc）
2. H2D 拷贝：hipMemcpy发起。SDMA 引擎有空就派它干活——SDMA 是 GPU 上的专用 DMA 硬件，拷贝不占计算单元，还能和 kernel 重叠；SDMA 忙或不适用时，runtime 退回 blit kernel，用计算单元搬数据，这会挤占你的 kernel
3. GPU 侧落位：数据落在hipMalloc的设备缓冲，kernel 本地读
4. 回程同理：D2H 也走 SDMA，结果先落 pinned 再消费

如果你的拷贝时间在 1ms 以上，先检查第 1 步：很多时候瓶颈不在 PCIe，而在你往 pinned buffer 里填数据的 CPU 代码。

图：rocm-bandwidth-test 的单向/双向峰值带宽矩阵，实测拷贝慢时拿它当参照系

🔍 性能排查清单：从症状到排查命令

XNACK 没开导致的托管内存卡顿。症状：hipMallocManaged上 kernel 吞吐断崖式下跌。原因：XNACK 允许 GPU 在页面错误后重试读取而不是直接报错，没开时托管内存迁移路径变慢。排查：

rocminfo | grep -i xnack HSA_XNACK=1 rocminfo | grep -i xnack

第一条看当前状态，第二条临时开启验证差异；确认是它之后，把HSA_XNACK=1写进运行环境。

带宽对不上标称值。症状：H2D 远低于设备带宽。原因：拷贝走的是 PCIe 而不是设备内互联，或者 SDMA 没被用上、退回 blit 占了计算单元。先看拓扑，确认这块 GPU 和你的 CPU socket 亲和：

rocm-smi --showtopo

NUMA 亲和性不对、PCIe 绕远 socket，带宽能砍掉几成。

主机设备一致性瓶颈。症状：两边交替访问同一块内存，延迟抖动大。原因：每次跨设备访问都要刷一致性流量过 PCIe。处理办法简单：定一个 owner，数据在哪边就在哪边算完再交出去。

图：rocm-smi --showtopo 的权重、跳数、链路类型和 NUMA 亲和性输出

架构差异看 docs/reference/gpu-arch/，调优背景看 docs/reference/system-optimization/，组件清单在 docs/components/core.rst。 记住一条就够了：内存放对位置，比任何优化都快。

【免费下载链接】legacy-rocm-buildAMD ROCm™ Software - GitHub Home项目地址: https://gitcode.com/GitHub_Trending/ro/legacy-rocm-build