企业官网建设流程全解析

UMDK性能优化技巧：10个提升内存语义通信效率的实用方法

【免费下载链接】umdkThe Unified Memory Development Kit(UMDK) is a set of distributed communication software stack with memory semantics as the core. It aims to design a new-generation network architecture through software-hardware collaboration, subvert the traditional communication form, and build a computing native network centered on memory semantic interconnection.项目地址: https://gitcode.com/openeuler/umdk

前往项目官网免费下载：https://ar.openeuler.org/ar/

UMDK（Unified Memory Development Kit）是一套以内存语义为核心的分布式通信软件栈，旨在通过软硬件协同设计新一代网络架构，颠覆传统通信形式，构建以内存语义互联为中心的计算原生网络。本文将分享10个实用的UMDK性能优化技巧，帮助新手和普通用户提升内存语义通信效率。

1. 选择合适的MOE算子代际

UMDK提供了不同代际的MOE（Mixture of Experts）算子，如A2和A3代际，适用于不同的场景。A2代际的moe_dispatch_prefill_a2和moe_combine_prefill_a2算子在Prefill阶段表现出色，能够有效提升token分发和合并的效率。

MOE Dispatch Prefill A2流程示意图，展示了token在不同rank和专家之间的分发过程

2. 合理使用SHMEM通信模式

SHMEM（Shared Memory）通信模式是UMDK中提升性能的重要手段。通过moe_dispatch_shmem和moe_combine_shmem算子，可以利用共享内存实现高效的token分发与合并。使用时需注意提前申请足够的Shmem内存，并在算子执行完毕后及时释放资源。

shm.aclshmem_free(shmem_ptr) shm.aclshmem_finialize()

3. 优化UMQ缓冲区管理

UMQ（Unified Memory Queue）的缓冲区管理对性能影响较大。合理设置缓冲区大小、启用缓冲区合并与拆分模式，以及优化缓冲区分配策略，都能有效提升通信效率。可以参考UMQ Buffer.ch.md中的详细说明进行配置。

4. 调整URMA传输模式

URMA（Unified Remote Memory Access）支持多种传输模式，如RC（Reliable Connection）、RM（Reliable Multicast）和UM（Unreliable Multicast）。根据应用场景选择合适的传输模式，能够显著提升通信性能。例如，在需要高可靠性的场景下选择RC模式，在对延迟敏感的场景下可考虑RM模式。

URMA数据传输架构示意图，展示了不同传输模式下的组件交互

5. 利用CAM算子优化NPU性能

UMDK的CAM（Communication Acceleration Module）算子针对NPU特性进行了优化。在进行分布式训练时，利用CAM算子替换传统的通信算子，如将NCCL通信替换为HCCl通信，可以充分发挥NPU的计算能力，提升整体性能。

6. 优化内存分配与释放

合理的内存分配与释放是避免性能瓶颈的关键。在使用SHMEM时，建议根据实际需求设置内存大小，默认1GB可能无法满足大规模应用。同时，务必在算子执行结束并完成同步操作（如torch.npu.synchronize()）后再释放内存资源。

7. 使用性能测试工具评估优化效果

UMDK提供了urma_perftest等性能测试工具，可以帮助评估不同配置下的通信性能。通过运行读写延迟测试、吞吐量测试等，获取关键性能指标（如延迟、带宽），为优化提供数据支持。

URMA写延迟测试结果示例，展示了不同数据大小下的延迟表现

8. 配置合适的JFC深度与内联大小

JFC（Jetty Flow Control）深度和内联大小是影响URMA性能的重要参数。适当增加JFC深度可以提高并发处理能力，而合理设置内联大小（如128B）可以减少数据拷贝开销。这些参数可以通过URMA配置文件进行调整。

9. 优化专家系统负载均衡

在MOE架构中，专家系统的负载均衡直接影响整体性能。通过get_dispatch_layout_a2等接口获取分发布局信息，合理分配token到不同专家，避免个别专家负载过高，从而提升系统吞吐量。

MOE Combine Prefill A2流程示意图，展示了token合并过程中的负载均衡策略

10. 遵循C代码规范提升代码效率

UMDK提供了C代码规范参考skills/c-code-standard/references/c-rules.md。遵循规范编写代码，如合理使用数据结构、减少冗余计算、优化循环等，可以提升底层通信代码的执行效率。

通过以上10个实用技巧，你可以有效提升UMDK的内存语义通信效率。在实际应用中，建议结合具体场景进行测试和调整，以达到最佳性能。UMDK作为开源项目，持续迭代优化，更多性能提升方法可以关注项目更新和官方文档。

要开始使用UMDK，可通过以下命令克隆仓库：

git clone https://gitcode.com/openeuler/umdk

【免费下载链接】umdkThe Unified Memory Development Kit(UMDK) is a set of distributed communication software stack with memory semantics as the core. It aims to design a new-generation network architecture through software-hardware collaboration, subvert the traditional communication form, and build a computing native network centered on memory semantic interconnection.项目地址: https://gitcode.com/openeuler/umdk