企业官网建设流程全解析

CANN权重更新实战教程：系统管理与用户管理内存的2大模式完整指南

【免费下载链接】docs该仓库用于维护cann公共文档项目地址: https://gitcode.com/cann/docs

在CANN模型开发中，权重更新是一个高频场景：只需一次编译离线模型，就能在模型执行阶段动态刷新权重，避免反复编译、大幅提升部署效率。本文带你快速掌握CANN权重更新的2大模式——由系统管理内存和由用户管理内存，从接口调用流程到关键细节一次讲透，新手也能照着落地。

为什么需要CANN权重更新？

传统做法是"改一次权重、重新编译一次模型"，在以下场景中非常低效：

• 🔄 模型在线微调后需要快速生效
• 📦 多租户服务共享同一份推理代码、各自刷新权重
• ⚡ 权重频繁变更，编译开销不可接受

CANN的解决方案是：一次编译、多次刷新。基于构图接口编译的捆绑模型（bundle.om）中同时包含多张图：推理图、变量初始化图、变量更新图，执行阶段按图ID分别执行即可。

💡 小贴士：权重初始化是可选步骤。根据业务场景判断是否需要包含权重初始化图，不包含可节省模型加载所需的Device内存。

两大模式怎么选？一图看懂核心差异

CANN提供两套捆绑模型加载接口，核心区别在于"模型运行所需的内存由谁来申请"：

一句话选型：求快选系统管理，求省选用户管理。

模式一：由系统管理内存，最简单上手的CANN权重更新路径

该模式接口最少，适合绝大多数业务场景。完整接口调用流程如下：

1. 基于构图接口编译并保存模型（aclgrphBundleBuildModel+aclgrphBundleSaveModel），模型中包含推理图、变量初始化图、变量更新图
2. 调用aclmdlBundleLoadFromFile或aclmdlBundleLoadFromMem加载模型
3. 调用aclmdlBundleGetModelId获取图的ID
4. 根据权重初始化图ID，调用模型执行接口（如aclmdlExecute）执行权重初始化
5. 若需更新权重，先调用aclmdlSetDatasetTensorDesc设置图的tensor描述信息
6. 根据权重更新图ID执行权重更新图
7. 根据推理图ID执行推理图
8. 推理结束后，调用aclmdlBundleUnload卸载模型

以3张图的bundle.om为例，各图索引固定为0（推理图）、1（初始化图）、2（更新图），核心执行序列为：

aclmdlBundleLoadFromFile("./bundle.om", &bundle_id); // 加载捆绑模型 aclmdlBundleGetModelId(bundle_id, 0, &infer_id); // 获取推理图ID aclmdlBundleGetModelId(bundle_id, 2, &update_id); // 获取权重更新图ID aclmdlSetDatasetTensorDesc(update_mdl_input, tensorDesc, need_refresh_index); // 设置权重描述 aclmdlExecute(update_id, update_mdl_input, update_mdl_output); // 执行权重更新图 aclmdlExecute(infer_id, infer_mdl_input, infer_mdl_output); // 执行推理图 aclmdlBundleUnload(bundle_id); // 卸载捆绑模型

完整示例代码见 weight_update_system_manages_memory.md。

关键细节：不想刷新的权重怎么办？

若不需要更新某一个权重（比如第0个），shape可以传入空tensor，但Device内存必须有效：

std::vector<int64_t> dims{0}; // dims元素为0，表示空tensor auto tensorDesc = aclCreateTensorDesc(ACL_FLOAT, dims.size(), dims.data(), ACL_FORMAT_ND); aclmdlSetDatasetTensorDesc(update_mdl_input, tensorDesc, no_need_refresh_index);

模式二：由用户管理内存，精准掌控每一块Device内存

该模式下，用户先查询模型内存信息、自行申请工作内存和权重内存，再加载图。接口调用流程：

1. 调用aclmdlBundleQueryInfoFromFile获取模型描述信息
2. 调用aclmdlBundleGetQueryModelNum获取捆绑模型中的图总数
3. 调用aclmdlBundleGetVarWeightSize和aclmdlBundleGetSize获取内存信息（可刷新权重大小、每张图的工作内存与权重内存大小）
4. 调用aclmdlBundleInitFromFile初始化模型
5. 根据索引多次调用aclmdlBundleLoadModelWithMem加载图，传入申请好的内存，得到对应图的modelId
6. 依次执行权重初始化图 → 权重更新图 → 推理图
7. 卸载时需先调用aclmdlBundleUnloadModel卸载图，再调用aclmdlBundleUnload卸载模型

aclmdlBundleQueryInfoFromFile("./bundle.om", query_info); // 查询内存信息 aclmdlBundleGetVarWeightSize(query_info, &variableWeightSize); // 可刷新权重大小 aclmdlBundleGetSize(query_info, 0, &inferWorkSize, &inferConstWeightSize); aclrtMalloc(&var_p, variableWeightSize, ACL_MEM_MALLOC_NORMAL_ONLY); // 用户申请内存 aclmdlBundleInitFromFile("./bundle.om", var_p, variableWeightSize, &bundle_id); aclmdlBundleLoadModelWithMem(bundle_id, 0, inferWorkPtr, inferWorkSize, inferConstWeightPtr, inferConstWeightSize, &infer_id);

完整示例代码见 weight_update_user_manages_memory.md。

⚠️ 注意：如果不希望系统内部申请内存，在var_p处传nullptr、variableWeightSize处传0即可切换回系统管理。

常见问题与最佳实践

Q1：两种模式可以混用吗？可以。用户管理内存模式下，aclmdlBundleLoadModelWithMem对每张图可单独决定是否传内存——某张图不想自行管理，传nullptr, 0即可由系统内部申请。

Q2：更新权重后一定要执行推理图吗？是的。标准执行序列为：权重初始化图（可选）→ 权重更新图 → 推理图，保证推理读到的是最新权重。

Q3：如何节省Device内存？

• 不包含权重初始化图（按需编译）
• 选择用户管理内存模式，精确申请、按需加载图

Q4：调用接口后需要做什么？务必增加异常处理分支，并记录报错日志、提示日志——上述示例代码仅展示关键步骤，不能直接拷贝编译运行。

延伸阅读

想深入CANN模型开发全链路，建议按顺序阅读：

• 权重更新总览：weight_update.md
• 模型编译：model_build.md
• 模型加载（含两套acl接口对比）：model_load.md
• 模型执行：model_execute.md
• 应用开发入门：00_acl_cpp_dev.md

掌握本文的2大模式后，你就能在CANN中实现"编译一次、刷新无限次"的权重更新方案，让模型部署从此告别反复编译的烦恼 🚀

【免费下载链接】docs该仓库用于维护cann公共文档项目地址: https://gitcode.com/cann/docs