Finalize
【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit
产品支持情况
- Ascend 950PR/Ascend 950DT:支持
- Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持
- Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持
- Atlas 200I/500 A2 推理产品:不支持
- Atlas 推理系列产品AI Core:不支持
- Atlas 推理系列产品Vector Core:不支持
- Atlas 训练系列产品:不支持
功能说明
通知服务端后续无通信任务,执行结束后退出。
函数原型
template <bool sync = true> __aicore__ inline void Finalize()参数说明
| 参数名 | 输入/输出 | 描述 |
|---|---|---|
| sync | 输入 | 是否需要等待服务端的通信完成。bool类型,参数取值如下: true:默认值,表示客户端将检测并等待最后一个通信任务完成。 false:表示客户端发送Finalize通知后,不等待服务端通信任务完成即退出。该取值仅跳过客户端侧的阻塞等待,不会取消已被服务端接收并编排的通信任务;但不表示已下发的通信任务已完成,也不保证接口调用结束时对端已收到数据。 Atlas A3 训练系列产品/Atlas A3 推理系列产品,该参数支持默认值true,仅在通信任务为BatchWrite时,支持取值为false。 Atlas A2 训练系列产品/Atlas A2 推理系列产品,该参数仅支持默认值true。 |
返回值说明
无
约束说明
- 调用本接口前确保已调用过InitV2和SetCcTilingV2接口。
- 本接口在AIC核或者AIV核上调用必须与对应的Prepare接口的调用核保持一致。
- 调用Finalize<false>()前,若需要保证通信任务完成,必须先完成同步;否则客户端直接退出后,无法保证数据传输完成。多队列BatchWrite场景需先对所有队列调用QueueBarrier接口,等待队列上的BatchWrite任务完成后再调用Finalize<false>(),请参见BatchWrite的多个队列的点对点通信调用示例。
- Finalize为终止接口,调用后服务端开始退出,当前Hccl对象不可再次用于通信。如需继续通信,需重新创建Hccl对象并调用InitV2接口初始化。
调用示例
REGISTER_TILING_DEFAULT(ReduceScatterCustomTilingData); // ReduceScatterCustomTilingData为对应算子头文件定义的结构体 GET_TILING_DATA_WITH_STRUCT(ReduceScatterCustomTilingData, tilingData, tilingGM); Hccl hccl; GM_ADDR contextGM = AscendC::GetHcclContext<0>(); // AscendC自定义算子kernel中,通过此方式获取HCCL context hccl.InitV2(contextGM, &tilingData); hccl.SetCcTilingV2(offsetof(ReduceScatterCustomTilingData, mc2CcTiling)); if (AscendC::g_coreType == AIC) { HcclHandle handleId = hccl.ReduceScatter(sendBuf, recvBuf, 100, HcclDataType::HCCL_DATA_TYPE_INT8, HcclReduceOp::HCCL_REDUCE_SUM, 10); hccl.Commit(handleId); // 通知服务端可以执行上述的ReduceScatter任务 for (uint8_t i = 0; i < 10; i++) { hccl.Wait(handleId); // 阻塞接口,需等待上述ReduceScatter任务执行完毕 } hccl.Finalize<true>(); // 后续无其他通信任务,通知服务端执行上述ReduceScatter任务之后即可以退出 }【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考