企业官网建设流程全解析

Transformer类接口

【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformer

• Transformer类aclnn接口列表
• aclnnAllGatherAdd
• aclnnAllGatherMatmul
• aclnnAllGatherMatmulV2
• aclnnAlltoAllAllGatherBatchMatMul
• aclnnAlltoAllMatmul
• aclnnAlltoAllMatmulV2
• aclnnAlltoAllQuantMatmul
• aclnnAlltoAllQuantMatmulV2
• aclnnAlltoAllvGroupedMatMul
• aclnnAlltoAllvGroupedMatMulV2
• aclnnAlltoAllvQuantGroupedMatMul
• aclnnAlltoAllvQuantGroupedMatMulV2
• aclnnApplyRotaryPosEmb
• aclnnApplyRotaryPosEmbV2
• aclnnAttentionToFFN
• aclnnAttentionUpdate
• aclnnAttentionWorkerCombine
• aclnnBSASelectBlockMask
• aclnnBatchMatMulReduceScatterAlltoAll
• aclnnBlockSparseAttention
• aclnnBlockSparseAttentionGrad
• aclnnBlockSparseAttentionV2
• aclnnCausalConv1dFn
• aclnnCausalConv1dUpdate
• aclnnChunkGatedDeltaRule
• aclnnCompressor
• aclnnDenseLightningIndexerGradKLLoss
• aclnnDenseLightningIndexerSoftmaxLse
• aclnnDequantRopeQuantKvcache
• aclnnDistributeBarrier
• aclnnDistributeBarrierV2
• aclnnFFN
• aclnnFFNToAttention
• aclnnFFNV2
• aclnnFFNV3
• aclnnFfnWorkerBatching
• aclnnFlashAttentionScore
• aclnnFlashAttentionScoreGrad
• aclnnFlashAttentionScoreGradV2
• aclnnFlashAttentionScoreGradV3
• aclnnFlashAttentionScoreGradV4
• aclnnFlashAttentionScoreV2
• aclnnFlashAttentionScoreV3
• aclnnFlashAttentionScoreV4
• aclnnFlashAttentionUnpaddingScoreGrad
• aclnnFlashAttentionUnpaddingScoreGradV2
• aclnnFlashAttentionUnpaddingScoreGradV3
• aclnnFlashAttentionUnpaddingScoreGradV4
• aclnnFlashAttentionUnpaddingScoreGradV5
• aclnnFlashAttentionVarLenScore
• aclnnFlashAttentionVarLenScoreV2
• aclnnFlashAttentionVarLenScoreV3
• aclnnFlashAttentionVarLenScoreV4
• aclnnFlashAttentionVarLenScoreV5
• aclnnFusedCausalConv1d
• aclnnFusedFloydAttention
• aclnnFusedFloydAttentionGrad
• aclnnFusedInferAttentionScore
• aclnnFusedInferAttentionScoreV2
• aclnnFusedInferAttentionScoreV3
• aclnnFusedInferAttentionScoreV4
• aclnnFusedInferAttentionScoreV5
• aclnnGatherPaKvCache
• aclnnGroupedMatMulAllReduce
• aclnnGroupedMatMulAlltoAllv
• aclnnGroupedMatMulAlltoAllvV2
• aclnnGroupedMatmul
• aclnnGroupedMatmulActivationQuantWeightNz
• aclnnGroupedMatmulAdd
• aclnnGroupedMatmulAddV2
• aclnnGroupedMatmulFinalizeRouting
• aclnnGroupedMatmulFinalizeRoutingV2
• aclnnGroupedMatmulFinalizeRoutingV3
• aclnnGroupedMatmulFinalizeRoutingWeightNz
• aclnnGroupedMatmulFinalizeRoutingWeightNzV2
• aclnnGroupedMatmulSwigluQuant
• aclnnGroupedMatmulSwigluQuantV2
• aclnnGroupedMatmulSwigluQuantWeightNZ
• aclnnGroupedMatmulSwigluQuantWeightNzV2
• aclnnGroupedMatmulV2
• aclnnGroupedMatmulV3
• aclnnGroupedMatmulV4
• aclnnGroupedMatmulV5
• aclnnGroupedMatmulWeightNz
• aclnnIncreFlashAttention
• aclnnIncreFlashAttentionV2
• aclnnIncreFlashAttentionV3
• aclnnIncreFlashAttentionV4
• aclnnIndexerQuantCache
• aclnnInplaceAttentionWorkerScheduler
• aclnnInplaceFfnWorkerScheduler
• aclnnInplaceFusedCausalConv1d
• aclnnInplaceMatmulAllReduceAddRmsNorm
• aclnnInplacePartialRotaryMul
• aclnnInplacePartialRotaryMulGrad
• aclnnInplaceQuantMatmulAllReduceAddRmsNorm
• aclnnInplaceWeightQuantMatmulAllReduceAddRmsNorm
• aclnnInterleaveRope
• aclnnKvCompressEpilog
• aclnnKvRmsNormRopeCache
• aclnnKvRmsNormRopeCacheV2
• aclnnLightningIndexer
• aclnnLightningIndexerGrad
• aclnnLightningIndexerV2
• aclnnLightningIndexerV2Metadata
• aclnnMaskedCausalConv1d
• aclnnMaskedCausalConv1dBackward
• aclnnMatmulAllReduce
• aclnnMatmulAllReduceAddRmsNorm
• aclnnMatmulAllReduceV2
• aclnnMatmulAllReduceV3
• aclnnMatmulAlltoAll
• aclnnMatmulAlltoAllV2
• aclnnMatmulReduceScatter
• aclnnMatmulReduceScatterV2
• aclnnMhcPost
• aclnnMhcPostBackward
• aclnnMhcPre
• aclnnMhcPreBackward
• aclnnMhcPreSinkhorn
• aclnnMhcPreSinkhornBackward
• aclnnMhcSinkhorn
• aclnnMhcSinkhornBackward
• aclnnMixedQuantSparseFlashMla
• aclnnMixedQuantSparseFlashMlaMetadata
• aclnnMlaPreprocess
• aclnnMlaPreprocessV2
• aclnnMlaProlog
• aclnnMlaPrologV2WeightNz
• aclnnMlaPrologV3WeightNz
• aclnnMoeComputeExpertTokens
• aclnnMoeDistributeCombine
• aclnnMoeDistributeCombineAddRmsNorm
• aclnnMoeDistributeCombineAddRmsNormV2
• aclnnMoeDistributeCombineSetup
• aclnnMoeDistributeCombineTeardown
• aclnnMoeDistributeCombineV2
• aclnnMoeDistributeCombineV3
• aclnnMoeDistributeCombineV4
• aclnnMoeDistributeDispatch
• aclnnMoeDistributeDispatchSetup
• aclnnMoeDistributeDispatchTeardown
• aclnnMoeDistributeDispatchV2
• aclnnMoeDistributeDispatchV3
• aclnnMoeDistributeDispatchV4
• aclnnMoeFinalizeRouting
• aclnnMoeFinalizeRoutingV2
• aclnnMoeFinalizeRoutingV2Grad
• aclnnMoeFinalizeRoutingV3
• aclnnMoeFinalizeRoutingV4
• aclnnMoeFusedTopk
• aclnnMoeGatingTopK
• aclnnMoeGatingTopKBackward
• aclnnMoeGatingTopKSoftmax
• aclnnMoeGatingTopKSoftmaxV2
• aclnnMoeGatingTopKV2
• aclnnMoeInitRouting
• aclnnMoeInitRoutingQuant
• aclnnMoeInitRoutingQuantV2
• aclnnMoeInitRoutingV2
• aclnnMoeInitRoutingV2Grad
• aclnnMoeInitRoutingV3
• aclnnMoeTokenPermute
• aclnnMoeTokenPermuteGrad
• aclnnMoeTokenPermuteV2
• aclnnMoeTokenPermuteWithEp
• aclnnMoeTokenPermuteWithEpGrad
• aclnnMoeTokenPermuteWithRoutingMap
• aclnnMoeTokenPermuteWithRoutingMapGrad
• aclnnMoeTokenUnpermute
• aclnnMoeTokenUnpermuteGrad
• aclnnMoeTokenUnpermuteWithEp
• aclnnMoeTokenUnpermuteWithEpGrad
• aclnnMoeTokenUnpermuteWithRoutingMap
• aclnnMoeTokenUnpermuteWithRoutingMapGrad
• aclnnMoeUpdateExpert
• aclnnNormRopeConcat
• aclnnNormRopeConcatBackward
• aclnnNsaCompress
• aclnnNsaCompressAttention
• aclnnNsaCompressAttentionInfer
• aclnnNsaCompressGrad
• aclnnNsaCompressWithCache
• aclnnNsaSelectedAttention
• aclnnNsaSelectedAttentionGrad
• aclnnNsaSelectedAttentionInfer
• aclnnPromptFlashAttention
• aclnnPromptFlashAttentionV2
• aclnnPromptFlashAttentionV3
• aclnnQkvRmsNormRopeCache
• aclnnQkvRmsNormRopeCacheWithKScale
• aclnnQuantAllReduce
• aclnnQuantFlashAttentionScore
• aclnnQuantGroupedMatMulAlltoAllv
• aclnnQuantGroupedMatMulAlltoAllvV2
• aclnnQuantGroupedMatmulDequant
• aclnnQuantGroupedMatmulDequantWeightNZ
• aclnnQuantGroupedMatmulInplaceAdd
• aclnnQuantLightningIndexer
• aclnnQuantLightningIndexerV2Metadata
• aclnnQuantMatmulAllReduce
• aclnnQuantMatmulAllReduceAddRmsNorm
• aclnnQuantMatmulAllReduceV2
• aclnnQuantMatmulAllReduceV3
• aclnnQuantMatmulAllReduceV4
• aclnnQuantMatmulAllReduceV5
• aclnnQuantMatmulAlltoAll
• aclnnQuantMatmulAlltoAllV2
• aclnnQuantReduceScatter
• aclnnRainFusionAttention
• aclnnRecurrentGatedDeltaRule
• aclnnRingAttentionUpdate
• aclnnRingAttentionUpdateV2
• aclnnRopeWithSinCosCache
• aclnnRopeWithSinCosCacheV2
• aclnnRotaryPositionEmbedding
• aclnnRotaryPositionEmbeddingGrad
• aclnnRotaryPositionEmbeddingV2
• aclnnScatterPaCache
• aclnnScatterPaKvCache
• aclnnScatterPaKvCacheWithKScale
• aclnnSparseFlashAttention
• aclnnSparseFlashAttentionGrad
• aclnnSparseFlashMla
• aclnnSparseFlashMlaGrad
• aclnnSparseFlashMlaGradMetadata
• aclnnSparseFlashMlaMetadata
• aclnnSparseLightningIndexerGradKLLoss
• aclnnSparseLightningIndexerKLLossGrad
• aclnnSparseLightningIndexerKLLossGradMetadata
• aclnnSwinAttentionScoreQuant
• aclnnSwinTransformerLnQkvQuant
• aclnnWeightQuantMatmulAllReduce
• aclnnWeightQuantMatmulAllReduceAddRmsNorm
• aclnnWeightQuantMatmulAllReduceV2
• 编译与运行样例
• aclnn返回码

【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformer