CANN/ops-nn矩阵乘压缩算子-港品优选

MatMulCompress

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

算子功能：进行矩阵乘计算时，可先通过msModelSlim工具对右矩阵进行无损压缩，减少内存占用，然后通过本接口完成无损解压缩、矩阵乘计算。
计算公式：
```
x2_unzip = unzip(x2, compressIndex) result = x1 @ x2_unzip + bias
```
其中x2表示右矩阵经过msModelSlim工具压缩后的一维数据，compressIndex表示压缩算法相关的信息，x2_unzip是接口内部进行无损解压缩后的数据（与原始右矩阵数据一致）。

参数名	输入/输出/属性	描述	数据类型	数据格式
x1	输入张量	矩阵乘的左输入，2维张量。	FLOAT16	ND
x2	输入张量	压缩后的矩阵乘右输入，1维张量。	FLOAT16	ND
compressIndex	输入张量	矩阵乘右输入的压缩索引表，1维张量。	INT8	ND
bias	输入张量	偏置项，支持空指针传入。	FLOAT	ND
out	输出张量	计算结果输出。	FLOAT16	ND

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考