关于A、B、C矩阵的Shape及内存大小计算公式

aclopStartDumpArgs

函数功能

调用本接口开启算子信息统计功能，并需与aclopStopDumpArgs接口配合使用，将算子信息文件输出到path参数指定的目录，一个shape对应一个算子信息文件，文件中包含算子类型、算子属性、算子输入&输出的format/数据类型/shape等信息。

**使用场景：**例如要统计某个模型执行涉及哪些算子，可在模型执行之前调用aclopStartDumpArgs接口，在模型执行之后调用aclopStopDumpArgs接口，接口调用成功后，在path参数指定的目录下生成每个算子shape的算子信息文件。

Atlas 200/500 A2推理产品。不支持该接口。

函数原型

aclError aclopStartDumpArgs(uint32_t dumpType, const char *path)

参数说明

参数名	输入/输出	说明
dumpType	输入	指定dump信息的类型。 当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS，表示统计所有算子信息。 text<br>#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001U<br>
path	输入	指定dump文件的保存路径，支持绝对路径（指相对应用可执行文件所在的目录）或相对路径，但用户需确保路径存在或者该路径可以被创建。

返回值说明

返回0表示成功，返回其它值表示失败。

父主题： 算子加载与执行

aclopStopDumpArgs

函数功能

调用本接口关闭算子信息统计功能，并需与aclopStartDumpArgs接口配合使用，将算子信息文件输出到path参数指定的目录，一个shape对应一个算子信息文件，文件中包含算子类型、算子属性、算子输入&输出的format/数据类型/shape等信息。

**使用场景：**例如要统计某个模型执行涉及哪些算子，可在模型执行之前调用aclopStartDumpArgs接口，在模型执行之后调用aclopStopDumpArgs接口，接口调用成功后，在path参数指定的目录下生成每个算子shape的算子信息文件。

Atlas 200/500 A2推理产品。不支持该接口。

函数原型

aclError aclopStopDumpArgs(uint32_t dumpType)

参数说明

参数名	输入/输出	说明
dumpType	输入	指定dump信息的类型。 当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS，表示统计算子信息。 text<br>#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001U<br>

返回值说明

返回0表示成功，返回其它值表示失败。

父主题： 算子加载与执行

总体说明

调用本章节接口实现“矩阵-矩阵”或“矩阵-向量”相乘的运算，本章中的接口内部封装了系统内置的矩阵乘算子GEMM，接口调用流程参见单算子调用流程。

按照单算子调用流程，在使用本章节的接口前，需要先使用ATC（Ascend Tensor Compiler）工具将内置的矩阵乘算子GEMM的算子描述信息（包括输入输出Tensor描述、算子属性等）编译成适配昇腾AI处理器的离线模型（*.om文件），用于验证矩阵乘算子GEMM的运行结果。

父主题： CBLAS接口

关于A、B、C矩阵的Shape及内存大小计算公式

• A、B、C矩阵是否转置的标记如果设置为ACL_TRANS_N或ACL_TRANS_T，则用户在申请内存存放A、B、C矩阵数据时，实际申请的内存要和实际数据大小匹配，Shape及内存大小的计算公式如下：

  • A矩阵：shape = (m, k)；内存大小 = m*k*sizeof(dataTypeA)
  • B矩阵：shape = (k, n)；内存大小 = k*n*sizeof(dataTypeB)
  • C矩阵：shape = (m, n)；内存大小 = m*n*sizeof(dataTypeC)

• A、B、C矩阵是否转置的标记如果设置为ACL_TRANS_NZ，表示采用内部数据格式，矩阵Shape为4维，Shape及内存大小的计算公式如下（假设m,k,n分别为原始轴）：

  • 当矩阵A和矩阵B中数据的类型为aclFloat16，在计算实际内存大小时，m、k、n均按16对齐向上取整计算：
    • A矩阵：shape = (⌈k/16⌉, ⌈m/16⌉, 16, 16)；内存大小 = ⌈m/16⌉*16*⌈k/16⌉*16*sizeof(dataTypeA)
    • B矩阵：shape = (⌈n/16⌉, ⌈k/16⌉, 16, 16)；内存大小 = ⌈k/16⌉*16*⌈n/16⌉*16*sizeof(dataTypeB)
    • C矩阵：shape = (⌈n/16⌉, ⌈m/16⌉, 16, 16)；内存大小 = ⌈m/16⌉*16*⌈n/16⌉*16*sizeof(dataTypeC)
  • 当矩阵A和矩阵B中数据的类型为int8_t，在计算实际内存大小时，reduce轴按32对齐向上取整计算，非reduce轴按16对齐向上取整计算：
    • A矩阵：shape = (⌈k/32⌉, ⌈m/16⌉, 16, 32)；内存大小 = ⌈m/16⌉*16*⌈k/32⌉*32*sizeof(dataTypeA)
    • B矩阵：shape = (⌈k/32⌉, ⌈n/16⌉, 32, 16)；内存大小 = ⌈k/32⌉*32*⌈n/16⌉*16*sizeof(dataTypeB)
    • C矩阵：shape = (⌈n/16⌉, ⌈m/16⌉, 16, 16)；内存大小 = ⌈m/16⌉*16*⌈n/16⌉*16*sizeof(dataTypeC)

  :::note 说明 ⌈ ⌉表示向上对齐。 :::

父主题： CBLAS接口

aclblasGemvEx

函数功能

执行矩阵-向量的乘法，y = αAx + βy，输入数据、输出数据的数据类型通过入参设置，异步接口。

约束说明

A、x、y的数据类型支持仅支持以下组合， α和β的数据类型与y一致。

A的数据类型	x的数据类型	y的数据类型
aclFloat16	aclFloat16	aclFloat16
aclFloat16	aclFloat16	float(float32)
int8_t	int8_t	float(float32)
int8_t	int8_t	int32_t

函数原型

aclError aclblasGemvEx(aclTransType transA,

int m,

int n,

const void *alpha,

const void *a,

int lda,

aclDataType dataTypeA,

const void *x,

int incx,

aclDataType dataTypeX,

const void *beta,

void *y,

int incy,

aclDataType dataTypeY,

aclComputeType type,

aclrtStream stream);

参数说明

参数名	输入/输出	说明
transA	输入	A矩阵是否转置的标记。
m	输入	矩阵A的行数，存储矩阵乘数据时，行优先。
n	输入	矩阵A的列数。
alpha	输入	用于执行乘操作的标量α的指针。
a	输入	矩阵A的指针。
lda	输入	A矩阵的主维，此时选择转置，按行优先，则lda为A的列数。预留参数，当前只能设置为-1。
dataTypeA	输入	矩阵A的数据类型。
x	输入	向量x的指针。
incx	输入	x连续元素之间的步长。 预留参数，当前只能设置为-1。
dataTypeX	输入	向量x的数据类型。
beta	输入	用于执行乘操作的标量β的指针。
y	输入&输出	向量y的指针。
incy	输入	y连续元素之间的步长。 预留参数，当前只能设置为-1。
dataTypeY	输入	向量y的数据类型。
type	输入	计算精度，默认高精度。
stream	输入	执行算子所在的Stream。

返回值说明

返回0表示成功，返回其它值表示失败。

参考资源

接口调用流程，参见单算子调用流程。

父主题： CBLAS接口

aclblasCreateHandleForGemvEx

函数功能

创建矩阵-向量乘的handle，输入数据、输出数据的数据类型通过入参设置，同步接口。

创建handle成功后，需调用aclopExecWithHandle接口执行算子。

约束说明

A、x、y的数据类型支持仅支持以下组合：

A的数据类型	x的数据类型	y的数据类型
aclFloat16	aclFloat16	aclFloat16
aclFloat16	aclFloat16	float(float32)
int8_t	int8_t	float(float32)
int8_t	int8_t	int32_t

函数原型

aclError aclblasCreateHandleForGemvEx(****aclTransType transA,

int m,

int n,

aclDataType dataTypeA,

aclDataType dataTypeX,

aclDataType dataTypeY,

aclComputeType type,

aclopHandle **handle)

参数说明

参数名	输入/输出	说明
transA	输入	A矩阵是否转置的标记。
m	输入	矩阵A的行数，存储矩阵乘数据时，行优先。
n	输入	矩阵A的列数。
dataTypeA	输入	矩阵A的数据类型。
dataTypeX	输入	向量x的数据类型。
dataTypeY	输入	向量y的数据类型。
type	输入	计算精度，默认高精度。
handle	输出	“算子执行handle的指针”的指针。

返回值说明

返回0表示成功，返回其它值表示失败。

父主题： CBLAS接口

aclblasHgemv

函数功能

执行矩阵-向量的乘法，y = αAx + βy，输入数据和输出数据的数据类型为**aclFloat16**，异步接口：

函数原型

aclError aclblasHgemv(****aclTransType transA,

int m,

int n,

const aclFloat16 *alpha,

const aclFloat16 *a,

int lda,

const aclFloat16 *x,

int incx,

const aclFloat16 *beta,

aclFloat16 *y,

int incy,

aclComputeType type,

aclrtStream stream)

参数说明

参数名	输入/输出	说明
transA	输入	A矩阵是否转置的标记。
m	输入	矩阵A的行数，存储矩阵乘数据时，行优先。
n	输入	矩阵A的列数。
alpha	输入	用于执行乘操作的标量α的指针。
a	输入	矩阵A的指针。
lda	输入	A矩阵的主维，此时选择转置，按行优先，则lda为A的列数。预留参数，当前只能设置为-1。
x	输入	向量x的指针。
incx	输入	x连续元素之间的步长。 预留参数，当前只能设置为-1。
beta	输入	用于执行乘操作的标量β的指针。
y	输入&输出	向量y的指针。
incy	输入	y连续元素之间的步长。 预留参数，当前只能设置为-1。
type	输入	计算精度，默认高精度。
stream	输入	执行算子所在的Stream。

返回值说明

返回0表示成功，返回其它值表示失败。

参考资源

接口调用流程，参见单算子调用流程。

父主题： CBLAS接口

在线提单