Skip to main content

aclopStopDumpArgs

aclopInferShape​

函数功能​

根据算子的输入Shape、输入值推导出算子的输出Shape。

约束说明​

  • 推导算子的输出Shape包含三种场景：

    • 根据Shape推导，可以得到算子的准确输出Shape，则返回准确输出Shape；
    • 根据Shape推导，无法得到算子的准确输出Shape，但可以得到输出Shape的范围，则在输出参数outputDesc中将算子输出tensor描述中的动态维度的维度值记为-1。该场景下，用户可调用aclGetTensorDescDimRange接口获取tensor描述中指定维度的范围值。
    • （该场景预留）根据Shape推导，无法得到算子的准确输出Shape以及Shape范围，则在输出参数outputDesc中将算子输出tensor描述中的动态维度的维度值记为-2。

  • 如果算子有动态输入DYNAMIC_INPUT或动态输出DYNAMIC_OUTPUT，在调用aclopInferShape接口推导算子的输出Shape前，需先调用aclSetTensorDescName接口设置所有输入和输出的tensor描述的名称，且名称必须按照如下要求（算子IR原型中定义的输入/输出名称请参见《算子清单》。）

    • 对于必选输入、可选输入、必选输出，名称必须与算子IR原型中定义的输入/输出名称保持一致。
    • 对于动态输入、动态输出，名称必须是：算子IR原型中定义的输入/输出名称+编号。编号根据动态输入/输出的个数确定，从0开始，0对应第一个动态输入/输出，1对应第二个动态输入/输出，以此类推。

    例如某个算子有2个输入（第1个是必选输入x，第二个是动态输入y且输入个数为2）、1个必选输出z，则调用aclSetTensorDescName接口设置名称的代码示例如下：

    aclSetTensorDescName(inputTensorDesc[0], "x");
    aclSetTensorDescName(inputTensorDesc[1], "y0");
    aclSetTensorDescName(inputTensorDesc[2], "y1");
    aclSetTensorDescName(outputTensorDesc[0], "z");

函数原型​

aclError aclopInferShape(const char *opType,

int numInputs,

aclTensorDesc *inputDesc[],

aclDataBuffer *inputs[],

int numOutputs,

aclTensorDesc *outputDesc[],

aclopAttr *attr**)**

参数说明​

参数名输入/输出说明
opType输入算子类型名称的指针。
numInputs输入算子输入tensor的数量。
inputDesc输入算子输入tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 inputDesc数组中的元素个数必须与numInputs参数值保持一致。
inputs输入算子输入tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。
numOutputs输入算子输出tensor的数量。
outputDesc输出算子输出tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 outputDesc数组中的元素个数必须与numOutputs参数值保持一致
attr输入算子属性。

返回值说明​

返回0表示成功，返回其它值表示失败。

参考资源​

接口调用示例，参见执行动态Shape算子示例代码。

父主题： 算子加载与执行

aclrtSetOpExecuteTimeOut​

函数功能​

设置算子执行的超时时间。同步接口。

约束说明​

  • 不调用本接口，算子执行的默认超时时间如下：

    版本AI Core算子的默认超时时间AI CPU算子的默认超时时间
    Atlas 200/500 A2推理产品1091秒30秒

  • 一个进程内多次调用本接口，则以最后一次设置的时间为准，允许设置的最大时间如下：

    版本AI Core算子的最大超时时间AI CPU算子的最大超时时间
    Atlas 200/500 A2推理产品1091秒1091秒

函数原型​

aclError aclrtSetOpExecuteTimeOut(uint32_t timeout)

参数说明​

参数名输入/输出说明
timeout输入设置超时时间，单位为秒。 将该参数设置为0时，表示使用默认超时时间。

返回值说明​

返回0表示成功，返回其它值表示失败。

父主题： 算子加载与执行

aclopStartDumpArgs​

函数功能​

调用本接口开启算子信息统计功能，并需与aclopStopDumpArgs接口配合使用，将算子信息文件输出到path参数指定的目录，一个shape对应一个算子信息文件，文件中包含算子类型、算子属性、算子输入&输出的format/数据类型/shape等信息。

**使用场景：**例如要统计某个模型执行涉及哪些算子，可在模型执行之前调用aclopStartDumpArgs接口，在模型执行之后调用aclopStopDumpArgs接口，接口调用成功后，在path参数指定的目录下生成每个算子shape的算子信息文件。

Atlas 200/500 A2推理产品。不支持该接口。

函数原型​

aclError aclopStartDumpArgs(uint32_t dumpType, const char *path)

参数说明​

参数名输入/输出说明
dumpType输入指定dump信息的类型。 当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS，表示统计所有算子信息。
text<br>#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001U<br>
path输入指定dump文件的保存路径，支持绝对路径（指相对应用可执行文件所在的目录）或相对路径，但用户需确保路径存在或者该路径可以被创建。

返回值说明​

返回0表示成功，返回其它值表示失败。

父主题： 算子加载与执行

aclopStopDumpArgs​

函数功能​

调用本接口关闭算子信息统计功能，并需与aclopStartDumpArgs接口配合使用，将算子信息文件输出到path参数指定的目录，一个shape对应一个算子信息文件，文件中包含算子类型、算子属性、算子输入&输出的format/数据类型/shape等信息。

**使用场景：**例如要统计某个模型执行涉及哪些算子，可在模型执行之前调用aclopStartDumpArgs接口，在模型执行之后调用aclopStopDumpArgs接口，接口调用成功后，在path参数指定的目录下生成每个算子shape的算子信息文件。

Atlas 200/500 A2推理产品。不支持该接口。

函数原型​

aclError aclopStopDumpArgs(uint32_t dumpType)

参数说明​

参数名输入/输出说明
dumpType输入指定dump信息的类型。 当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS，表示统计算子信息。 text<br>#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001U<br>

返回值说明​

返回0表示成功，返回其它值表示失败。

父主题： 算子加载与执行

总体说明​

调用本章节接口实现“矩阵-矩阵”或“矩阵-向量”相乘的运算，本章中的接口内部封装了系统内置的矩阵乘算子GEMM，接口调用流程参见单算子调用流程。

按照单算子调用流程，在使用本章节的接口前，需要先使用ATC（Ascend Tensor Compiler）工具将内置的矩阵乘算子GEMM的算子描述信息（包括输入输出Tensor描述、算子属性等）编译成适配昇腾AI处理器的离线模型（*.om文件），用于验证矩阵乘算子GEMM的运行结果。

父主题： CBLAS接口

关于A、B、C矩阵的Shape及内存大小计算公式​

  • A、B、C矩阵是否转置的标记如果设置为ACL_TRANS_N或ACL_TRANS_T，则用户在申请内存存放A、B、C矩阵数据时，实际申请的内存要和实际数据大小匹配，Shape及内存大小的计算公式如下：

    • A矩阵：shape = (m, k)；内存大小 = m*k*sizeof(dataTypeA)
    • B矩阵：shape = (k, n)；内存大小 = k*n*sizeof(dataTypeB)
    • C矩阵：shape = (m, n)；内存大小 = m*n*sizeof(dataTypeC)

  • A、B、C矩阵是否转置的标记如果设置为ACL_TRANS_NZ，表示采用内部数据格式，矩阵Shape为4维，Shape及内存大小的计算公式如下（假设m,k,n分别为原始轴）：

    • 当矩阵A和矩阵B中数据的类型为aclFloat16，在计算实际内存大小时，m、k、n均按16对齐向上取整计算：
      • A矩阵：shape = (⌈k/16⌉, ⌈m/16⌉, 16, 16)；内存大小 = ⌈m/16⌉*16*⌈k/16⌉*16*sizeof(dataTypeA)
      • B矩阵：shape = (⌈n/16⌉, ⌈k/16⌉, 16, 16)；内存大小 = ⌈k/16⌉*16*⌈n/16⌉*16*sizeof(dataTypeB)
      • C矩阵：shape = (⌈n/16⌉, ⌈m/16⌉, 16, 16)；内存大小 = ⌈m/16⌉*16*⌈n/16⌉*16*sizeof(dataTypeC)
    • 当矩阵A和矩阵B中数据的类型为int8_t，在计算实际内存大小时，reduce轴按32对齐向上取整计算，非reduce轴按16对齐向上取整计算：
      • A矩阵：shape = (⌈k/32⌉, ⌈m/16⌉, 16, 32)；内存大小 = ⌈m/16⌉*16*⌈k/32⌉*32*sizeof(dataTypeA)
      • B矩阵：shape = (⌈k/32⌉, ⌈n/16⌉, 32, 16)；内存大小 = ⌈k/32⌉*32*⌈n/16⌉*16*sizeof(dataTypeB)
      • C矩阵：shape = (⌈n/16⌉, ⌈m/16⌉, 16, 16)；内存大小 = ⌈m/16⌉*16*⌈n/16⌉*16*sizeof(dataTypeC)

    :::note 说明 ⌈ ⌉表示向上对齐。 :::

父主题： CBLAS接口

aclblasGemvEx​

函数功能​

执行矩阵-向量的乘法，y = αAx + βy，输入数据、输出数据的数据类型通过入参设置，异步接口。

约束说明​

A、x、y的数据类型支持仅支持以下组合， α和β的数据类型与y一致。

A的数据类型x的数据类型y的数据类型
aclFloat16aclFloat16aclFloat16
aclFloat16aclFloat16float(float32)
int8_tint8_tfloat(float32)
int8_tint8_tint32_t

函数原型​

aclError aclblasGemvEx(aclTransType transA,

int m,

int n,

const void *alpha,

const void *a,

int lda,

aclDataType dataTypeA,

const void *x,

int incx,

aclDataType dataTypeX,

const void *beta,

void *y,

int incy,

aclDataType dataTypeY,

aclComputeType type,

aclrtStream stream);

参数说明​

参数名输入/输出说明
transA输入A矩阵是否转置的标记。
m输入矩阵A的行数，存储矩阵乘数据时，行优先。
n输入矩阵A的列数。
alpha输入用于执行乘操作的标量α的指针。
a输入矩阵A的指针。
lda输入A矩阵的主维，此时选择转置，按行优先，则lda为A的列数。预留参数，当前只能设置为-1。
dataTypeA输入矩阵A的数据类型。
x输入向量x的指针。
incx输入x连续元素之间的步长。 预留参数，当前只能设置为-1。
dataTypeX输入向量x的数据类型。
beta输入用于执行乘操作的标量β的指针。
y输入&输出向量y的指针。
incy输入y连续元素之间的步长。 预留参数，当前只能设置为-1。
dataTypeY输入向量y的数据类型。
type输入计算精度，默认高精度。
stream输入执行算子所在的Stream。

返回值说明​

返回0表示成功，返回其它值表示失败。

参考资源​

接口调用流程，参见单算子调用流程。

父主题： CBLAS接口

在线提单