aclopStartDumpArgs
aclopInferShape
函数功能
根据算子的输入Shape、输入值推导出算子的输出Shape。
约束说明
-
推导算子的输出Shape包含三种场景:
- 根据Shape推导,可以得到算子的准确输出Shape,则返回准确输出Shape;
- 根据Shape推导,无法得到算子的准确输出Shape,但可以得到输出Shape的范围,则在输出参数outputDesc中将算子输出tensor描述中的动态维度的维度值记为-1。该场景下,用户可调用aclGetTensorDescDimRange接口获取tensor描述中指定维度的范围值。
- (该场景预留)根据Shape推导,无法得到算子的准确输出Shape以及Shape范围,则在输出参数outputDesc中将算子输出tensor描述中的动态维度的维度值记为-2。
-
如果算子有动态输入DYNAMIC_INPUT或动态输出DYNAMIC_OUTPUT,在调用aclopInferShape接口推导算子的输出Shape前,需先调用aclSetTensorDescName接口设置所有输入和输出的tensor描述的名称,且名称必须按照如下要求(算子IR原型中定义的输入/输出名称请参见《算子清单》。)
- 对于必选输入、可选输入、必选输出,名称必须与算子IR原型中定义的输入/输出名称保持一致。
- 对于动态输入、动态输出,名称必须是:算子IR原型中定义的输入/输出名称+编号。编号根据动态输入/输出的个数确定,从0开始,0对应第一个动态输入/输出,1对应第二个动态输入/输出,以此类推。
例如某个算子有2个输入(第1个是必选输入x,第二个是动态输入y且输入个数为2)、1个必选输出z,则调用aclSetTensorDescName接口设置名称的代码示例如下:
aclSetTensorDescName(inputTensorDesc[0], "x");aclSetTensorDescName(inputTensorDesc[1], "y0");aclSetTensorDescName(inputTensorDesc[2], "y1");aclSetTensorDescName(outputTensorDesc[0], "z");
函数原型
aclError aclopInferShape(const char *opType,
int numInputs,
aclTensorDesc *inputDesc[],
aclDataBuffer *inputs[],
int numOutputs,
aclTensorDesc *outputDesc[],
aclopAttr *attr**)**
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| opType | 输入 | 算子类型名称的指针。 |
| numInputs | 输入 | 算子输入tensor的数量。 |
| inputDesc | 输入 | 算子输入tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 inputDesc数组中的元素个数必须与numInputs参数值保持一致。 |
| inputs | 输入 | 算子输入tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 |
| numOutputs | 输入 | 算子输出tensor的数量。 |
| outputDesc | 输出 | 算子输出tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 outputDesc数组中的元素个数必须与numOutputs参数值保持一致 |
| attr | 输入 | 算子属性。 |
返回值说明
返回0表示成功,返回其它值表示失败。
参考资源
接口调用示例,参见执行动态Shape算子示例代码。
父主题: 算子加载与执行
aclrtSetOpExecuteTimeOut
函数功能
设置算子执行的超时时间。同步接口。
约束说明
-
不调用本接口,算子执行的默认超时时间如下:
版本 AI Core算子的默认超时时间 AI CPU算子的默认超时时间 Atlas 200/500 A2推理产品 1091秒 30秒 -
一个进程内多次调用本接口,则以最后一次设置的时间为准,允许设置的最大时间如下:
版本 AI Core算子的最大超时时间 AI CPU算子的最大超时时间 Atlas 200/500 A2推理产品 1091秒 1091秒
函数原型
aclError aclrtSetOpExecuteTimeOut(uint32_t timeout)
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| timeout | 输入 | 设置超时时间,单位为秒。 将该参数设置为0时,表示使用默认超时时间。 |
返回值说明
返回0表示成功,返回其它值表示失败。
父主题: 算子加载与执行
aclopStartDumpArgs
函数功能
调用本接口开启算子信息统计功能,并需与aclopStopDumpArgs接口配合使用,将算子信息文件输出到path参数指定的目录,一个shape对应一个算子信息文件,文件中包含算子类型、算子属性、算子输入&输出的format/数据类型/shape等信息。
**使用场景:**例如要统计某个模型执行涉及哪些算子,可在模型执行之前调用aclopStartDumpArgs接口,在模型执行之后调用aclopStopDumpArgs接口,接口调用成功后,在path参数指定的目录下生成每个算子shape的算子信息文件。
Atlas 200/500 A2推理产品。不支持该接口。
函数原型
aclError aclopStartDumpArgs(uint32_t dumpType, const char *path)
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| dumpType | 输入 | 指定dump信息的类型。 当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS,表示统计所有算子信息。 text<br>#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001U<br> |
| path | 输入 | 指定dump文件的保存路径,支持绝对路径(指相对应用可执行文件所在的目录)或相对路径,但用户需确保路径存在或者该路径可以被创建。 |
返回值说明
返回0表示成功,返回其它值表示失败。
父主题: 算子加载与执行
aclopStopDumpArgs
函数功能
调用本接口关闭算子信息统计功能,并需与aclopStartDumpArgs接口配合使用,将算子信息文件输出到path参数指定的目录,一个shape对应一个算子信息文件,文件中包含算子类型、算子属性、算子输入&输出的format/数据类型/shape等信息。
**使用场景:**例如要统计某个模型执行涉及哪些算子,可在模型执行之前调用aclopStartDumpArgs接口,在模型执行之后调用aclopStopDumpArgs接口,接口调用成功后,在path参数指定的目录下生成每个算子shape的算子信息文件。
Atlas 200/500 A2推理产品。不支持该接口。
函数原型
aclError aclopStopDumpArgs(uint32_t dumpType)
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| dumpType | 输入 | 指定dump信息的类型。 当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS,表示统计算子信息。 text<br>#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001U<br> |
返回值说明
返回0表示成功,返回其它值表示失败。
父主题: 算子加载与执行
总体说明
调用本章节接口实现“矩阵-矩阵”或“矩阵-向量”相乘的运算,本章中的接口内部封装了系统内置的矩阵乘算子GEMM,接口调用流程参见单算子调用流程。
按照单算子调用流程,在使用本章节的接口前,需要先使用ATC(Ascend Tensor Compiler)工具将内置的矩阵乘算子GEMM的算子描述信息(包括输入输出Tensor描述、算子属性等)编译成适配昇腾AI处理器的离线模型(*.om文件),用于验证矩阵乘算子GEMM的运行结果。
父主题: CBLAS接口
在线提单