Skip to main content

aclopSetCompileFlag

aclopSetCompileFlag​

note

须知

此接口后续版本会废弃，请使用aclSetCompileopt接口设置编译选项。

函数功能​

在编译算子前调用本接口设置算子编译标识，该设置进程级全局共享。

函数原型​

aclError aclopSetCompileFlag(aclOpCompileFlag flag)

参数说明​

参数名输入/输出说明
flag输入用于设置算子编译标识。 如果没有设置flag，则默认按照精确编译。

返回值说明​

返回0表示成功，返回其它值表示失败。

父主题： 算子编译

aclGenGraphAndDumpForOp​

函数功能​

构建单个算子的图并Dump，生成.txt文件。此处的图是指表达算子IR（Intermediate Representation）的结构，图编译过程中由于融合、拆分等原因会导致图不断变换、进而生成新的图，这些变换的目的是为了将用户表达的图适配到昇腾AI处理器上，获得更高性能。

使用场景：算子调优场景下，调用本接口构建单个算子的图并Dump，生成.txt文件，作为算子调优的输入数据之一。

函数原型​

aclError aclGenGraphAndDumpForOp(const char *opType,

int numInputs,

const aclTensorDesc *const inputDesc[],

const aclDataBuffer *const inputs[],

int numOutputs,

const aclTensorDesc *const outputDesc[],

aclDataBuffer *const outputs[],

const aclopAttr *attr,

aclopEngineType engineType,

const char *graphDumpPath,

const aclGraphDumpOption *graphDumpOpt)

参数说明​

参数名输入/输出说明
opType输入指定算子类型名称的指针。
numInputs输入算子输入tensor的数量。
inputDesc输入算子输入tensor的描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 inputDesc数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。
inputs输入算子输入tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 inputs数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。
numOutputs输入算子输出tensor的数量。
outputDesc输入算子输出tensor的描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 outputDesc数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。
outputs输入算子输出tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 outputs数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。
attr输入算子属性的指针。 需提前调用aclopCreateAttr接口创建aclopAttr类型。
engineType输入算子执行引擎。
graphDumpPath输入Dump单算子图所生成的文件（文件名后缀为.txt）的保存路径的指针。 路径需要由用户提前创建，路径中如果不指定文件名，则由AscendCL内部指定文件名。 如果多次Dump时，指定同一个路径，且文件名相同，则最新一次的文件会覆盖之前的文件。
graphDumpOpt输入单算子图的dump选项的指针。 当前该参数预留，仅支持传入nullptr。

返回值说明​

返回0表示成功，返回其它值表示失败。

父主题： 算子编译

aclopSetModelDir​

函数功能​

设置加载模型文件的目录，该模型文件是由单算子编译成的*.om文件，同步接口。

约束说明​

在加载前，请先根据单算子om文件的大小评估内存空间是否足够，内存空间不足，会导致应用程序异常。

Atlas 200/500 A2推理产品，在Host上运行应用时，一个进程内正在执行的算子的最大个数上限是40000000。

函数原型​

aclError aclopSetModelDir(const char *modelDir)

参数说明​

参数名输入/输出说明
modelDir输入模型文件路径的指针。 此处可设置多级目录，但系统最多从多级目录的最后一级开始，读取三级目录下的模型文件。 例如，将modelDir设置为"dir0/dir1"，dir1下的目录层级为“dir2/dir3/dir4”，这时系统只支持读取“dir1”、“dir1/dir2”、“dir1/dir2/dir3”目录下的模型文件。

返回值说明​

返回0表示成功，返回其它值表示失败。

参考资源​

接口调用流程及示例，参见单算子调用。

父主题： 算子加载与执行

aclopLoad​

函数功能​

从内存中加载单算子模型数据（单算子模型数据是指“单算子编译成*.om文件后，再将om文件读取到内存中”的数据），由用户管理内存。同步接口。

约束说明​

Atlas 200/500 A2推理产品，在Host上运行应用时，一个进程内正在执行的算子的最大个数上限是40000000。

函数原型​

aclError aclopLoad(const void *model, size_t modelSize)

参数说明​

参数名输入/输出说明
model输入单算子模型数据的内存地址指针。
modelSize输入内存中的模型数据长度，单位Byte。

返回值说明​

返回0表示成功，返回其它值表示失败。

参考资源​

接口调用流程及示例，参见单算子调用。

父主题： 算子加载与执行

aclopExecute​

note

须知

此接口后续版本会废弃，请使用aclopExecuteV2接口。

函数功能​

异步执行指定的算子。

约束说明​

多线程场景下，不支持调用本接口时指定同一个Stream或使用默认Stream，否则可能任务执行异常。

每个算子的输入、输出组织不同，需要应用在调用时严格按照算子输入、输出参数来组织算子。用户在调用aclopExecute接口时，AscendCL根据optype、输入tensor的描述、输出tensor的描述、attr等信息查找对应的任务，并下发执行。

函数原型​

aclError aclopExecute(const char *opType,

int numInputs,

const aclTensorDesc *const inputDesc[],

const aclDataBuffer *const inputs[],

int numOutputs,

const aclTensorDesc *const outputDesc[],

aclDataBuffer *const outputs[],

const aclopAttr *attr,

aclrtStream stream)

参数说明​

参数名输入/输出说明
opType输入算子类型名称的指针。
numInputs输入算子输入tensor的数量。
inputDesc输入算子输入tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 inputDesc数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。
inputs输入算子输入tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 inputs数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。
numOutputs输入算子输出tensor的数量。 outputDesc数组中的元素个数必须与numOutputs参数值保持一致。
outputDesc输入算子输出tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 outputDesc数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。
outputs输出算子输出tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 outputs数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。
attr输入算子属性的指针。 需提前调用aclopCreateAttr接口创建aclopAttr类型。
stream输入该算子需要加载的stream。

返回值说明​

返回0表示成功，返回其它值表示失败。

父主题： 算子加载与执行

在线提单