函数：set_dynamic_hw_size
函数：query_size_from_mem
| C函数原型 | aclError aclmdlQuerySizeFromMem(const void *model, size_t modelSize, size_t *workSize, size_t *weightSize) |
|---|---|
| Python函数 | work_size, weight_size, ret = acl.mdl.query_size_from_mem(model, model_size) |
| 函数功能 | 根据内存中的模型数据获取模型执行时所需的权值内存大小、内存大小，同步接口。 |
| 输入说明 | model：int，需要获取内存信息的模型数据对应的指针地址。 model_size：int，模型数据长度，单位Byte。 |
| 返回值说明 | work_size：int，模型执行时所需的工作内存的大小，单位Byte。 weight_size：int，模型执行时所需权值内存的大小，单位Byte。 ret：int，错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | 执行和权重内存为Device内存，而且需要用户申请和释放。 |
父主题： 模型加载与执行
函数：set_dynamic_batch_size
| C函数原型 | aclError aclmdlSetDynamicBatchSize(uint32_t modelId, aclmdlDataset *dataset, size_t index, uint64_t batchSize) |
|---|---|
| Python函数 | ret = acl.mdl.set_dynamic_batch_size(model_id, dataset, index, batch_size) |
| 函数功能 | 在动态Batch场景下，在模型执行前调用本接口设置模型推理时的批量大小Batch（每次处理图片的数量）。 |
| 输入说明 | model_id：int，模型ID。 调用acl.mdl.load_from_file接口/acl.mdl.load_from_mem接口/acl.mdl.load_from_file_with_mem接口/acl.mdl.load_from_mem_with_mem接口加载模型成功后，会返回模型ID。 dataset：int，表示模型的输入数据对应的指针地址。 使用aclmdlDataset类型的数据描述模型推理时的输入数据，输入的内存地址、内存大小用aclDataBuffer类型的数据来描述。 index：int，标识动态Batch输入的输入index，需调用acl.mdl.get_input_index_by_name接口获取，动态Batch和动态分辨率输入的名称固定为“ascend_mbatch_shape_data”，动态AIPP输入的名称固定为“ascend_dynamic_aipp_data”。 batch_size：int，指定模型推理时的批量大小Batch。 可以调用acl.mdl.get_dynamic_batch接口获取指定模型支持的Batch档位数以及每一档中的Batch数。 |
| 返回值说明 | ret：int，错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | 无 |
| 参考资源 | 接口调用流程与示例，参见动态Batch/动态分辨率/动态维度（设置多档维度值）。 |
父主题： 模型加载与执行
函数：set_dynamic_hw_size
| C函数原型 | aclError aclmdlSetDynamicHWSize(uint32_t modelId, aclmdlDataset *dataset, size_t index, uint64_t height, uint64_t width) |
|---|---|
| Python函数 | ret = acl.mdl.set_dynamic_hw_size(model_id, dataset, index, height, width) |
| 函数功能 | 设置模型推理时输入图片的高和宽。 |
| 输入说明 | model_id：int，模型ID。 调用acl.mdl.load_from_file接口/acl.mdl.load_from_mem接口/acl.mdl.load_from_file_with_mem接口/acl.mdl.load_from_mem_with_mem接口加载模型成功后，会返回模型ID。 dataset：表示模型的输入数据。 使用aclmdlDataset类型的数据描述模型推理时的输入数据，输入的内存地址、内存大小用aclDataBuffer类型的数据来描述。 index：int，标识动态Batch输入的输入index，需调用acl.mdl.get_input_index_by_name接口获取，动态Batch和动态分辨率输入的名称固定为“ascend_mbatch_shape_data”，动态AIPP输入的名称固定为“ascend_dynamic_aipp_data”。 height：int，需设置的H值。 width：int，需设置的W值。 可以调用acl.mdl.get_dynamic_hw接口获取指定模型支持的分辨率档位数以及每一档中的宽、高。 |
| 返回值说明 | ret：int，错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | 无 |
| 参考资源 | 接口调用流程与示例，参见动态Batch/动态分辨率/动态维度（设置多档维度值）。 |
父主题： 模型加载与执行
函数：create_and_get_op_desc
| C函数原型 | aclError aclmdlCreateAndGetOpDesc(uint32_t deviceId, uint32_t streamId, uint32_t taskId, char *opName, size_t opNameLen, aclTensorDesc **inputDesc, size_t *numInputs, aclTensorDesc **outputDesc, size_t *numOutputs) |
|---|---|
| Python函数 | op_name, input_desc, num_inputs, output_desc, num_outputs, ret = acl.mdl.create_and_get_op_desc(device_id, stream_id, task_id, op_name_len) |
| 函数功能 | 获取指定算子的描述信息，包括算子名、输入Tensor描述、输出Tensor描述，如果查询不到指定算子，则返回报错。同步接口。 |
| 输入说明 | device_id：int，指定Device ID。 调用acl.rt.get_device_id_from_exception_info接口获取异常信息中的Device ID，作为本接口的输入。 stream_id：int，指定Stream ID。 调用acl.rt.get_stream_id_from_exception_info接口获取异常信息中的Stream ID，作为本接口的输入。 task_id：int，指定Task ID。 调用acl.rt.****get_task_id_from_exception_info接口获取异常信息中的Task ID，作为本接口的输入。 op_name_len：int，算子名称字符串长度。 若用户指定的长度比实际算子名称的长度短，则返回报错。 |
| 返回值说明 | op_name：string，算子名称字符串。 input_desc：int，算子所有输入的Tensor描述，指向一块连续内存的首地址。 num_inputs：int，输入个数。 output_desc：int，算子所有输出的Tensor描述，指向一块连续内存的首地址。 num_outputs：int，输出个数。 ret：int，错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | 使用场景****举例：执行整网模型推理时（不支持动态Shape场景），如果产生AI Core报错，可以调用本接口获取报错算子的描述信息，再做进一步错误排查。 推荐的接口调用顺序如下： 1. 定义并实现异常回调函数fn(aclrtExceptionInfoCallback类型)，回调函数原型请参见acl.rt.set_exception_info_callback。 实现回调函数的关键步骤如下： 1. 在异常回调函数fn内调用acl.rt.get_device_id_from_exception_info、acl.rt.get_stream_id_from_exception_info、acl.rt.get_task_id_from_exception_info接口分别获取Device ID、Stream ID、Task ID。 2. 在异常回调函数fn内调用acl.mdl.create_and_get_op_desc接口获取算子的描述信息。 3. 在异常回调函数fn内调用acl.get_tensor_desc_by_index接口获取指定算子输入/输出的Tensor描述。 4. 在异常回调函数fn内如下接口获取Tensor描述中的数据，进行进一步分析。 例如，调用acl.get_tensor_desc_address接口获取Tensor数据的内存地址（用户可从该内存地址中获取Tensor数据）、调用acl.get_tensor_desc_type接口获取Tensor描述中的数据类型、调用acl.get_tensor_desc_format接口获取Tensor描述中的Format、调用acl.get_tensor_desc_num_dims接口获取Tensor描述中的Shape维度个数、调用acl.get_tensor_desc_dim_v2接口获取Shape中指定维度的大小。 2. 调用acl.rt.set_exception_info_callback接口设置异常回调函数。 3. 执行模型推理。 如果存在AI Core报错，则触发回调函数fn，获取算子的信息，进行进一步分析。 |
| 参考资源 | 接口调用示例，参见AI Core异常信息获取。 |
父主题： 模型加载与执行
函数：init_dump
| C函数原型 | aclError aclmdlInitDump() |
|---|---|
| Python函数 | ret = acl.mdl.init_dump() |
| 函数功能 | Dump初始化。同步接口。 |
| 输入说明 | 无 |
| 返回值说明 | ret：int，错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | - acl.mdl.init_dump接口需要与acl.mdl.set_dump接口、acl.mdl.finalize_dump接口配合使用，用于将Dump数据记录到文件中。一个进程内，可以根据需求多次调用这些接口，基于不同的Dump配置信息，获取Dump数据。 - 场景举例： - 两次模型执行，需要设置不同的的Dump配置信息，接口调用顺序：acl.init接口-->acl.mdl.init_dump接口-->acl.mdl.set_dump接口-->模型加载-->模型执行-->acl.mdl.finalize_dump接口-->模型卸载-->acl.mdl.init_dump接口-->acl.mdl.set_dump接口-->模型加载-->模型执行-->acl.mdl.finalize_dump接口-->模型卸载-->执行其它任务-->acl.finalize接口 - 同一个模型执行两次，第一次需要Dump，第二次无需Dump，接口调用顺序：acl.init接口-->acl.mdl.init_dump接口-->acl.mdl.set_dump接口-->模型加载-->模型执行-->acl.mdl.finalize_dump接口-->模型卸载-->模型加载-->模型执行-->执行其它任务-->acl.finalize接口 - 如果已经通过acl.init接口配置了dump信息，则调用acl.mdl.init_dump接口时会返回失败。 - 必须在调用acl.init接口之后、模型加载接口之前调用acl.mdl.init_dump接口。 |
| 相关接口 | pyACL还提供了acl.init接口，在pyACL初始化阶段，通过*.json文件传入Dump配置信息，运行应用后获取Dump数据的方式。该种方式，一个进程内，只能调用一次acl.init接口，如果要修改Dump配置信息，需修改*.json文件中的配置。 |
父主题： 模型加载与执行
函数：set_dump
| C函数原型 | aclError aclmdlSetDump(const char *dumpCfgPath) |
|---|---|
| Python函数 | ret = acl.mdl.set_dump(dump_cfg_path) |
| 函数功能 | 设置dump参数。同步接口。 |
| 输入说明 | dump_cfg_path：string，配置文件所在的路径，包含文件名。 配置文件格式为JSON格式，当前可配置dump数据的相关信息，示例请参见配置文件示例，详细配置说明请参见《精度比对工具使用指南》中的“比对数据准备>准备离线模型dump数据文件”。如果不涉及配置信息，需向acl.mdl.set_dump接口中不加参数。 |
| 返回值说明 | ret：int，错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | - acl.mdl.init_dump接口需要与acl.mdl.set_dump接口、acl.mdl.finalize_dump接口配合使用，用于将Dump数据记录到文件中。一个进程内，可以根据需求多次调用这些接口，基于不同的Dump配置信息，获取Dump数据。 - 场景举例： - 两次模型执行，需要设置不同的的Dump配置信息，接口调用顺序：acl.init接口-->acl.mdl.init_dump接口-->acl.mdl.set_dump接口-->模型加载-->模型执行-->acl.mdl.finalize_dump接口-->模型卸载-->acl.mdl.init_dump接口-->acl.mdl.set_dump接口-->模型加载-->模型执行-->acl.mdl.finalize_dump接口-->模型卸载-->执行其它任务-->acl.finalize接口 - 同一个模型执行两次，第一次需要Dump，第二次无需Dump，接口调用顺序：acl.init接口-->acl.mdl.init_dump接口-->acl.mdl.set_dump接口-->模型加载-->模型执行-->acl.mdl.finalize_dump接口-->模型卸载-->模型加载-->模型执行-->执行其它任务-->acl.finalize接口 - 如果已经通过acl.init接口配置了dump信息，则调用acl.mdl.init_dump接口时会返回失败。 - 必须在调用acl.init接口之后、模型加载接口之前调用acl.mdl.init_dump接口。 |
| 相关接口 | pyACL还提供了acl.init接口，在pyACL初始化阶段，通过*.json文件传入Dump配置信息，运行应用后获取Dump数据的方式。该种方式，一个进程内，只能调用一次acl.init接口，如果要修改Dump配置信息，需修改*.json文件中的配置。 |
配置文件示例
以Caffe ResNet-50网络为例，若需要比对Caffe ResNet-50网络与基于Caffe ResNet-50转换成的适配昇腾AI处理器的离线模型中某些层算子的输出结果，可以在配置文件中配置如下内容：
{
"dump":{
"dump_list":[
{
"model_name":"ResNet-50",
"layer":[
"conv1conv1_relu",
"res2a_branch2ares2a_branch2a_relu",
"res2a_branch1",
"pool1"
]
}
],
"dump_path":"/home/HwHiAiUser/ide_daemon/dump",
"dump_mode":"output"
}
}
父主题： 模型加载与执行
在线提单