Skip to main content

ModelInference

Init​

函数功能​

用于完成模型推理初始化。

函数原型​

APP_ERROR Init (std::string modelPath, ModelDesc& modelDesc);
APP_ERROR Init (const std::string& modelPath);

参数说明​

参数名输入/输出说明
modelPath输入模型文件路径。 路径上的模型要求属主为当前用户，权限不大于640。 最大只支持至4GB大小的模型。
modelDesc输出模型描述信息。

返回参数说明​

数据结构说明
APP_ERROR程序执行返回的错误码，请参考APP_ERROR说明。

父主题： ModelInferenceProcessor

DeInit​

函数功能​

用于模型推理的去初始化，完成资源释放。

函数原型​

APP_ERROR DeInit (void);

返回参数说明​

数据结构说明
APP_ERROR程序执行返回的错误码，请参考APP_ERROR说明。

父主题： ModelInferenceProcessor

ModelInference​

函数功能​

用于执行模型推理。需要先执行Init方法初始化模型。

函数原型​

APP_ERROR ModelInference (  
    std::vector<BaseTensor>& inputTensors,  
    std::vector<BaseTensor>& outputTensors,  
    size_t dynamicBatchSize = 0  
);
APP_ERROR ModelInference (  
    std::vector<BaseTensor>& inputTensors,  
    std::vector<BaseTensor>& outputTensors,  
    DynamicInfo dynamicInfo  
);
APP_ERROR ModelInference (  
    const std::vector<TensorBase>& inputTensors,  
    std::vector<TensorBase>& outputTensors,  
    DynamicInfo dynamicInfo 
);

参数说明​

参数名输入/输出说明
inputTensors输入输入张量，模型推理的输入数据。
outputTensors输出输出张量，模型推理的输出数据。
dynamicBatchSize输入指定模型推理时的批量大小Batch。
dynamicInfo输入动态Batch的信息。

返回参数说明​

数据结构说明
APP_ERROR程序执行返回的错误码，请参考APP_ERROR说明。

父主题： ModelInferenceProcessor

GetModelDesc​

函数功能​

用于获得模型描述信息。

函数原型​

const ModelDesc& GetModelDesc() const;

返回参数说明​

数据结构说明
ModelDesc具体请参考ModelDesc。

父主题： ModelInferenceProcessor

GetDataFormat​

函数功能​

用于获得数据格式。

函数原型​

DataFormat GetDataFormat() const;

返回参数说明​

数据结构说明
DataFormat具体请参考DataFormat。

父主题： ModelInferenceProcessor

GetDynamicType​

函数功能​

用于获得数据动态类型，包括静态BatchSize，动态BatchSize以及ImageSize（分辨率）。

函数原型​

DynamicType GetDynamicType() const;

返回参数说明​

数据结构说明
DynamicType具体请参考DynamicType。

父主题： ModelInferenceProcessor

在线提单