Skip to main content

V1.7.0及以上版本

V1.7.0及以上版本​

针对Atlas 200/300/500 推理产品、Atlas 200/500 A2推理产品，在V1.6.0基础上，新增了如下接口。

各版本对AscendCL接口的支持情况如下所示，各标识的含义如下：

一级节点

二级节点

三级节点

Atlas 200/500 A2推理产品

算子加载与执行

aclopStartDumpArgs

  

x

aclopStopDumpArgs

  

x

同步等待

aclrtSubscribeHostFunc

  

x

aclrtProcessHostFunc

  

x

aclrtUnSubscribeHostFunc

  

x

单算子API执行

DVPP类算子接口

acldvppNormalize

x

acldvppDecodeJpeg

x

acldvppResize

x

acldvppImgToTensor

x

acldvppAdjustBrightness

x

acldvppAdjustHue

x

acldvppAdjustSaturation

x

acldvppAdjustContrast

x

融合类算子接口

aclnnPromptFlashAttention

x

aclnnIncreFlashAttention

x

aclnnFlashAttentionScore

x

aclnnFlashAttentionScoreGrad

x

aclnnMoeFFN

x

媒体数据处理V2

VPC图像处理功能

hi_mpi_vpc_set_chn_opt_attr

x

Stream管理

aclrtStreamQuery

  

√

内存管理

aclrtReserveMemAddress

  

√

aclrtReleaseMemAddress

  

√

aclrtMallocPhysical

  

√

aclrtFreePhysical

  

√

aclrtMapMem

  

√

aclrtUnmapMem

  

√

Device管理

aclrtQueryDeviceStatus

  

√

父主题： 接口列表

废弃接口/返回码列表​

接口​

返回码​

父主题： AscendCL API参考

aclInit​

函数功能​

AscendCL初始化函数，同步接口。

约束说明​

  • 一个进程内只能调用一次aclInit接口。
  • 使用AscendCL接口开发应用时，必须先调用aclInit接口，否则可能会导致后续系统内部资源初始化出错，进而导致其它业务异常。

函数原型​

aclError aclInit(const char *configPath)

参数说明​

参数名输入/输出说明
configPath输入配置文件所在路径的指针，包含文件名，配置文件内容为json格式（json文件内的“{”的层级最多为10，“[”的层级最多为10）。如果以下的默认配置已满足需求，无需修改，可向aclInit接口中传入NULL，或者可将配置文件配置为空json串（即配置文件中只有{}）。 配置文件格式为json格式，当前支持以下配置：
- Dump信息配置，包括以下配置：
- 模型Dump配置（用于导出模型中每一层算子输入和输出数据）、单算子Dump配置（用于导出单个算子的输入和输出数据），导出的数据用于与指定模型或算子进行比对，定位精度问题，配置示例、说明及约束请参见《精度比对工具使用指南》。默认不启用该dump配置。
- 溢出算子Dump配置（用于导出模型中溢出算子的输入和输出数据），导出的数据用于分析溢出原因，定位模型精度的问题，配置示例、说明及约束请参见配置文件示例（溢出算子Dump配置）。默认不启用该dump配置。预留功能，暂不支持。
- Profiling采集信息配置，示例、配置说明及约束请参见《性能分析工具使用指南》。默认不启用Profiling采集信息配置。
- 算子缓存信息老化配置，为节约内存和平衡调用性能，可通过max_opqueue_num参数配置“算子类型-单算子模型”映射队列的最大长度，如果长度达到最大，则会先删除长期未使用的映射信息以及缓存中的单算子模型，再加载最新的映射信息以及对应的单算子模型。如果不配置映射队列的最大长度，则默认最大长度为20000。示例及约束说明请参见配置文件示例（算子缓存信息老化配置）。
建议不要同时配置dump信息和Profiling采集信息，否则dump操作会影响系统性能，导致Profiling采集的性能数据指标不准确。

返回值说明​

返回0表示成功，返回其它值表示失败。

配置文件示例（溢出算子Dump配置）​

溢出算子Dump配置的相关约束说明如下：

  • 将dump_debug配置为on表示开启溢出算子配置，不配置dump_debug或将dump_debug配置为off表示不开启溢出算子配置。

  • 若开启溢出算子配置，则dump_path必须配置，表示导出数据文件的存储路径。

    支持配置绝对路径或相对路径：

    • 绝对路径配置以“/”开头，例如：/home。
    • 相对路径配置直接以目录名开始，例如：output。

    获取导出的数据文件后，如何解析请参见溢出算子数据采集及分析。

  • 溢出算子Dump配置，不能与模型Dump配置或单算子Dump配置同时开启，否则会返回报错。

配置文件中的示例内容如下：

{
    "dump":{
        "dump_path":"output",
        "dump_debug":"on"
    }
}

配置文件示例（算子缓存信息老化配置）​

算子缓存信息老化配置的相关约束说明如下：

  • 对于静态加载的算子，调用aclopSetModelDir接口加载指定目录下的单算子模型或调用aclopLoad接口加载指定单算子模型时，老化配置无效，不会对该部分的算子信息做老化。

  • 在线编译算子的场景下，调用aclopCompile接口编译算子或调用aclopCompileAndExecute接口编译执行算子时，接口内部会按照入参加载单算子模型，老化配置有效。

    如果用户调用aclopCompile接口编译算子、调用aclopExecuteV2接口执行算子，则在编译算子后需及时执行算子，否则可能导致执行算子时，算子信息已被老化，需要重新编译。建议调用aclopCompileAndExecuteV2接口编译执行算子。

  • AscendCL内部分开维护固定Shape和动态Shape算子的映射队列，最大长度都为max_opqueue_num参数值。

  • max_opqueue_num参数值为静态加载算子的单算子模型个数和在线编译算子的单算子模型个数的总和，因此max_opqueue_num参数值应大于当前进程中可用的、静态加载算子的单算子模型个数，否则会导致在线编译算子的信息无法老化。

配置文件中的示例内容如下：

{
        "max_opqueue_num": "10000"
}

相关接口​

AscendCL还提供了其它使能Dump或Profiling的接口，如下，与aclInit不同的是，以下这些接口相对灵活，可以在一个进程内调用多次接口，每次调用接口时可以基于不同的Dump配置或Profiling配置。

参考资源​

接口调用示例，参见AscendCL初始化与去初始化。

父主题： 系统配置

aclFinalize​

函数功能​

AscendCL去初始化函数，用于释放进程内的AscendCL相关资源，同步接口。

约束说明​

应用的进程退出前，应显式调用该接口实现AscendCL去初始化，否则可能会导致异常，例如应用进程退出时有异常报错。

不建议在析构函数中调用aclFinalize接口，否则在进程退出时可能由于单例析构顺序未知而导致进程异常退出的问题。

函数原型​

aclError aclFinalize()

参数说明​

无

返回值说明​

返回0表示成功，返回其它值表示失败。

参考资源​

接口调用示例，参见AscendCL初始化与去初始化。

父主题： 系统配置

aclrtGetVersion​

函数功能​

查询接口版本号，AscendCL接口版本号命名采用：A.B.C模式，其中，A表示有不兼容修改，B表示新增接口，C表示bug修复。同步接口。

函数原型​

aclError aclrtGetVersion(int32_t *majorVersion, int32_t *minorVersion, int32_t *patchVersion)

参数说明​

参数名输入/输出说明
majorVersion输出主版本号的指针，从1开始，如果出现接口的不兼容变更时，加1。
minorVersion输出次版本号的指针，从0开始，按照迭代周期，有新增接口时加1。
patchVersion输出补丁版本号的指针，从0开始，表示本版本仅仅解决了问题，在majorVersion、minorVersion不变的情况下加1；但majorVersion、minorVersion增加的时候，patchVersion一般为0。

返回值说明​

返回0表示成功，返回其它值表示失败。

父主题： 系统配置

在线提单