跳到主要内容

多Device场景

动态Shape算子（不注册算子选择器）​

基本原理​

对于支持动态Shape的算子：

示例代码​

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

import acl
## ......

## 此处算子输入tensor数据的内存必须根据应用运行模式来确定，应用运行在Host时，此处需申请Host上的内存。
## 应用运行在Device时，此处需申请Device上的内存。
ret = acl.op.infer_shape(op_type, self.in_desc_list, self.in_list, num_outputs, self.out_desc_list, self.attr)

tensor_dims = []
## 循环算子的每一个输出，推导或预估Shape值：
for i in range(len(infer_desc_list)):
    dim_nums = acl.get_tensor_desc_num_dims(infer_desc_list[i])
    dim_size = []
    for j in range(dim_nums):
        dim, ret = acl.get_tensor_desc_dim_v2(infer_desc_list[i], j)
        # 表示动态Shape场景下维度值是动态的。
        if dim == -1:
            # 获取Shape范围，使用该范围的Shape最大值来构造输出tensor_desc，作为acl.op.execute_v2的输入。
            dim_range, ret = acl.get_tensor_desc_dim_range(infer_desc_list[i], j, 2)
            dim = dim_range[1]
        dim_size.append(dim)
    tensor_dims.append(dim_size)

## 以上给出了执行算子时输出的shape，根据tensor_dims中的dims构造输出tensor_desc（即self.out_desc_list参数值），用于调用acl.op.execute_v2。
ret = acl.op.execute_v2(op_type, self.in_desc_list, self.in_list, self.out_desc_list, self.out_list, self.attr, self.stream)

out_tensor_dims = []
## 针对上面用户预估Shape值以及使用Shape范围中的最大Shape的场景，设在算子执行结束后，需增加下面的调用，获取准确的shape。
for i in range(len(self.out_desc_list)):
    dim_nums = acl.get_tensor_desc_num_dims(self.out_desc_list[i])
    dim_size = []
    for j in range(dim_nums):
        dim, ret = acl.get_tensor_desc_dim_v2(self.out_desc_list[i], j)
        dim_size.append(dim)
    out_tensor_dims.append(dim_size)

## ......

父主题： 单算子调用

内存二次分配管理​

用户内存管理有两种管理方式：

  • 独立内存管理，根据需要单独申请所需的内存，内存不做拆分或者二次分配。
  • 内存池管理内存，用户一次性申请一块较大内存，并在使用时从这块较大内存中二次分配所需内存。

在内存二次分配时，请使用如下接口从内存池申请对应内存。由于各接口对申请的内存地址、大小有约束，在内存池管理时，需要对该情况关注处理，否则容易出现内存越界。

内存管理的总体说明请参见总体说明。

接口用途输入内存/输出内存
acl.rt.memcpy_async实现异步内存复制。调用本接口进行内存复制时，源地址和目的地址都必须64字节对齐。
acl.rt.malloc在Device上申请size大小的线性内存，该接口对用户申请的size向上对齐成32字节整数倍后再多加32字节，并通过“dev_ptr”返回已分配内存的指针地址。若用户使用本接口申请大块内存并自行划分、管理内存时，每段内存需同时满足以下需求：
- 内存大小向上对齐成32整数倍加32字节（m = ALIGN_UP[len, 32] + 32字节）。
- 内存起始地址需满足64字节对齐（ALIGN_UP[m, 64]）。
（说明：len 表示某段内存的大小，ALIGN_UP[len, k]表示向上按k字节对齐：((len - 1) / k + 1) * k。）
acl.rt.malloc_host应用在Device上运行时，调用该接口申请的是Device内存，且Device上的内存按普通页申请，如需首地址64字节对齐，需要用户自行处理对齐。同步接口。若用户使用本接口申请大块内存并自行划分、管理内存时，每段内存需同时满足以下需求：
- 内存大小向上对齐成32整数倍加32字节（m = ALIGN_UP[len, 32] + 32字节）。
- 内存起始地址需满足64字节对齐（ALIGN_UP[m, 64]）。
（说明：len 表示某段内存的大小，ALIGN_UP[len, k]表示向上按k字节对齐：((len - 1) / k + 1) * k。）
acl.rt.malloc_cached申请Device上的内存，同步接口，该接口在任何场景下申请的内存都是支持cache缓存。在Device上申请size大小的线性内存，通过dev_ptr返回已分配内存的指针地址。其它约束与acl.rt.malloc接口相同。

计算机视觉领域一般涉及使用媒体数据处理功能，因此会涉及以上多种内存申请接口。内存首地址涉及64字节或128字节对齐，为方便统一管理，内存首地址对齐值建议选取较大项，比如内存首地址128字节对齐。

关于媒体数据处理时自行管理内存时的典型场景如下，媒体数据处理的功能点介绍请参见媒体数据处理V1。

图1 VDEC场景

图2 JPEGD场景

父主题： 扩展更多特性

多Device场景​

开发应用时，如果涉及多Device之间的任务等待，则应用程序中必须包含相关的代码逻辑。关于该场景的接口调用流程，请依次参见pyACL接口调用流程以及本节中的说明。

图1 同步等待流程_多Device场景

父主题： 扩展更多特性

多模型串联推理​

多模型推理的基本流程与单模型类似，请参见模型推理基本场景。

多模型推理与单模型推理的不同点如下：

  • 关于模型加载，如果涉及多个模型，需调用多次模型加载接口。模型加载请参见模型加载。

  • 关于模型执行，如果涉及多个模型，需调用多次模型执行接口。模型执行请参见模型执行。

    例如，调用acl.mdl.execute接口实现同步模型推理。

父主题： 扩展更多特性

多Batch模型推理​

多Batch推理的基本流程与单Batch类似，请参见模型推理基本场景。

多Batch推理与单Batch推理的不同点在于：

  • 多Batch场景下，在构建模型时，使用ATC工具的input_shape参数需设置具体的Batch数，详细说明请参见《ATC工具使用指南》。
  • 在推理前，需要编写一段代码逻辑：等输入数据满足多Batch（例如：8Batch）的要求，申请Device上的内存存放多Batch的数据，作为模型推理的输入。如果最后循环遍历所有的输入数据后，仍不满足多Batch的要求，则直接将剩余数据作为模型推理的输入。

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考，此处以8Batch为例：

<br> 1<br> 2<br> 3<br> 4<br> 5<br> 6<br> 7<br> 8<br> 9<br>10<br>11<br>12<br>13<br>14<br>15<br>16<br>17<br>18<br>19<br>20<br>21<br>22<br>23<br>24<br>25<br>26<br>27<br>28<br>29<br>30<br>31<br>32<br>33<br>34<br>35<br>36<br>37<br>38<br>39<br>40<br>41<br>42<br>43<br>44<br>45<br>46<br>47<br>48<br><br>batch_size = 8<br>device_num = 1<br>device_id = 0<br># 获取模型第一个输入的大小。<br>model_input_size = acl.mdl.get_input_size_by_index(model_desc, 0)<br># 获取每个Batch输入数据的大小。<br>single_buff_size = model_input_size / batch_size<br># 定义该变量，用于累加Batch数是否达到8Batch。<br>cnt = 0<br># 定义该变量，用于描述每个文件读入内存时的位置偏移。<br>pos = 0<br>infer_file_vec = []<br>for i in len(files_list): <br> # 每8个文件，申请一次Device上的内存，存放8Batch的输入数据。<br> if cnt % batch_size == 0:<br> pos = 0<br> infer_file_vec.clear()<br> # 申请Device上的内存。<br> p_batch_dst, ret = acl.rt.malloc(model_input_size, ACL_MEM_MALLOC_NORMAL_ONLY)<br> # TODO: 从某个目录下读入文件，计算文件大小file_size。<br> <br> # 根据文件大小，申请Host上的内存，存放文件数据。<br> p_img_buf, ret = acl.rt.malloc_host(file_size)<br> # 将Host上的文件数据复制到Device的内存中。<br> ret = acl.rt.memcpy(p_batch_dst + pos, file_size, p_img_buf, file_size, ACL_MEMCPY_HOST_TO_DEVICE)<br> pos += file_size<br> # 释放Host上的内存。<br> acl.rt.free_host(p_img_buf)<br> # 将第i个文件存入vector中，同时cnt++。<br> infer_file_vec.append(files_list[i])<br> cnt++<br> # 每8Batch的输入数据送给模型推理进行推理。<br> if cnt % batch_size == 0:<br> # TODO: 创建aclmdlDataset、aclDataBuffer类型的数据，用于描述模型的输入、输出数据。<br> # TODO: 调用acl.mdl.execute接口执行模型推理。<br> # TODO: 推理结束后，调用acl.rt.free接口释放Device上的内存。<br> <br># 如果最后循环遍历所有的输入数据后，仍不满足多Batch的要求，则直接将剩余数据作为模型推理的输入。<br>if cnt % batch_size != 0:<br> # TODO: 创建aclmdlDataset、aclDataBuffer类型的数据，用于描述模型的输入、输出数据。<br> # TODO: 调用acl.mdl.execute接口执行模型推理。<br> # TODO: 推理结束后，调用acl.rt.free接口释放Device上的内存。<br># ......<br>

父主题： 扩展更多特性

接口调用流程​

开发应用时，如果涉及异步场景下的同步等待，则应用程序中必须包含相关的代码逻辑，关于该场景的接口调用流程，请参见下图。

图1 同步等待流程_Callback场景

关键接口说明如下：

  1. 回调函数需由用户提前创建，用于获取并处理模型推理或算子执行的结果。

  2. 线程需由用户提前创建，并自定义线程函数，在线程函数内调用acl.rt.process_report接口，设置超时时间，等待acl.rt.launch_callback接口下发的回调任务执行。

  3. 调用acl.rt.subscribe_report接口：指定处理Stream上回调函数的线程，线程与2中创建的线程保持一致。

  4. 异步推理时调用acl.mdl.execute_async接口。

    对于异步接口，还需调用acl.rt.synchronize_stream接口阻塞应用程序运行，直到指定Stream中的所有任务都完成。

    用户可以在acl.rt.synchronize_stream接口之后一次性获取所有图片的异步推理结果，但如果图片数据量较大的情况下，需要等待的时间比较长，这时可以使用Callback功能，每隔一段时间下发一次Callback任务，获取前一段时间内的异步推理结果。

  5. 调用acl.rt.launch_callback接口：在Stream的任务队列中下发一个函数回调任务，系统内部在执行到该回调任务时，会在Stream上订阅的线程（通过acl.rt.subscribe_report接口订阅的线程）中执行回调函数，回调函数与1中保持一致。

    每调用一次acl.rt.launch_callback接口，就会下发一个回调函数任务。

  6. 调用acl.rt.unsubscribe_report接口：取消线程订阅（Stream上的回调函数不再由指定线程处理）。

父主题： 模型异步推理

在线提单