跳到主要内容

aclnnAll

aclnnAdds

接口原型

每个算子有两段接口,必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnXxx”接口执行计算。两段式接口如下:

  • **第一段接口:**aclnnStatus aclnnAddsGetWorkspaceSize(const aclTensor *self, const aclScalar *other, const aclScalar *alpha, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
  • **第二段接口:**aclnnStatus aclnnAdds(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

  • 算子功能:完成张量self与标量other的加法计算。

  • 计算公式:

aclnnAddsGetWorkspaceSize

  • 接口定义:

    aclnnStatus aclnnAddsGetWorkspaceSize(const aclTensor *self, const aclScalar *other, const aclScalar *alpha, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)

  • 参数说明:

    • self(aclTensor*, 计算输入): 公式中的输入self,数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、BFLOAT16(仅Atlas A2训练系列产品支持),且数据类型与other的数据类型需满足数据类型推导规则。支持非连续的Tensor,数据格式支持ND。
    • other(aclScalar *,计算输入): 公式中的输入other,数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、BFLOAT16(仅Atlas A2训练系列产品支持),且数据类型与self的数据类型需满足数据类型推导规则。
    • alpha(aclScalar*, 计算输入):公式中的alpha,数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、BFLOAT16(仅Atlas A2训练系列产品支持),且数据类型需要可转换成self与other推导后的数据类型。
    • out(aclTensor*, 计算输出):公式中的out,数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、BFLOAT16(仅Atlas A2训练系列产品支持),且数据类型需要是self与other推导之后可转换的数据类型,shape需要与self一致。支持非连续的Tensor,数据格式支持ND。
    • workspaceSize(uint64_t*, 出参):返回用户需要在Device侧申请的workspace大小。
    • executor(aclOpExecutor**, 出参):返回op执行器,包含了算子计算流程。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

    :::note 说明 第一段接口完成入参校验,出现以下场景时报错:

    • 返回161001(ACLNN_ERR_PARAM_NULLPTR):传入的self、other、alpha或out是空指针。
    • 返回161002(ACLNN_ERR_PARAM_INVALID):
      • self的数据类型和数据格式不在支持的范围内。
      • self和other不满足数据类型推导规则。
      • 推导出的数据类型无法转换为指定输出out的类型。
      • alpha无法转换为self和other推导后的数据类型。
      • self和out的shape不一致。 :::

aclnnAdds

  • 接口定义:

    aclnnStatus aclnnAdds(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

  • 参数说明:

    • workspace:在Device侧申请的workspace内存起址。
    • workspaceSize:在Device侧申请的workspace大小,由第一段接口aclnnAddsGetWorkspaceSize获取。
    • executor:op执行器,包含了算子计算流程。
    • stream:指定执行任务的AscendCL stream流。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

调用示例

<br> 1<br> 2<br> 3<br> 4<br> 5<br> 6<br> 7<br> 8<br> 9<br> 10<br> 11<br> 12<br> 13<br> 14<br> 15<br> 16<br> 17<br> 18<br> 19<br> 20<br> 21<br> 22<br> 23<br> 24<br> 25<br> 26<br> 27<br> 28<br> 29<br> 30<br> 31<br> 32<br> 33<br> 34<br> 35<br> 36<br> 37<br> 38<br> 39<br> 40<br> 41<br> 42<br> 43<br> 44<br> 45<br> 46<br> 47<br> 48<br> 49<br> 50<br> 51<br> 52<br> 53<br> 54<br> 55<br> 56<br> 57<br> 58<br> 59<br> 60<br> 61<br> 62<br> 63<br> 64<br> 65<br> 66<br> 67<br> 68<br> 69<br> 70<br> 71<br> 72<br> 73<br> 74<br> 75<br> 76<br> 77<br> 78<br> 79<br> 80<br> 81<br> 82<br> 83<br> 84<br> 85<br> 86<br> 87<br> 88<br> 89<br> 90<br> 91<br> 92<br> 93<br> 94<br> 95<br> 96<br> 97<br> 98<br> 99<br>100<br>101<br>102<br>103<br>104<br>105<br>106<br>107<br>108<br>109<br>110<br>111<br>112<br>113<br>114<br>115<br>116<br>117<br>118<br>119<br>120<br>121<br>122<br>123<br>124<br>125<br>126<br>127<br>128<br>129<br>130<br>131<br>132<br>133<br>134<br>135<br>cpp<br>#include <iostream><br>#include <vector><br>#include "acl/acl.h"<br>#include "aclnnop/aclnn_add.h"<br>#define CHECK_RET(cond, return_expr) \<br> do &#123; \<br> if (!(cond)) &#123; \<br> return_expr; \<br> &#125; \<br> &#125; while (0)<br>#define LOG_PRINT(message, ...) \<br> do &#123; \<br> printf(message, ##__VA_ARGS__); \<br> &#125; while (0)<br>int64_t GetShapeSize(const std::vector<int64_t>& shape) &#123;<br> int64_t shapeSize = 1;<br> for (auto i : shape) &#123;<br> shapeSize *= i;<br> &#125;<br> return shapeSize;<br>&#125;<br>int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) &#123;<br> // 固定写法,AscendCL初始化<br> auto ret = aclInit(nullptr);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtSetDevice(deviceId);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtCreateContext(context, deviceId);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtSetCurrentContext(*context);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtCreateStream(stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret);<br> return 0;<br>&#125;<br>template <typename T><br>int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr,<br> aclDataType dataType, aclTensor** tensor) &#123;<br> auto size = GetShapeSize(shape) * sizeof(T);<br> // 调用aclrtMalloc申请device侧内存<br> auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret);<br> // 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上<br> ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret);<br> // 计算连续tensor的strides<br> std::vector<int64_t> strides(shape.size(), 1);<br> for (int64_t i = shape.size() - 2; i >= 0; i--) &#123;<br> strides[i] = shape[i + 1] * strides[i + 1];<br> &#125;<br> // 调用aclCreateTensor接口创建aclTensor<br> *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND,<br> shape.data(), shape.size(), *deviceAddr);<br> return 0;<br>&#125;<br>int main() &#123;<br> // 1. (固定写法)device/context/stream初始化,参考AscendCL对外接口列表<br> // 根据自己的实际device填写deviceId<br> int32_t deviceId = 0;<br> aclrtContext context;<br> aclrtStream stream;<br> auto ret = Init(deviceId, &context, &stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret);<br> // 2. 构造输入与输出,需要根据API的接口自定义构造<br> std::vector<int64_t> selfShape = &#123;4, 2&#125;;<br> std::vector<int64_t> outShape = &#123;4, 2&#125;;<br> void* selfDeviceAddr = nullptr;<br> void* outDeviceAddr = nullptr;<br> aclTensor* self = nullptr;<br> aclScalar* other = nullptr;<br> aclScalar* alpha = nullptr;<br> aclTensor* out = nullptr;<br> std::vector<float> selfHostData = &#123;0, 1, 2, 3, 4, 5, 6, 7&#125;;<br> std::vector<float> outHostData(8, 0);<br> float otherValue = 2.0f;<br> float alphaValue = 1.2f;<br> // 创建self aclTensor<br> ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self);<br> CHECK_RET(ret == ACL_SUCCESS, return ret);<br> // 创建other aclScalar<br> other = aclCreateScalar(&otherValue, aclDataType::ACL_FLOAT);<br> CHECK_RET(other != nullptr, return ret);<br> // 创建alpha aclScalar<br> alpha = aclCreateScalar(&alphaValue, aclDataType::ACL_FLOAT);<br> CHECK_RET(alpha != nullptr, return ret);<br> // 创建out aclTensor<br> ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out);<br> CHECK_RET(ret == ACL_SUCCESS, return ret);<br> // 3. 调用CANN算子库API,需要修改为具体的API名称<br> uint64_t workspaceSize = 0;<br> aclOpExecutor* executor;<br> // 调用aclnnAdds第一段接口<br> ret = aclnnAddsGetWorkspaceSize(self, other, alpha, out, &workspaceSize, &executor);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddsGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);<br> // 根据第一段接口计算出的workspaceSize申请device内存<br> void* workspaceAddr = nullptr;<br> if (workspaceSize > 0) &#123;<br> ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret);<br> &#125;<br> // 调用aclnnAdds第二段接口<br> ret = aclnnAdds(workspaceAddr, workspaceSize, executor, stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAdds failed. ERROR: %d\n", ret); return ret);<br> // 4. (固定写法)同步等待任务执行结束<br> ret = aclrtSynchronizeStream(stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);<br> // 5. 获取输出的值,将device侧内存上的结果拷贝至Host侧,需要根据具体API的接口定义修改<br> auto size = GetShapeSize(outShape);<br> std::vector<float> resultData(size, 0);<br> ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr,<br> size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);<br> for (int64_t i = 0; i < size; i++) &#123;<br> LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]);<br> &#125;<br> // 6. 释放aclTensor和aclScalar,需要根据具体API的接口定义修改<br> aclDestroyTensor(self);<br> aclDestroyScalar(other);<br> aclDestroyScalar(alpha);<br> aclDestroyTensor(out);<br> return 0;<br>&#125;<br>

父主题: NN类算子接口

aclnnAffineGrid

接口原型

每个算子有两段接口,必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnXxx”接口执行计算。两段式接口如下:

  • **第一段接口:**aclnnStatus aclnnAffineGridGetWorkspaceSize(const aclTensor *theta, const aclIntArray *size, bool alignCorners, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
  • **第二段接口:**aclnnStatus aclnnAffineGrid(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

算子功能:给定一组3D的仿射参数矩阵(theta)以及输出图像的大小(size),生成一个2D或3D的网格,该网格表示仿射后图像的点在原图像上的坐标。

aclnnAffineGridGetWorkspaceSize

  • 接口定义:

    aclnnStatus aclnnAffineGridGetWorkspaceSize(const aclTensor *theta, const aclIntArray *size, bool alignCorners, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)

  • 参数说明:

    • theta(aclTensor*, 计算输入):Device侧的aclTensor,仿射参数矩阵,控制仿射变换过程中的旋转、缩放以及平移。数据类型支持FLOAT、FLOAT16,shape是(N, 2, 3)或(N, 3, 4)支持非连续的Tensor,数据格式支持ND。
    • size(aclIntArray*, 计算输入):Host侧的aclIntArray,输出图像的size,大小为4(N, C, H, W)或者5(N, C, D, H, W),数据类型支持INT32。
    • alignCorners(bool, 计算输入):Host侧的BOOL,表示是否角像素点对齐。
    • out(aclTensor*, 计算输出):Device侧的aclTensor,表示仿射后图像的点在原图像上的坐标,数据类型支持FLOAT、FLOAT16,数据类型与theta一致。支持非连续的Tensor,数据格式支持ND。
    • workspaceSize(uint64_t*, 出参):返回用户需要在Device侧申请的workspace大小。
    • executor(aclOpExecutor**, 出参):返回op执行器,包含了算子计算流程。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

    :::note 说明 第一段接口完成入参校验,出现以下场景时报错:

    • 返回161001(ACLNN_ERR_PARAM_NULLPTR):传入的theta、size或out是空指针。
    • 返回161002(ACLNN_ERR_PARAM_INVALID):
      • theta的数据类型或数据格式不在支持的范围内。
      • out与theta的数据类型不一致。
      • theta的维度不是3维。
      • size数组的大小不是4或者5。
      • size大小是4时,theta的shape不是(N, 2, 3);size大小是5时,theta的shape不是(N, 3, 4)。
      • size大小是4时,out的shape不是(N, H, W, 2);size大小是5时,out的shape不是(N, D, H, W, 3)。 :::

aclnnAffineGrid

  • 接口定义:

    aclnnStatus aclnnAffineGrid(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

  • 参数说明:

    • workspace(void*, 入参):在Device侧申请的workspace内存起址。
    • workspaceSize(uint64_t, 入参):在Device侧申请的workspace大小,由第一段接口aclnnAffineGridGetWorkspaceSize获取。
    • executor(aclOpExecutor*, 入参):op执行器,包含了算子计算流程。
    • stream(aclrtStream, 入参):指定执行任务的AscendCL stream流。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

调用示例

<br> 1<br> 2<br> 3<br> 4<br> 5<br> 6<br> 7<br> 8<br> 9<br> 10<br> 11<br> 12<br> 13<br> 14<br> 15<br> 16<br> 17<br> 18<br> 19<br> 20<br> 21<br> 22<br> 23<br> 24<br> 25<br> 26<br> 27<br> 28<br> 29<br> 30<br> 31<br> 32<br> 33<br> 34<br> 35<br> 36<br> 37<br> 38<br> 39<br> 40<br> 41<br> 42<br> 43<br> 44<br> 45<br> 46<br> 47<br> 48<br> 49<br> 50<br> 51<br> 52<br> 53<br> 54<br> 55<br> 56<br> 57<br> 58<br> 59<br> 60<br> 61<br> 62<br> 63<br> 64<br> 65<br> 66<br> 67<br> 68<br> 69<br> 70<br> 71<br> 72<br> 73<br> 74<br> 75<br> 76<br> 77<br> 78<br> 79<br> 80<br> 81<br> 82<br> 83<br> 84<br> 85<br> 86<br> 87<br> 88<br> 89<br> 90<br> 91<br> 92<br> 93<br> 94<br> 95<br> 96<br> 97<br> 98<br> 99<br>100<br>101<br>102<br>103<br>104<br>105<br>106<br>107<br>108<br>109<br>110<br>111<br>112<br>113<br>114<br>115<br>116<br>117<br>118<br>119<br>120<br>121<br>122<br>123<br>124<br>125<br>126<br>127<br>128<br>129<br>130<br>131<br>132<br>133<br>134<br>135<br>136<br>137<br>138<br>139<br>140<br>141<br>cpp<br>#include <iostream><br>#include <vector><br>#include "acl/acl.h"<br>#include "aclnnop/aclnn_affine_grid.h"<br>#define CHECK_RET(cond, return_expr) \<br> do &#123; \<br> if (!(cond)) &#123; \<br> return_expr; \<br> &#125; \<br> &#125; while (0)<br>#define LOG_PRINT(message, ...) \<br> do &#123; \<br> printf(message, ##__VA_ARGS__); \<br> &#125; while (0)<br>int64_t GetShapeSize(const std::vector<int64_t>& shape) &#123;<br> int64_t shapeSize = 1;<br> for (auto i : shape) &#123;<br> shapeSize *= i;<br> &#125;<br> return shapeSize;<br>&#125;<br>int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) &#123;<br> // 固定写法,AscendCL初始化<br> auto ret = aclInit(nullptr);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtSetDevice(deviceId);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtCreateContext(context, deviceId);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtSetCurrentContext(*context);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtCreateStream(stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret);<br> return 0;<br>&#125;<br>template <typename T><br>int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr,<br> aclDataType dataType, aclTensor** tensor) &#123;<br> auto size = GetShapeSize(shape) * sizeof(T);<br> // 调用aclrtMalloc申请device侧内存<br> auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret);<br> // 调用aclrtMemcpy将host侧数据拷贝到device侧内存上<br> ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret);<br> // 计算连续tensor的strides<br> std::vector<int64_t> strides(shape.size(), 1);<br> for (int64_t i = shape.size() - 2; i >= 0; i--) &#123;<br> strides[i] = shape[i + 1] * strides[i + 1];<br> &#125;<br> // 调用aclCreateTensor接口创建aclTensor<br> *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND,<br> shape.data(), shape.size(), *deviceAddr);<br> return 0;<br>&#125;<br>int main() &#123;<br> // 1. (固定写法)device/context/stream初始化,参考AscendCL对外接口列表<br> // 根据自己的实际device填写deviceId<br> int32_t deviceId = 0;<br> aclrtContext context;<br> aclrtStream stream;<br> auto ret = Init(deviceId, &context, &stream);<br> // check根据自己的需要处理<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret);<br> // 2. 构造输入与输出,需要根据API的接口自定义构造<br> std::vector<int64_t> thetaShape = &#123;1, 2, 3&#125;;<br> std::vector<int64_t> outShape = &#123;1, 2, 3, 2&#125;;<br> void* thetaDeviceAddr = nullptr;<br> void* outDeviceAddr = nullptr;<br> aclTensor* theta = nullptr;<br> aclTensor* out = nullptr;<br> std::vector<float> thetaHostData = &#123;0, 1, 2, 3, 4, 5&#125;;<br> std::vector<float> outHostData = &#123;0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0&#125;;<br> std::vector<int64_t> sizeData = &#123;1, 1, 2, 3&#125;;<br> bool alignCorners = false;<br> // 创建theta aclTensor<br> ret = CreateAclTensor(thetaHostData, thetaShape, &thetaDeviceAddr, aclDataType::ACL_FLOAT, &theta);<br> CHECK_RET(ret == ACL_SUCCESS, return ret);<br> // 创建size aclIntArray<br> aclIntArray *size = aclCreateIntArray(sizeData.data(), sizeData.size());<br> // 创建out aclTensor<br> ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out);<br> CHECK_RET(ret == ACL_SUCCESS, return ret);<br> // 3. 调用CANN算子库API,需要修改为具体的API名称<br> uint64_t workspaceSize = 0;<br> aclOpExecutor* executor;<br> // 调用aclnnAffineGrid第一段接口<br> ret = aclnnAffineGridGetWorkspaceSize(theta, size, alignCorners, out, &workspaceSize, &executor);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAffineGridGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);<br> // 根据第一段接口计算出的workspaceSize申请device内存<br> void* workspaceAddr = nullptr;<br> if (workspaceSize > 0) &#123;<br> ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret);<br> &#125;<br> // 调用aclnnAffineGrid第二段接口<br> ret = aclnnAffineGrid(workspaceAddr, workspaceSize, executor, stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAffineGrid failed. ERROR: %d\n", ret); return ret);<br> // 4. (固定写法)同步等待任务执行结束<br> ret = aclrtSynchronizeStream(stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);<br> // 5. 获取输出的值,将device侧内存上的结果拷贝至host侧,需要根据具体API的接口定义修改<br> auto length = GetShapeSize(outShape);<br> std::vector<float> resultData(length, 0);<br> ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr,<br> length * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);<br> for (int64_t i = 0; i < length; i++) &#123;<br> LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]);<br> &#125;<br> // 6. 释放aclTensor,需要根据具体API的接口定义修改<br> aclDestroyTensor(theta);<br> aclDestroyIntArray(size);<br> aclDestroyTensor(out);<br> // 7. 释放device资源,需要根据具体API的接口定义修改<br> aclrtFree(thetaDeviceAddr);<br> aclrtFree(outDeviceAddr);<br> if (workspaceSize > 0) &#123;<br> aclrtFree(workspaceAddr);<br> &#125;<br> aclrtDestroyStream(stream);<br> aclrtDestroyContext(context);<br> aclrtResetDevice(deviceId);<br> aclFinalize();<br> return 0;<br>&#125;<br>

父主题: NN类算子接口

aclnnAll

接口原型

每个算子有两段接口,必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnXxx”接口执行计算。两段式接口如下:

  • 第一段接口:aclnnStatus aclnnAllGetWorkspaceSize(const aclTensor *self, const aclIntArray *dim, bool keepdim, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
  • 第二段接口:aclnnStatus aclnnAll(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

功能描述

  • 算子功能:对给定维度的每一行输入,如果每行所有元素计算为True,则返回True,否则返回False。如果keepdim为True,则输出张量大小与输入张量大小相同;否则,维度dim将会被删除。
  • 示例:假设输入张量self的shape是(A, B, C, D),dim值为[0, 2],则输出张量out的shape是(B, D)),out比self少dim.Size()维。

aclnnAllGetWorkspaceSize

  • 接口定义:

    aclnnStatus aclnnAllGetWorkspaceSize(const aclTensor *self, const aclIntArray *dim, bool keepdim, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)

  • 参数说明:

    • self:Device侧的aclTensor,数据类型支持BOOL、UINT8、INT8、INT16、INT32、INT64、FLOAT、FLOAT16、DOUBLE、BFLOAT16(仅Atlas A2训练系列产品支持)。支持非连续的Tensor,数据格式支持ND。
    • dim:Host侧的aclIntArray,需要压缩的维度,取值范围为[-self.dim(), self.dim()),数据类型支持INT。
    • keepdim:Host侧的布尔值,reduce轴的维度是否保留,数据类型支持BOOL。
    • out:Device侧的aclTensor,数据类型支持BOOL、UINT8,支持非连续Tensor,数据格式支持ND。
    • workspaceSize:返回用户需要在Device侧申请的workspace大小。
    • executor:返回op执行器,包含了算子计算流程。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

    :::note 说明 第一段接口完成入参校验,出现以下场景时报错:

    • 返回161001(ACLNN_ERR_PARAM_NULLPTR):传入的self、out或dim是空指针。
    • 返回161002(ACLNN_ERR_PARAM_INVALID):
      • self、out的数据类型不在支持的范围内。
      • dim指定的维度不在合法范围内。 :::

aclnnAll

  • 接口定义:

    aclnnStatus aclnnAll(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

  • 参数说明:

    • workspace:在Device侧申请的workspace内存起址。
    • workspaceSize:在Device侧申请的workspace大小,由第一段接口aclnnAllGetWorkspaceSize获取。
    • executor:op执行器,包含了算子计算流程。
    • stream:指定执行任务的AscendCL stream流。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

调用示例

<br> 1<br> 2<br> 3<br> 4<br> 5<br> 6<br> 7<br> 8<br> 9<br> 10<br> 11<br> 12<br> 13<br> 14<br> 15<br> 16<br> 17<br> 18<br> 19<br> 20<br> 21<br> 22<br> 23<br> 24<br> 25<br> 26<br> 27<br> 28<br> 29<br> 30<br> 31<br> 32<br> 33<br> 34<br> 35<br> 36<br> 37<br> 38<br> 39<br> 40<br> 41<br> 42<br> 43<br> 44<br> 45<br> 46<br> 47<br> 48<br> 49<br> 50<br> 51<br> 52<br> 53<br> 54<br> 55<br> 56<br> 57<br> 58<br> 59<br> 60<br> 61<br> 62<br> 63<br> 64<br> 65<br> 66<br> 67<br> 68<br> 69<br> 70<br> 71<br> 72<br> 73<br> 74<br> 75<br> 76<br> 77<br> 78<br> 79<br> 80<br> 81<br> 82<br> 83<br> 84<br> 85<br> 86<br> 87<br> 88<br> 89<br> 90<br> 91<br> 92<br> 93<br> 94<br> 95<br> 96<br> 97<br> 98<br> 99<br>100<br>101<br>102<br>103<br>104<br>105<br>106<br>107<br>108<br>109<br>110<br>111<br>112<br>113<br>114<br>115<br>116<br>117<br>118<br>119<br>120<br>121<br>122<br>123<br>124<br>125<br>126<br>127<br>128<br>129<br>130<br>131<br>132<br>133<br>cpp<br>#include <iostream><br>#include <vector><br>#include "acl/acl.h"<br>#include "aclnnop/aclnn_all.h"<br>#define CHECK_RET(cond, return_expr) \<br> do &#123; \<br> if (!(cond)) &#123; \<br> return_expr; \<br> &#125; \<br> &#125; while (0)<br>#define LOG_PRINT(message, ...) \<br> do &#123; \<br> printf(message, ##__VA_ARGS__); \<br> &#125; while (0)<br>int64_t GetShapeSize(const std::vector<int64_t>& shape) &#123;<br> int64_t shape_size = 1;<br> for (auto i : shape) &#123;<br> shape_size *= i;<br> &#125;<br> return shape_size;<br>&#125;<br>int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) &#123;<br> // 固定写法,AscendCL初始化<br> auto ret = aclInit(nullptr);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtSetDevice(deviceId);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtCreateContext(context, deviceId);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtSetCurrentContext(*context);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtCreateStream(stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret);<br> return 0;<br>&#125;<br>template <typename T><br>int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr,<br> aclDataType dataType, aclTensor** tensor) &#123;<br> auto size = GetShapeSize(shape) * sizeof(T);<br> // 调用aclrtMalloc申请device侧内存<br> auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret);<br> // 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上<br> ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret);<br> // 计算连续tensor的strides<br> std::vector<int64_t> strides(shape.size(), 1);<br> for (int64_t i = shape.size() - 2; i >= 0; i--) &#123;<br> strides[i] = shape[i + 1] * strides[i + 1];<br> &#125;<br> // 调用aclCreateTensor接口创建aclTensor<br> *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND,<br> shape.data(), shape.size(), *deviceAddr);<br> return 0;<br>&#125;<br>int main() &#123;<br> // 1. 固定写法,device/context/stream初始化, 参考AscendCL对外接口列表<br> // 根据自己的实际device填写deviceId<br> int32_t deviceId = 0;<br> aclrtContext context;<br> aclrtStream stream;<br> auto ret = Init(deviceId, &context, &stream);<br> // check根据自己的需要处理<br> CHECK_RET(ret == 0, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret);<br> // 2. 构造输入与输出,需要根据API的接口定义构造<br> std::vector<int64_t> selfShape = &#123;4, 2&#125;;<br> std::vector<int64_t> outShape = &#123;1, 2&#125;;<br> void* selfDeviceAddr = nullptr;<br> void* outDeviceAddr = nullptr;<br> aclTensor* self = nullptr;<br> aclIntArray * dim = nullptr;<br> aclTensor* out = nullptr;<br> std::vector<int> selfHostData = &#123;0, 1, 2, 3, 4, 5, 6, 7&#125;;<br> std::vector<unsigned char> outHostData = &#123;0, 0&#125;;<br> std::vector<int64_t> dimData = &#123;0&#125;;<br> bool keepdim = true;<br> // 创建self aclTensor<br> ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_INT32, &self);<br> CHECK_RET(ret == ACL_SUCCESS, return ret);<br> // 创建dim aclIntArray<br> dim = aclCreateIntArray(dimData.data(), 1);<br> CHECK_RET(dim != nullptr, return ret);<br> // 创建out aclTensor<br> ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_UINT8, &out);<br> CHECK_RET(ret == ACL_SUCCESS, return ret);<br> // 3.调用CANN算子库API,需要修改为具体的算子接口<br> uint64_t workspaceSize = 0;<br> aclOpExecutor* executor;<br> // 调用aclnnAll第一段接口<br> ret = aclnnAllGetWorkspaceSize(self, dim, keepdim, out, &workspaceSize, &executor);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAllGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);<br> // 根据第一段接口计算出的workspaceSize申请device内存<br> void* workspaceAddr = nullptr;<br> if (workspaceSize > 0) &#123;<br> ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret;);<br> &#125;<br> // 调用aclnnAll第二段接口<br> ret = aclnnAll(workspaceAddr, workspaceSize, executor, stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAll failed. ERROR: %d\n", ret); return ret);<br> // 4. 固定写法,同步等待任务执行结束<br> ret = aclrtSynchronizeStream(stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);<br> // 5. 获取输出的值,将device侧内存上的结果拷贝至Host侧,需要根据具体API的接口定义修改<br> auto size = GetShapeSize(outShape);<br> std::vector<unsigned char> resultData(size, 0);<br> ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(unsigned char),<br> ACL_MEMCPY_DEVICE_TO_HOST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);<br> for (int64_t i = 0; i < size; i++) &#123;<br> LOG_PRINT("result[%ld] is: %hhu\n", i, resultData[i]);<br> &#125;<br> // 6. 释放aclTensor和aclScalar,需要根据具体API的接口定义修改<br> aclDestroyTensor(self);<br> aclDestroyIntArray(dim);<br> aclDestroyTensor(out);<br> return 0;<br>&#125;<br>

父主题: NN类算子接口

aclnnAmax

接口原型

每个算子有两段接口,必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnXxx”接口执行计算。两段式接口如下:

  • **第一段接口:**aclnnStatus aclnnAmaxGetWorkspaceSize(const aclTensor* self, const aclIntArray* dim, const bool keepDim, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor)
  • **第二段接口:**aclnnStatus aclnnAmax(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

功能描述

算子功能:返回张量在指定维度(dim)上每个切片的最大值。

aclnnAmaxGetWorkspaceSize

  • 接口定义:

    aclnnStatus aclnnAmaxGetWorkspaceSize(const aclTensor* self, const aclIntArray* dim, const bool keepDim, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor)

  • 参数说明:

    • self:Device侧的aclTensor,数据类型支持 FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL,支持非连续的Tensor,数据格式支持ND。
    • dim:Host侧的aclIntArray,支持的数据类型为INT32、INT64,元素取值范围为[-self.dim(), self.dim())。
    • keepDim:Host侧的bool类型,reduce轴的维度是否保留。
    • out:Device侧的aclTensor,数据类型支持 FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL,需要与self数据类型相同,支持非连续的Tensor,数据格式支持ND。
    • workspaceSize:返回用户需要在Device侧申请的workspace大小。
    • executor:返回op执行器,包含了算子计算流程。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

    :::note 说明 第一段接口完成入参校验,出现以下场景时报错:

    • 返回161001(ACLNN_ERR_PARAM_NULLPTR):传入的self、dim或out是空指针。
    • 返回161002(ACLNN_ERR_PARAM_INVALID):
      • self、out和dim数据类型不在支持的范围内时。
      • self、out的数据格式不在支持的范围内时。
      • self或out的维度超过8维。
      • dim数组中的维度超出输入self的维度范围。
      • dim数组中元素重复。
      • dim指定的轴为空轴。 :::

aclnnAmax

  • 接口定义:

    aclnnStatus aclnnAmax(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

  • 参数说明:

    • workspace:在Device侧申请的workspace内存起址。
    • workspaceSize:在Device侧申请的workspace大小,由第一段接口aclnnAmaxGetWorkspaceSize获取。
    • executor:op执行器,包含了算子计算流程。
    • stream:指定执行任务的AscendCL stream流。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

调用示例

<br> 1<br> 2<br> 3<br> 4<br> 5<br> 6<br> 7<br> 8<br> 9<br> 10<br> 11<br> 12<br> 13<br> 14<br> 15<br> 16<br> 17<br> 18<br> 19<br> 20<br> 21<br> 22<br> 23<br> 24<br> 25<br> 26<br> 27<br> 28<br> 29<br> 30<br> 31<br> 32<br> 33<br> 34<br> 35<br> 36<br> 37<br> 38<br> 39<br> 40<br> 41<br> 42<br> 43<br> 44<br> 45<br> 46<br> 47<br> 48<br> 49<br> 50<br> 51<br> 52<br> 53<br> 54<br> 55<br> 56<br> 57<br> 58<br> 59<br> 60<br> 61<br> 62<br> 63<br> 64<br> 65<br> 66<br> 67<br> 68<br> 69<br> 70<br> 71<br> 72<br> 73<br> 74<br> 75<br> 76<br> 77<br> 78<br> 79<br> 80<br> 81<br> 82<br> 83<br> 84<br> 85<br> 86<br> 87<br> 88<br> 89<br> 90<br> 91<br> 92<br> 93<br> 94<br> 95<br> 96<br> 97<br> 98<br> 99<br>100<br>101<br>102<br>103<br>104<br>105<br>106<br>107<br>108<br>109<br>110<br>111<br>112<br>113<br>114<br>115<br>116<br>117<br>118<br>119<br>120<br>121<br>122<br>123<br>124<br>125<br>126<br>127<br>128<br>129<br>130<br>cpp<br>#include <iostream><br>#include <vector><br>#include "acl/acl.h"<br>#include "aclnnop/aclnn_amax.h"<br>#define CHECK_RET(cond, return_expr) \<br> do &#123; \<br> if (!(cond)) &#123; \<br> return_expr; \<br> &#125; \<br> &#125; while (0)<br>#define LOG_PRINT(message, ...) \<br> do &#123; \<br> printf(message, ##__VA_ARGS__); \<br> &#125; while (0)<br>int64_t GetShapeSize(const std::vector<int64_t>& shape) &#123;<br> int64_t shape_size = 1;<br> for (auto i : shape) &#123;<br> shape_size *= i;<br> &#125;<br> return shape_size;<br>&#125;<br>int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) &#123;<br> // 固定写法,AscendCL初始化<br> auto ret = aclInit(nullptr);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtSetDevice(deviceId);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtCreateContext(context, deviceId);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtSetCurrentContext(*context);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtCreateStream(stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret);<br> return 0;<br>&#125;<br>template <typename T><br>int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr,<br> aclDataType dataType, aclTensor** tensor) &#123;<br> auto size = GetShapeSize(shape) * sizeof(T);<br> // 调用aclrtMalloc申请device侧内存<br> auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret);<br> // 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上<br> ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret);<br> // 计算连续tensor的strides<br> std::vector<int64_t> strides(shape.size(), 1);<br> for (int64_t i = shape.size() - 2; i >= 0; i--) &#123;<br> strides[i] = shape[i + 1] * strides[i + 1];<br> &#125;<br> // 调用aclCreateTensor接口创建aclTensor<br> *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND,<br> shape.data(), shape.size(), *deviceAddr);<br> return 0;<br>&#125;<br>int main() &#123;<br> // 1. (固定写法)device/context/stream初始化, 参考AscendCL对外接口列表<br> // 根据自己的实际device填写deviceId<br> int32_t deviceId = 0;<br> aclrtContext context;<br> aclrtStream stream;<br> auto ret = Init(deviceId, &context, &stream);<br> // check根据自己的需要处理<br> CHECK_RET(ret == 0, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret);<br> // 2. 构造输入与输出,需要根据API的接口自定义构造<br> std::vector<int64_t> selfShape = &#123;2, 3, 2&#125;;<br> std::vector<int64_t> outShape = &#123;1, 3, 1&#125;;<br> void* selfDeviceAddr = nullptr;<br> void* outDeviceAddr = nullptr;<br> aclTensor* self = nullptr;<br> aclTensor* out = nullptr;<br> std::vector<float> selfHostData = &#123;0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11&#125;;<br> std::vector<int64_t> dimData = &#123;0,2&#125;;<br> std::vector<float> outHostData = &#123;0, 0, 0&#125;;<br> // 创建self aclTensor<br> ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self);<br> CHECK_RET(ret == ACL_SUCCESS, return ret);<br> // 创建dim aclIntArray<br> aclIntArray *dim = aclCreateIntArray(dimData.data(), dimData.size());<br> bool keepDim = true;<br> // 创建out aclTensor<br> ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out);<br> CHECK_RET(ret == ACL_SUCCESS, return ret);<br> // 3.调用CANN算子库API,需要修改为具体的算子接口<br> uint64_t workspaceSize = 0;<br> aclOpExecutor* executor;<br> // 调用aclnnAmax第一段接口<br> ret = aclnnAmaxGetWorkspaceSize(self, dim, keepDim, out, &workspaceSize, &executor);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAmaxGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);<br> // 根据第一段接口计算出的workspaceSize申请device内存<br> void* workspaceAddr = nullptr;<br> if (workspaceSize > 0) &#123;<br> ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret;);<br> &#125;<br> // 调用aclnnAmax第二段接口<br> ret = aclnnAmax(workspaceAddr, workspaceSize, executor, stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnmax failed. ERROR: %d\n", ret); return ret);<br> // 4. (固定写法)同步等待任务执行结束<br> ret = aclrtSynchronizeStream(stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);<br> // 5. 获取输出的值,将device侧内存上的结果拷贝至Host侧,需要根据具体API的接口定义修改<br> auto size = GetShapeSize(outShape);<br> std::vector<float> resultData(size, 0);<br> ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(float),<br> ACL_MEMCPY_DEVICE_TO_HOST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);<br> for (int64_t i = 0; i < size; i++) &#123;<br> LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]);<br> &#125;<br> // 6. 释放aclTensor和aclScalar,需要根据具体API的接口定义修改<br> aclDestroyTensor(self);<br> aclDestroyIntArray(dim);<br> aclDestroyTensor(out);<br> return 0;<br>&#125;<br>

父主题: NN类算子接口

aclnnAmin

接口原型

每个算子有两段接口,必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnXxx”接口执行计算。两段式接口如下:

  • **第一段接口:**aclnnStatus aclnnAminGetWorkspaceSize(const aclTensor* self, const aclIntArray* dim, const bool keepDim, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor)
  • **第二段接口:**aclnnStatus aclnnAmin(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

功能描述

算子功能:返回张量在指定维度(dim)上每个切片的最小值。

aclnnAminGetWorkspaceSize

  • 接口定义:

    aclnnStatus aclnnAminGetWorkspaceSize(const aclTensor* self, const aclIntArray* dim, const bool keepDim, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor)

  • 参数说明:

    • self:Device侧的aclTensor,数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL,支持非连续的Tensor,数据格式支持ND。
    • dim:Host侧的aclIntArray,支持的数据类型为INT32、INT64,元素取值范围为[-self.dim(), self.dim())。
    • keepDim:Host侧的bool类型,reduce轴的维度是否保留。
    • out:Device侧的aclTensor,数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL,需要与self数据类型相同,支持非连续的Tensor,数据格式支持ND。
    • workspaceSize:返回用户需要在Device侧申请的workspace大小。
    • executor:返回op执行器,包含了算子计算流程。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

    :::note 说明 第一段接口完成入参校验,出现以下场景时报错:

    • 返回161001(ACLNN_ERR_PARAM_NULLPTR):传入的self、dim或out是空指针。
    • 返回161002(ACLNN_ERR_PARAM_INVALID):
      • self、out和dim数据类型不在支持的范围内时。
      • self、out的数据格式不在支持的范围内时。
      • self或out的维度超过8维。
      • dim数组中的维度超出输入self的维度范围。
      • dim数组中元素重复。
      • dim指定的轴为空轴。 :::

aclnnAmin

  • 接口定义:

    aclnnStatus aclnnAmin(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

  • 参数说明:

    • workspace:在Device侧申请的workspace内存起址。
    • workspaceSize:在Device侧申请的workspace大小,由第一段接口aclnnAminGetWorkspaceSize获取。
    • executor:op执行器,包含了算子计算流程。
    • stream:指定执行任务的AscendCL stream流。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

调用示例

<br> 1<br> 2<br> 3<br> 4<br> 5<br> 6<br> 7<br> 8<br> 9<br> 10<br> 11<br> 12<br> 13<br> 14<br> 15<br> 16<br> 17<br> 18<br> 19<br> 20<br> 21<br> 22<br> 23<br> 24<br> 25<br> 26<br> 27<br> 28<br> 29<br> 30<br> 31<br> 32<br> 33<br> 34<br> 35<br> 36<br> 37<br> 38<br> 39<br> 40<br> 41<br> 42<br> 43<br> 44<br> 45<br> 46<br> 47<br> 48<br> 49<br> 50<br> 51<br> 52<br> 53<br> 54<br> 55<br> 56<br> 57<br> 58<br> 59<br> 60<br> 61<br> 62<br> 63<br> 64<br> 65<br> 66<br> 67<br> 68<br> 69<br> 70<br> 71<br> 72<br> 73<br> 74<br> 75<br> 76<br> 77<br> 78<br> 79<br> 80<br> 81<br> 82<br> 83<br> 84<br> 85<br> 86<br> 87<br> 88<br> 89<br> 90<br> 91<br> 92<br> 93<br> 94<br> 95<br> 96<br> 97<br> 98<br> 99<br>100<br>101<br>102<br>103<br>104<br>105<br>106<br>107<br>108<br>109<br>110<br>111<br>112<br>113<br>114<br>115<br>116<br>117<br>118<br>119<br>120<br>121<br>122<br>123<br>124<br>125<br>126<br>127<br>128<br>129<br>130<br>cpp<br>#include <iostream><br>#include <vector><br>#include "acl/acl.h"<br>#include "aclnnop/aclnn_amin.h"<br>#define CHECK_RET(cond, return_expr) \<br> do &#123; \<br> if (!(cond)) &#123; \<br> return_expr; \<br> &#125; \<br> &#125; while (0)<br>#define LOG_PRINT(message, ...) \<br> do &#123; \<br> printf(message, ##__VA_ARGS__); \<br> &#125; while (0)<br>int64_t GetShapeSize(const std::vector<int64_t>& shape) &#123;<br> int64_t shape_size = 1;<br> for (auto i : shape) &#123;<br> shape_size *= i;<br> &#125;<br> return shape_size;<br>&#125;<br>int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) &#123;<br> // 固定写法,AscendCL初始化<br> auto ret = aclInit(nullptr);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtSetDevice(deviceId);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtCreateContext(context, deviceId);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtSetCurrentContext(*context);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtCreateStream(stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret);<br> return 0;<br>&#125;<br>template <typename T><br>int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr,<br> aclDataType dataType, aclTensor** tensor) &#123;<br> auto size = GetShapeSize(shape) * sizeof(T);<br> // 调用aclrtMalloc申请device侧内存<br> auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret);<br> // 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上<br> ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret);<br> // 计算连续tensor的strides<br> std::vector<int64_t> strides(shape.size(), 1);<br> for (int64_t i = shape.size() - 2; i >= 0; i--) &#123;<br> strides[i] = shape[i + 1] * strides[i + 1];<br> &#125;<br> // 调用aclCreateTensor接口创建aclTensor<br> *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND,<br> shape.data(), shape.size(), *deviceAddr);<br> return 0;<br>&#125;<br>int main() &#123;<br> // 1. (固定写法)device/context/stream初始化, 参考AscendCL对外接口列表<br> // 根据自己的实际device填写deviceId<br> int32_t deviceId = 0;<br> aclrtContext context;<br> aclrtStream stream;<br> auto ret = Init(deviceId, &context, &stream);<br> // check根据自己的需要处理<br> CHECK_RET(ret == 0, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret);<br> // 2. 构造输入与输出,需要根据API的接口自定义构造<br> std::vector<int64_t> selfShape = &#123;2, 3, 2&#125;;<br> std::vector<int64_t> outShape = &#123;1, 3, 1&#125;;<br> void* selfDeviceAddr = nullptr;<br> void* outDeviceAddr = nullptr;<br> aclTensor* self = nullptr;<br> aclTensor* out = nullptr;<br> std::vector<float> selfHostData = &#123;0, 1, 2, 3, 4, 5, 6, 7, 8,9, 10, 11&#125;;<br> std::vector<int64_t> dimData = &#123;0,2&#125;;<br> std::vector<float> outHostData = &#123;0, 0, 0&#125;;<br> // 创建self aclTensor<br> ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self);<br> CHECK_RET(ret == ACL_SUCCESS, return ret);<br> // 创建dim aclIntArray<br> aclIntArray *dim = aclCreateIntArray(dimData.data(), dimData.size());<br> bool keepDim = true;<br> // 创建out aclTensor<br> ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out);<br> CHECK_RET(ret == ACL_SUCCESS, return ret);<br> // 3.调用CANN算子库API,需要修改为具体的算子接口<br> uint64_t workspaceSize = 0;<br> aclOpExecutor* executor;<br> // 调用aclnnAmin第一段接口<br> ret = aclnnAminGetWorkspaceSize(self, dim, keepDim, out, &workspaceSize, &executor);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAminGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);<br> // 根据第一段接口计算出的workspaceSize申请device内存<br> void* workspaceAddr = nullptr;<br> if (workspaceSize > 0) &#123;<br> ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret;);<br> &#125;<br> // 调用aclnnAmin第二段接口<br> ret = aclnnAmin(workspaceAddr, workspaceSize, executor, stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnMin failed. ERROR: %d\n", ret); return ret);<br> // 4. (固定写法)同步等待任务执行结束<br> ret = aclrtSynchronizeStream(stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);<br> // 5. 获取输出的值,将device侧内存上的结果拷贝至Host侧,需要根据具体API的接口定义修改<br> auto size = GetShapeSize(outShape);<br> std::vector<float> resultData(size, 0);<br> ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(float),<br> ACL_MEMCPY_DEVICE_TO_HOST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);<br> for (int64_t i = 0; i < size; i++) &#123;<br> LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]);<br> &#125;<br> // 6. 释放aclTensor和aclScalar,需要根据具体API的接口定义修改<br> aclDestroyTensor(self);<br> aclDestroyIntArray(dim);<br> aclDestroyTensor(out);<br> return 0;<br>&#125;<br>

父主题: NN类算子接口

aclnnAminmax

接口原型

每个算子有两段接口,必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnXxx”接口执行计算。两段式接口如下:

  • 第一段接口:

    aclnnStatus aclnnAminmaxGetWorkspaceSize(const aclTensor *self, const aclIntArray *dim, bool keepDim, aclTensor *minOut, aclTensor *maxOut, uint64_t *workspaceSize, aclOpExecutor **executor)

  • **第二段接口:**aclnnStatus aclnnAminmax(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

功能描述

算子功能:返回输入张量在指定维度上每行的最小值和最大值。

aclnnAminmaxGetWorkspaceSize

  • 接口定义:

    aclnnStatus aclnnAminmaxGetWorkspaceSize(const aclTensor *self, const aclIntArray *dim, bool keepDim, aclTensor *minOut, aclTensor *maxOut, uint64_t *workspaceSize, aclOpExecutor **executor)

  • 参数说明:

    • self:Device侧的aclTensor,输入张量,数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL,支持非连续的Tensor,数据格式支持ND。
    • dim:Host侧的aclIntArray,指定要缩减的维度,数据类型支持INT32、INT64,取值范围为[-self.dim(), self.dim())。
    • keepDim:Host侧的bool类型,reduce轴的维度是否保留。
    • minOut:Device侧的aclTensor,输出的最小值,数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL,且数据类型与self一致。支持非连续的Tensor,数据格式支持ND。
    • maxOut:Device侧的aclTensor,输出的最大值,数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL,且数据类型与self一致。支持非连续的Tensor,数据格式支持ND。
    • workspaceSize:返回用户需要在Device侧申请的workspace大小。
    • executor:返回op执行器,包含了算子计算流程。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

    :::note 说明 第一段接口完成入参校验,出现以下场景时报错:

    • 返回161001(ACLNN_ERR_PARAM_NULLPTR):传入的self、dim、minOut或maxOut是空指针。
    • 返回161002(ACLNN_ERR_PARAM_INVALID):
      • self的数据类型不在支持的范围内。
      • minOut或maxOut与self的数据类型不一致。
      • self、minOut或maxOut的shape超过8维。
      • dim超出范围。
      • dim指定的轴为空轴。 :::

aclnnAminmax

  • 接口定义:

    aclnnStatus aclnnAminmax(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

  • 参数说明:

    • workspace:在Device侧申请的workspace内存起址。
    • workspaceSize:在Device侧申请的workspace大小,由第一段接口aclnnAminmaxGetWorkspaceSize获取。
    • executor:op执行器,包含了算子计算流程。
    • stream:指定执行任务的AscendCL stream流。
  • 返回值:

    返回aclnnStatus状态码,具体参见aclnn返回码

调用示例

<br> 1<br> 2<br> 3<br> 4<br> 5<br> 6<br> 7<br> 8<br> 9<br> 10<br> 11<br> 12<br> 13<br> 14<br> 15<br> 16<br> 17<br> 18<br> 19<br> 20<br> 21<br> 22<br> 23<br> 24<br> 25<br> 26<br> 27<br> 28<br> 29<br> 30<br> 31<br> 32<br> 33<br> 34<br> 35<br> 36<br> 37<br> 38<br> 39<br> 40<br> 41<br> 42<br> 43<br> 44<br> 45<br> 46<br> 47<br> 48<br> 49<br> 50<br> 51<br> 52<br> 53<br> 54<br> 55<br> 56<br> 57<br> 58<br> 59<br> 60<br> 61<br> 62<br> 63<br> 64<br> 65<br> 66<br> 67<br> 68<br> 69<br> 70<br> 71<br> 72<br> 73<br> 74<br> 75<br> 76<br> 77<br> 78<br> 79<br> 80<br> 81<br> 82<br> 83<br> 84<br> 85<br> 86<br> 87<br> 88<br> 89<br> 90<br> 91<br> 92<br> 93<br> 94<br> 95<br> 96<br> 97<br> 98<br> 99<br>100<br>101<br>102<br>103<br>104<br>105<br>106<br>107<br>108<br>109<br>110<br>111<br>112<br>113<br>114<br>115<br>116<br>117<br>118<br>119<br>120<br>121<br>122<br>123<br>124<br>125<br>126<br>127<br>128<br>129<br>130<br>cpp<br>#include <iostream><br>#include <vector><br>#include "acl/acl.h"<br>#include "aclnnop/aclnn_aminmax.h"<br>#define CHECK_RET(cond, return_expr) \<br> do &#123; \<br> if (!(cond)) &#123; \<br> return_expr; \<br> &#125; \<br> &#125; while (0)<br>#define LOG_PRINT(message, ...) \<br> do &#123; \<br> printf(message, ##__VA_ARGS__); \<br> &#125; while (0)<br>int64_t GetShapeSize(const std::vector<int64_t>& shape) &#123;<br> int64_t shape_size = 1;<br> for (auto i : shape) &#123;<br> shape_size *= i;<br> &#125;<br> return shape_size;<br>&#125;<br>int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) &#123;<br> // 固定写法,AscendCL初始化<br> auto ret = aclInit(nullptr);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtSetDevice(deviceId);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtCreateContext(context, deviceId);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtSetCurrentContext(*context);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret);<br> ret = aclrtCreateStream(stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret);<br> return 0;<br>&#125;<br>template <typename T><br>int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr,<br> aclDataType dataType, aclTensor** tensor) &#123;<br> auto size = GetShapeSize(shape) * sizeof(T);<br> // 调用aclrtMalloc申请device侧内存<br> auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret);<br> // 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上<br> ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret);<br> // 计算连续tensor的strides<br> std::vector<int64_t> strides(shape.size(), 1);<br> for (int64_t i = shape.size() - 2; i >= 0; i--) &#123;<br> strides[i] = shape[i + 1] * strides[i + 1];<br> &#125;<br> // 调用aclCreateTensor接口创建aclTensor<br> *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND,<br> shape.data(), shape.size(), *deviceAddr);<br> return 0;<br>&#125;<br>int main() &#123;<br> // 1. (固定写法)device/context/stream初始化, 参考AscendCL对外接口列表<br> // 根据自己的实际device填写deviceId<br> int32_t deviceId = 0;<br> aclrtContext context;<br> aclrtStream stream;<br> auto ret = Init(deviceId, &context, &stream);<br> // check根据自己的需要处理<br> CHECK_RET(ret == 0, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret);<br> // 2. 构造输入与输出,需要根据API的接口自定义构造<br> std::vector<int64_t> selfShape = &#123;2, 3, 2&#125;;<br> std::vector<int64_t> outShape = &#123;1, 3, 2&#125;;<br> void* selfDeviceAddr = nullptr;<br> void* minOutDeviceAddr = nullptr;<br> void* maxOutDeviceAddr = nullptr;<br> aclTensor* self = nullptr;<br> aclTensor* minOut = nullptr;<br> aclTensor* maxOut = nullptr;<br> std::vector<float> selfHostData = &#123;0, 1, 2, 3, 4, 5, 6, 7, 8,9, 10, 11&#125;;<br> std::vector<float> minOutHostData = &#123;0, 0, 0, 0, 0, 0&#125;;<br> std::vector<float> maxOutHostData = &#123;0, 0, 0, 0, 0, 0&#125;;<br> int64_t dim = 0;<br> bool keepDim = true;<br> // 创建self aclTensor<br> ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self);<br> CHECK_RET(ret == ACL_SUCCESS, return ret);<br> // 创建out aclTensor<br> ret = CreateAclTensor(minOutHostData, outShape, &minOutDeviceAddr, aclDataType::ACL_FLOAT, &minOut);<br> CHECK_RET(ret == ACL_SUCCESS, return ret);<br> ret = CreateAclTensor(maxOutHostData, outShape, &maxOutDeviceAddr, aclDataType::ACL_FLOAT, &maxOut);<br> CHECK_RET(ret == ACL_SUCCESS, return ret);<br> // 3.调用CANN算子库API,需要修改为具体的算子接口<br> uint64_t workspaceSize = 0;<br> aclOpExecutor* executor;<br> // 调用aclnnAminmax第一段接口<br> ret = aclnnAminmaxGetWorkspaceSize(self, dim, keepDim, out, &workspaceSize, &executor);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAminmaxGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);<br> // 根据第一段接口计算出的workspaceSize申请device内存<br> void* workspaceAddr = nullptr;<br> if (workspaceSize > 0) &#123;<br> ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret;);<br> &#125;<br> // 调用aclnnAminmax第二段接口<br> ret = aclnnAminmax(workspaceAddr, workspaceSize, executor, stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAminmax failed. ERROR: %d\n", ret); return ret);<br> // 4. (固定写法)同步等待任务执行结束<br> ret = aclrtSynchronizeStream(stream);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);<br> // 5. 获取输出的值,将device侧内存上的结果拷贝至Host侧,需要根据具体API的接口定义修改<br> auto size = GetShapeSize(outShape);<br> std::vector<float> resultData(size, 0);<br> ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(float),<br> ACL_MEMCPY_DEVICE_TO_HOST);<br> CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);<br> for (int64_t i = 0; i < size; i++) &#123;<br> LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]);<br> &#125;<br> // 6. 释放aclTensor,需要根据具体API的接口定义修改<br> aclDestroyTensor(self);<br> aclDestroyTensor(minOut);<br> aclDestroyTensor(maxOut);<br> return 0;<br>&#125;<br>

父主题: NN类算子接口

在线提单