aclnnAddmm/aclnnInplaceAddmm

aclnnAddcdiv/aclnnInplaceAddcdiv

接口原型

:::note 说明

aclnnAddcdiv和aclnnInplaceAddcdiv实现相同的功能，其使用区别如下，请根据自身实际场景选择合适的算子。
- aclnnAddcdiv：需新建一个输出张量对象存储计算结果。
- aclnnInplaceAddcdiv：无需新建输出张量对象，直接在输入张量的内存中存储计算结果。
每个算子分为两段接口，必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnXxx”接口执行计算。 :::
aclnnAddcdiv两段式接口如下：
- **第一段接口：**aclnnStatus aclnnAddcdivGetWorkspaceSize(const aclTensor *self, const aclTensor *tensor1, const aclTensor *tensor2, const aclScalar *value, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
- **第二段接口：**aclnnStatus aclnnAddcdiv(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)
aclnnInplaceAddcdiv两段式接口如下：
- **第一段接口：**aclnnStatus aclnnInplaceAddcdivGetWorkspaceSize(const aclTensor *selfRef, const aclTensor *tensor1, const aclTensor *tensor2, const aclScalar *value, uint64_t *workspaceSize, aclOpExecutor **executor)
- **第二段接口：**aclnnStatus aclnnInplaceAddcdiv(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

功能描述

算子功能：完成tensor1与tensor2元素除法运算，将结果乘以标量value并将其添加到self中。
计算公式：

aclnnAddcdivGetWorkspaceSize

接口定义：

aclnnStatus aclnnAddcdivGetWorkspaceSize(const aclTensor *self, const aclTensor *tensor1, const aclTensor *tensor2, const aclScalar *value, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
参数说明：
- self：需要累加的张量，Device侧的aclTensor，数据类型支持FLOAT16、FLOAT、DOUBLE、INT64、BFLOAT16（仅Atlas A2训练系列产品支持），数据类型要和tensor1、tensor2支持可推导关系，shape要与tensor1、tensor2除过之后的tensor满足broadcast关系，支持非连续的Tensor，数据格式支持ND。
- tensor1：分子张量，Device侧的aclTensor，数据类型支持FLOAT16、FLOAT、DOUBLE、INT64、BFLOAT16（仅Atlas A2训练系列产品支持），数据类型要和self、tensor2支持可推导关系，shape要与tensor2满足broadcast关系，支持非连续的Tensor，数据格式支持ND。
- tensor2：分母张量，Device侧的aclTensor，数据类型支持FLOAT16、FLOAT、DOUBLE、INT64、BFLOAT16（仅Atlas A2训练系列产品支持），数据类型要和self、tensor1支持可推导关系，shape要与tensor1满足broadcast关系，支持非连续的Tensor，数据格式支持ND。
- value：Host侧的aclScalar，数据类型与self、tensor1、tensor2数据类型保持一致，不一致时需要强转成一致。
- out：输出张量，Device侧的aclTensor，数据类型支持FLOAT16、FLOAT、DOUBLE、INT64、BFLOAT16（仅Atlas A2训练系列产品支持），数据类型要满足和self、tensor1、tensor2推导关系，shape是self、tensor1、tensor2 broadcast之后的shape，支持非连续Tensor，数据格式支持ND。
- workspaceSize：返回用户需要在Device侧申请的workspace大小。
- executor：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

:::note 说明第一段接口完成入参校验，出现以下场景时报错：
- 返回161001（ACLNN_ERR_PARAM_NULLPTR）：传入的self、tensor1、tensor2或out是空指针。
- 返回161002（ACLNN_ERR_PARAM_INVALID）：
  - 参数self、tensor1、tensor2的数据类型和数据格式不在支持的范围内。
  - 参数self、tensor1、tensor2的shape不满足broadcast推导关系。 :::

aclnnAddcdiv

接口定义：

aclnnStatus aclnnAddcdiv(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)
参数说明：
- workspace：在Device侧申请的workspace内存起址。
- workspaceSize：在Device侧申请的workspace大小，由第一段接口aclnnAddcdivGetWorkspaceSize获取。
- executor：op执行器，包含了算子计算流程。
- stream：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

aclnnInplaceAddcdivGetWorkspaceSize

接口定义：

aclnnStatus aclnnInplaceAddcdivGetWorkspaceSize(const aclTensor *selfRef, const aclTensor *tensor1, const aclTensor *tensor2, const aclScalar *value, uint64_t *workspaceSize, aclOpExecutor **executor)
参数说明：
- selfRef：需要累加的张量，Device侧的aclTensor，数据类型支持FLOAT16、FLOAT、DOUBLE、INT64、BFLOAT16（仅Atlas A2训练系列产品支持），数据类型要和tensor1、tensor2支持可推导关系，shape要与tensor1、tensor2除过之后的tensor满足broadcast关系，支持非连续的Tensor，数据格式支持ND。
- tensor1：分子张量，Device侧的aclTensor，数据类型支持FLOAT16、FLOAT、DOUBLE、INT64、BFLOAT16（仅Atlas A2训练系列产品支持），数据类型要和self、tensor2支持可推导关系，shape要与tensor2满足broadcast关系，支持非连续的Tensor，数据格式支持ND。
- tensor2：分母张量，Device侧的aclTensor，数据类型支持FLOAT16、FLOAT、DOUBLE、INT64、BFLOAT16（仅Atlas A2训练系列产品支持），数据类型要和self、tensor1支持可推导关系，shape要与tensor1满足broadcast关系，支持非连续的Tensor，数据格式支持ND。
- value：Host侧的aclScalar，数据类型与self、tensor1、tensor2数据类型保持一致，不一致时需要强转成一致。
- workspaceSize：返回用户需要在Device侧申请的workspace大小。
- executor：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

:::note 说明第一段接口完成入参校验，出现以下场景时报错：
- 返回161001（ACLNN_ERR_PARAM_NULLPTR）：传入的selfRef、tensor1、tensor2是空指针。
- 返回161002（ACLNN_ERR_PARAM_INVALID）：
  - 参数selfRef 、tensor1、tensor2的数据类型和数据格式不在支持的范围内。
  - 参数selfRef 、tensor1、tensor2的shape不满足broadcast推导关系。 :::

aclnnInplaceAddcdiv

接口定义：

aclnnStatus aclnnInplaceAddcdiv(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)
参数说明：
- workspace：在Device侧申请的workspace内存起址。
- workspaceSize：在Device侧申请的workspace大小，由第一段接口aclnnInplaceAddcdivGetWorkspaceSize获取。
- executor：op执行器，包含了算子计算流程。
- stream：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

调用示例

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 cpp #include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_addcdiv.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t>& shape) { int64_t shapeSize = 1; for (auto i : shape) { shapeSize *= i; } return shapeSize; } int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) { // 固定写法，AscendCL初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateContext(context, deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret); ret = aclrtSetCurrentContext(*context); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. （固定写法）device/context/stream初始化，参考AscendCL对外接口列表 // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtContext context; aclrtStream stream; auto ret = Init(deviceId, &context, &stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出，需要根据API的接口自定义构造 std::vector<int64_t> selfShape = {4, 2}; std::vector<int64_t> tensor1Shape = {4, 2}; std::vector<int64_t> tensor2Shape = {4, 2}; std::vector<int64_t> outShape = {4, 2}; void* selfDeviceAddr = nullptr; void* tensor1DeviceAddr = nullptr; void* tensor2DeviceAddr = nullptr; void* outDeviceAddr = nullptr; aclTensor* self = nullptr; aclTensor* tensor1 = nullptr; aclTensor* tensor2 = nullptr; aclScalar* value = nullptr; aclTensor* out = nullptr; std::vector<float> selfHostData = {0, 1, 2, 3, 4, 5, 6, 7}; std::vector<float> tensor1HostData = {2, 2, 2, 2, 2, 2, 2, 2}; std::vector<float> tensor2HostData = {2, 2, 2, 2, 2, 2, 2, 2}; std::vector<float> outHostData = {0, 0, 0, 0, 0, 0, 0, 0}; float scalarValue = 1.2f; // 创建self aclTensor ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建tensor1 aclTensor ret = CreateAclTensor(tensor1HostData, tensor1Shape, &tensor1DeviceAddr, aclDataType::ACL_INT64, &tensor1); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建tensor2 aclTensor ret = CreateAclTensor(tensor2HostData, tensor2Shape, &tensor2DeviceAddr, aclDataType::ACL_INT64, &tensor2); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建value aclScalar value = aclCreateScalar(&scalarValue, aclDataType::ACL_FLOAT); // 创建out aclTensor ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); // 3. 调用CANN算子库API，需要修改为具体的API名称 uint64_t workspaceSize = 0; aclOpExecutor* executor; // 调用aclnnAddcdiv第一段接口 ret = aclnnAddcdivGetWorkspaceSize(self, tensor1, tensor2, value, out, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnEmbeddingDenseBackwardGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } // 调用aclnnAddcdiv第二段接口 ret = aclnnAddcdiv(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddcdiv failed. ERROR: %d\n", ret); return ret); // 4. （固定写法）同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值，将device侧内存上的结果拷贝至Host侧，需要根据具体API的接口定义修改 auto size = GetShapeSize(outShape); std::vector<float> resultData(size, 0); ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy resultData from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("resultData[%ld] is: %f\n", i, resultData[i]); } // 6. 释放aclTensor和aclScalar，需要根据具体API的接口定义修改 aclDestroyTensor(self); aclDestroyTensor(tensor1); aclDestroyTensor(tensor2); aclDestroyTensor(out); aclDestroyScalar(value); return 0; }

父主题： NN类算子接口

aclnnAddcmul/aclnnInplaceAddcmul

接口原型

:::note 说明

aclnnAddcmul和aclnnInplaceAddcmul实现相同的功能，其使用区别如下，请根据自身实际场景选择合适的算子。
- aclnnAddcmul：需新建一个输出张量对象存储计算结果。
- aclnnInplaceAddcmul：无需新建输出张量对象，直接在输入张量的内存中存储计算结果。
每个算子分为两段接口，必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnXxx”接口执行计算。 :::
aclnnAddcmul两段式接口如下：
- **第一段接口：**aclnnStatus aclnnAddcmulGetWorkspaceSize(const aclTensor *self, const aclTensor *tensor1, const aclTensor *tensor2, const aclScalar *value, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor** executor)
- **第二段接口：**aclnnStatus aclnnAddcmul(void *workspace, uint64_t workspaceSize, aclOpExecutor **executor, const aclrtStream stream)
aclnnInplaceAddcmul两段式接口如下：
- **第一段接口：**aclnnStatus aclnnInplaceAddcmulGetWorkspaceSize(const aclTensor *self, const aclTensor *tensor1, const aclTensor *tensor2, const aclScalar *value, uint64_t *workspaceSize, aclOpExecutor **executor)
- **第二段接口：**aclnnStatus aclnnInplaceAddcmul(void *workspace, uint64_t workspaceSize, aclOpExecutor **executor, const aclrtStream stream)

功能描述

算子功能：张量tensor1和张量tensor2逐元素相乘，结果乘以标量value后将其添加到输入张量self中。
计算公式：

aclnnAddcmulGetWorkspaceSize

接口定义：

aclnnStatus aclnnAddcmulGetWorkspaceSize(const aclTensor *self, const aclTensor *tensor1, const aclTensor *tensor2, const aclScalar *value, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor** executor)
参数说明：
- self：Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要与tensor1、tensor2相乘的结果构成互推导关系，shape需要与tensor1、tensor2满足broadcast关系。支持非连续的Tensor，数据格式支持ND，且数据格式需要与tensor1、tensor2一致。
- tensor1：Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要与self、tensor2构成互推导关系，shape需要与self、tensor2满足broadcast关系。支持非连续的Tensor，数据格式支持ND，且数据格式需要与self、tensor2一致。
- tensor2：Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要与self、tensor1构成互推导关系，shape需要与self、tensor1满足broadcast关系。支持非连续的Tensor，数据格式支持ND，且数据格式需要与self、tensor1一致。
- value：Host侧的aclScalar，数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT8、UINT8、BOOL、BFLOAT16（仅Atlas A2训练系列产品支持），数据类型需要可转换成self与tensor1、tensor2推导后的数据类型。
- out ：Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要是self与tensor1、tensor2推导之后可转换的数据类型，shape需要是self与tensor1、tensor2 broadcast之后的shape，支持非连续的Tensor，数据格式支持ND，且数据格式需要与self一致。
- workspaceSize：返回用户需要在Device侧申请的workspace大小。
- executor：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

:::note 说明第一段接口完成入参校验，出现以下场景时报错：
- 返回161001（ACLNN_ERR_PARAM_NULLPTR）：传入的self、tensor1、tensor2、value或out是空指针。
- 返回161002（ACLNN_ERR_PARAM_INVALID）：
  - self和tensor1、tensor2的数据类型和数据格式不在支持的范围内。
  - self和tensor1、tensor2无法做数据类型推导。
  - 推导出的数据类型无法转换为指定输出out的类型。
  - self和tensor1、tensor2的shape无法做broadcast。 :::

aclnnAddcmul

接口定义：

aclnnStatus aclnnAddcmul(void* workspace, int64 workspaceSize, aclOpExecutor** executor, aclrtStream stream)
参数说明：
- workspace：在Device侧申请的workspace内存起址。
- workspaceSize：在Device侧申请的workspace大小，由第一段接口aclnnAddcmulGetWorkspaceSize获取。
- executor：op执行器，包含了算子计算流程。
- stream：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

aclnnInplaceAddcmulGetWorkspaceSize

接口定义：

aclnnStatus aclnnInplaceAddcmulGetWorkspaceSize(const aclTensor *self, const aclTensor *tensor1, const aclTensor *tensor2, const aclScalar *value, uint64_t *workspaceSize, aclOpExecutor **executor)
参数说明：
- self：Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要与tensor1、tensor2相乘的结果构成互推导关系，shape需要与tensor1、tensor2满足broadcast关系。支持非连续的Tensor，数据格式支持ND，且数据格式需要与tensor1、tensor2一致。
- tensor1：Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要与self、tensor2构成互推导关系，shape需要与self、tensor2满足broadcast关系。支持非连续的Tensor，数据格式支持ND，且数据格式需要与self、tensor2一致。
- tensor2：Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要与self、tensor1构成互推导关系，shape需要与self、tensor1满足broadcast关系。支持非连续的Tensor，数据格式支持ND，且数据格式需要与self、tensor1一致。
- value：Host侧的aclScalar，数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT8、UINT8、BOOL、BFLOAT16（仅Atlas A2训练系列产品支持），数据类型需要可转换成self与tensor1、tensor2推导后的数据类型。
- workspaceSize：返回用户需要在Device侧申请的workspace大小。
- executor：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

:::note 说明第一段接口完成入参校验，出现以下场景时报错：
- 返回161001（ACLNN_ERR_PARAM_NULLPTR）：传入的self、tensor1、tensor2、value是空指针。
- 返回161002（ACLNN_ERR_PARAM_INVALID）：
  - self和tensor1、tensor2的数据类型和数据格式不在支持的范围内。
  - self和tensor1、tensor2无法做数据类型推导。
  - self和tensor1、tensor2的shape无法做broadcast。 :::

aclnnInplaceAddcmul

接口定义：

aclnnStatus aclnnInplaceAddcmul(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)
参数说明：
- workspace：在Device侧申请的workspace内存起址。
- workspaceSize：在Device侧申请的workspace大小，由第一段接口aclnnInplaceAddcmulGetWorkspaceSize获取。
- executor：op执行器，包含了算子计算流程。
- stream：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

调用示例

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 cpp #include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_addcmul.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t>& shape) { int64_t shape_size = 1; for (auto i : shape) { shape_size *= i; } return shape_size; } int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) { // 固定写法，AscendCL初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateContext(context, deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret); ret = aclrtSetCurrentContext(*context); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. （固定写法）device/context/stream初始化, 参考AscendCL对外接口列表 // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtContext context; aclrtStream stream; auto ret = Init(deviceId, &context, &stream); // check根据自己的需要处理 CHECK_RET(ret == 0, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出，需要根据API的接口自定义构造 std::vector<int64_t> selfShape = {4, 2}; std::vector<int64_t> other1Shape = {4, 2}; std::vector<int64_t> other2Shape = {4, 2}; std::vector<int64_t> outShape = {4, 2}; void* selfDeviceAddr = nullptr; void* other1DeviceAddr = nullptr; void* other2DeviceAddr = nullptr; void* outDeviceAddr = nullptr; aclTensor* self = nullptr; aclTensor* other1 = nullptr; aclTensor* other2 = nullptr; aclScalar* value= nullptr; aclTensor* out = nullptr; std::vector<float> selfHostData = {0, 1, 2, 3, 4, 5, 6, 7}; std::vector<float> other1HostData = {1, 1, 1, 2, 2, 2, 3, 3}; std::vector<float> other2HostData = {1, 1, 1, 2, 2, 2, 3, 3}; std::vector<float> outHostData = {0, 0, 0, 0, 0, 0, 0, 0}; float valueNum = 1.2f; // 创建self aclTensor ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建other1 aclTensor ret = CreateAclTensor(other1HostData, other1Shape, &other1DeviceAddr, aclDataType::ACL_FLOAT, &other1); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建other2 aclTensor ret = CreateAclTensor(other2HostData, other2Shape, &other2DeviceAddr, aclDataType::ACL_FLOAT, &other2); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建value aclScalar value = aclCreateScalar(&valueNum, aclDataType::ACL_FLOAT); CHECK_RET(value != nullptr, return ret); // 创建out aclTensor ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); // 3.调用CANN算子库API，需要修改为具体的算子接口 uint64_t workspaceSize = 0; aclOpExecutor* executor; // 调用aclnnAddcmul第一段接口 ret = aclnnAddcmulGetWorkspaceSize(self, other1, other2, value, out, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddcmulGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret;); } // 调用aclnnAddcmul第二段接口 ret = aclnnAddcmul(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddcmul failed. ERROR: %d\n", ret); return ret); // 4. （固定写法）同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值，将device侧内存上的结果拷贝至Host侧，需要根据具体API的接口定义修改 auto size = GetShapeSize(outShape); std::vector<float> resultData(size, 0); ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(float), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]); } // 6. 释放aclTensor和aclScalar，需要根据具体API的接口定义修改 aclDestroyTensor(self); aclDestroyTensor(other1); aclDestroyTensor(other2); aclDestroyScalar(value); aclDestroyTensor(out); return 0; }

父主题： NN类算子接口

aclnnAddmm/aclnnInplaceAddmm

接口原型

:::note 说明

aclnnAddmm和aclnnInplaceAddmm实现相同的功能，其使用区别如下，请根据自身实际场景选择合适的算子。
- aclnnAddmm：需新建一个输出张量对象存储计算结果。
- aclnnInplaceAddmm：无需新建输出张量对象，直接在输入张量的内存中存储计算结果。
每个算子分为两段接口，必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnXxx”接口执行计算。 :::
aclnnAddmm两段式接口如下：
- **第一段接口：**aclnnStatus aclnnAddmmGetWorkspaceSize(const aclTensor *self, const aclTensor *mat1, const aclTensor *mat2, const aclScalar *beta, const aclScalar *alpha, aclTensor *out, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)
- **第二段接口：**aclnnStatus aclnnAddmm(void *workspace, uint64_t workspaceSize, aclOpExecutor **executor, const aclrtStream stream)
aclnnInplaceAddmm两段式接口如下：
- **第一段接口：**aclnnStatus aclnnInplaceAddmmGetWorkspaceSize(const aclTensor *selfRef, const aclTensor *mat1, const aclTensor *mat2, const aclScalar *beta, const aclScalar *alpha, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)
- **第二段接口：**aclnnStatus aclnnInplaceAddmm(void *workspace, uint64_t workspaceSize, aclOpExecutor **executor, const aclrtStream stream)

功能描述

算子功能：先计算α乘以mat1与mat2的乘积，再与β和输入张量self的乘积求和。
计算公式：

aclnnAddmmGetWorkspaceSize

接口定义：

aclnnStatus aclnnAddmmGetWorkspaceSize(const aclTensor *self, const aclTensor *mat1, const aclTensor *mat2, const aclScalar *beta, const aclScalar *alpha, aclTensor *out, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)
参数说明：
- self：Device侧的aclTensor，数据类型支持FLOAT16、FLOAT、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要与mat1@mat2构成互推导关系，shape需要与mat1@mat2一致。支持非连续的Tensor，数据格式支持ND。
- mat1：Device侧的aclTensor，数据类型支持FLOAT16、FLOAT、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要与self、mat2构成互推导关系，shape需要满足与mat2相乘条件。支持非连续的Tensor，数据格式支持ND。
- mat2：Device侧的aclTensor，数据类型支持FLOAT16、FLOAT、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要与self、mat1构成互推导关系，shape需要满足与mat1相乘条件。支持非连续的Tensor，数据格式支持ND。
- beta：Host侧的aclScalar，数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL。
- alpha：Host侧的aclScalar，数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL。
- out：Device侧的aclTensor，数据类型支持FLOAT16、FLOAT、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要与self构成互推导关系，shape需要与self、mat1@mat2一致，数据格式支持ND。
- cubeMathType：Host侧的整型，判断Cube单元应该使用哪种计算逻辑进行运算，支持INT8类型的枚举值，枚举值如下：
  - 0：KEPP_DTYPE，保持输入的数据类型进行计算。
  - 1：ALLOW_FP32_DOWN_PRECISION，允许转换输入数据类型降低精度计算。
- workspaceSize：返回用户需要在Device侧申请的workspace大小。
- executor：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

:::note 说明第一段接口完成入参校验，出现以下场景时报错：
- 返回161001（ACLNN_ERR_PARAM_NULLPTR）：传入的self、mat1、mat2或out是空指针。
- 返回161002（ACLNN_ERR_PARAM_INVALID）：
  - self、mat1、mat2的数据类型和数据格式不在支持的范围内。
  - mat1和mat2不满足相乘条件。
  - self和mat1@mat2的shape不一致。 :::

aclnnAddmm

接口定义：

aclnnStatus aclnnAddmm(void *workspace, uint64_t workspaceSize, aclOpExecutor **executor, const aclrtStream stream)
参数说明：
- workspace：在Device侧申请的workspace内存起址。
- workspaceSize：在Device侧申请的workspace大小，由第一段接口aclnnAddmmGetWorkspaceSize获取。
- executor：op执行器，包含了算子计算流程。
- stream：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

aclnnInplaceAddmmGetWorkspaceSize

接口定义：

aclnnStatus aclnnInplaceAddmmGetWorkspaceSize(const aclTensor *selfRef, const aclTensor *mat1, const aclTensor *mat2, const aclScalar *beta, const aclScalar *alpha, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)
参数说明：
- selfRef：Device侧的aclTensor，输入/输出张量，数据类型支持FLOAT16、FLOAT、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要与mat1@mat2构成互推导关系，shape需要与mat1@mat2一致。支持非连续的Tensor，数据格式支持ND。
- mat1：Device侧的aclTensor，数据类型支持FLOAT16、FLOAT、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要与self、mat2构成互推导关系，shape需要满足与mat2相乘条件。支持非连续的Tensor，数据格式支持ND。
- mat2：Device侧的aclTensor，数据类型支持FLOAT16、FLOAT、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要与self、mat1构成互推导关系，shape需要满足与mat1相乘条件。支持非连续的Tensor，数据格式支持ND。
- beta：Host侧的aclScalar，数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL。
- alpha：Host侧的aclScalar，数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL。
- cubeMathType：Host侧的整型，判断Cube单元应该使用哪种计算逻辑进行运算，支持INT8类型的枚举值，枚举值如下：
  - 0：KEPP_DTYPE，保持输入的数据类型进行计算。
  - 1：ALLOW_FP32_DOWN_PRECISION，允许转换输入数据类型降低精度计算。
- workspaceSize：返回用户需要在Device侧申请的workspace大小。
- executor：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

:::note 说明第一段接口完成入参校验，出现以下场景时报错：
- 返回161001（ACLNN_ERR_PARAM_NULLPTR）：传入的self、mat1、mat2是空指针。
- 返回161002（ACLNN_ERR_PARAM_INVALID）：
  - self、mat1、mat2的数据类型和数据格式不在支持的范围内。
  - mat1和mat2不满足相乘条件。
  - self和mat1@mat2的shape不一致。 :::

aclnnInplaceAddmm

接口定义：

aclnnStatus aclnnInplaceAddmm(void *workspace, uint64_t workspaceSize, aclOpExecutor **executor, const aclrtStream stream)
参数说明：
- workspace：在Device侧申请的workspace内存起址。
- workspaceSize：在Device侧申请的workspace大小，由第一段接口aclnnInplaceAddmmGetWorkspaceSize获取。
- executor：op执行器，包含了算子计算流程。
- stream：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

调用示例

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 cpp #include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_addmm.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t>& shape) { int64_t shape_size = 1; for (auto i : shape) { shape_size *= i; } return shape_size; } int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) { // 固定写法，AscendCL初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateContext(context, deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret); ret = aclrtSetCurrentContext(*context); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. （固定写法）device/context/stream初始化, 参考AscendCL对外接口列表 // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtContext context; aclrtStream stream; auto ret = Init(deviceId, &context, &stream); // check根据自己的需要处理 CHECK_RET(ret == 0, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出，需要根据API的接口自定义构造 std::vector<int64_t> selfShape = {2, 2}; std::vector<int64_t> mat1Shape = {2, 2}; std::vector<int64_t> mat2Shape = {2, 2}; std::vector<int64_t> outShape = {2, 2}; void* selfDeviceAddr = nullptr; void* mat1DeviceAddr = nullptr; void* mat2DeviceAddr = nullptr; void* outDeviceAddr = nullptr; aclTensor* self = nullptr; aclTensor* mat1 = nullptr; aclTensor* mat2 = nullptr; aclScalar* alpha = nullptr; aclScalar* beta = nullptr; aclTensor* out = nullptr; std::vector<float> selfHostData = {1, 1, 1, 1}; std::vector<float> mat1HostData = {1, 1, 1, 1}; std::vector<float> mat2HostData = {1, 1, 1, 1}; std::vector<float> outHostData = {0, 0, 0, 0}; float alphaValue = 1.0f; float betaValue = 1.0f; int8_t cubeMathType = 1; // 创建self aclTensor ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建mat1 aclTensor ret = CreateAclTensor(mat1HostData, mat1Shape, &mat1DeviceAddr, aclDataType::ACL_FLOAT, &mat1); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建mat2 aclTensor ret = CreateAclTensor(mat2HostData, mat2Shape, &mat2DeviceAddr, aclDataType::ACL_FLOAT, &mat2); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建out aclTensor ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建alpha aclScalar alpha = aclCreateScalar(&alphaValue, aclDataType::ACL_FLOAT); CHECK_RET(alpha != nullptr, return ret); // 创建upper aclScalar beta = aclCreateScalar(&betaValue, aclDataType::ACL_FLOAT); CHECK_RET(beta != nullptr, return ret); // 3. 调用CANN算子库API uint64_t workspaceSize = 0; aclOpExecutor* executor; // 调用aclnnAddmm第一段接口 ret = aclnnAddmmGetWorkspaceSize(self, mat1, mat2, beta, alpha, out, cubeMathType, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddmmGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret;); } // 调用aclnnAddmm第二段接口 ret = aclnnAddmm(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddmm failed. ERROR: %d\n", ret); return ret); // 4. （固定写法）同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值，将device侧内存上的结果拷贝至Host侧，需要根据具体API的接口定义修改 auto size = GetShapeSize(outShape); std::vector<float> resultData(size, 0); ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(float), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]); } // 6. 释放aclTensor和aclScalar，需要根据具体API的接口定义修改 aclDestroyTensor(self); aclDestroyTensor(mat1); aclDestroyTensor(mat2); aclDestroyTensor(out); aclDestroyScalar(alpha); aclDestroyScalar(beta); return 0; }

父主题： NN类算子接口

aclnnAddmv

接口原型

每个算子有两段接口，必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnXxx”接口执行计算。两段式接口如下：

**第一段接口：**aclnnStatus aclnnAddmvGetWorkspaceSize(const aclTensor *self, const aclTensor *mat, const aclTensor *vec, const aclScalar *alpha, const aclScalar *beta, aclTensor *out, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)
第二段接口：aclnnStatus aclnnAddmv(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

算子功能：先完成矩阵乘向量，再完成加向量计算。
计算公式：

aclnnAddmvGetWorkspaceSize

接口定义：

aclnnStatus aclnnAddmvGetWorkspaceSize(const aclTensor *self, const aclTensor *mat, const aclTensor *vec, const aclScalar *alpha, const aclScalar *beta, aclTensor *out, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)
参数说明：
- self：Device侧的aclTensor，用于与乘法结果相加的1维向量。支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、DOUBLE、BOOL，且数据类型需要与mat和vec的乘积构成互推导关系，shape需要与mat和vec的乘积满足broadcast关系。支持非连续的Tensor，数据格式支持ND。
- mat：Device侧的aclTensor，用于和vec进行乘法运算的2维矩阵。支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、DOUBLE、BOOL，数据类型需要与self构成互推导关系，shape需要与vec满足乘法关系。支持非连续的Tensor，数据格式支持ND。
- vec：Device侧的aclTensor，用于和mat进行乘法运算的1维向量。支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、DOUBLE、BOOL，数据类型需要与self构成互推导关系，shape需要与mat满足乘法关系。支持非连续的Tensor，数据格式支持ND。
- alpha：Host侧的aclScalar，mat和vec乘积的系数, 支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、DOUBLE、BOOL，数据类型需要与self构成互推导关系。
- beta：Host侧的aclScalar，self的系数，支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、DOUBLE、BOOL，数据类型需要与self构成互推导关系。
- out：Device侧的aclTensor，输出的1维向量。支持FLOAT、FLOAT16、INT32、INT64、INT16、INT8、UINT8、DOUBLE、BOOL，数据类型需要与self构成互推导关系。
- cubeMathType：Host侧的整型，判断Cube单元应该使用哪种计算逻辑进行运算，支持INT8类型的枚举值，枚举值如下：
  - 0：KEPP_DTYPE，保持输入的数据类型进行计算。
  - 1：ALLOW_FP32_DOWN_PRECISION，允许转换输入数据类型降低精度计算。
- workspaceSize：返回用户需要在Device侧申请的workspace大小。
- executor：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

:::note 说明第一段接口完成入参校验，出现以下场景时报错：
- 返回161001（ACLNN_ERR_PARAM_NULLPTR）：传入的self、mat、vec、alpha或beta是空指针。
- 返回161002（ACLNN_ERR_PARAM_INVALID）：
  - self和mat、vec的数据类型和数据格式不在支持的范围内。
  - self和mat、vec无法做数据类型推导。
  - 推导出的数据类型和数据格式无法转换为指定输出out的类型和格式。
  - mat、vec的shape不满足乘法运算条件或者self和乘法运算结果不满足加法运算条件。 :::

aclnnAddmv

接口定义：

aclnnStatus aclnnAddmv(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)
参数说明：
- workspace：在Device侧申请的workspace内存起址。
- workspaceSize：在Device侧申请的workspace大小，由第一段接口aclnnAddmvGetWorkspaceSize获取。
- executor：op执行器，包含了算子计算流程。
- stream：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

调用示例

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 cpp #include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_addmv.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t> &shape) { int64_t shape_size = 1; for (auto i : shape) { shape_size *= i; } return shape_size; } int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) { // 固定写法，AscendCL初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateContext(context, deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret); ret = aclrtSetCurrentContext(*context); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T> &hostData, const std::vector<int64_t> &shape, void **deviceAddr, aclDataType dataType, aclTensor **tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. （固定写法）device/context/stream初始化, 参考AscendCL对外接口列表 // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtContext context; aclrtStream stream; auto ret = Init(deviceId, &context, &stream); // check根据自己的需要处理 CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出，需要根据API的接口自定义构造 std::vector<int64_t> selfShape = {2}; std::vector<int64_t> matShape = {2, 2}; std::vector<int64_t> vecShape = {2}; std::vector<int64_t> outShape = {2}; void *selfDeviceAddr = nullptr; void *matDeviceAddr = nullptr; void *vecDeviceAddr = nullptr; void *outDeviceAddr = nullptr; aclTensor *self = nullptr; aclTensor *mat = nullptr; aclTensor *vec = nullptr; aclScalar *alpha = nullptr; aclScalar *beta = nullptr; aclTensor *out = nullptr; std::vector<float> selfHostData = {1, 1}; std::vector<float> matHostData = {1, 1, 1, 1}; std::vector<float> vecHostData = {1, 1}; std::vector<float> outHostData = {0, 0}; float alphaValue = 1.0f; float betaValue = 1.0f; int8_t cubeMathType = 1; // 创建self aclTensor ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建mat aclTensor ret = CreateAclTensor(matHostData, matShape, &matDeviceAddr, aclDataType::ACL_FLOAT, &mat); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建vec aclTensor ret = CreateAclTensor(vecHostData, vecShape, &vecDeviceAddr, aclDataType::ACL_FLOAT, &vec); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建out aclTensor ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建alpha aclScalar alpha = aclCreateScalar(&alphaValue, aclDataType::ACL_FLOAT); CHECK_RET(alpha != nullptr, return ret); // 创建upper aclScalar beta = aclCreateScalar(&betaValue, aclDataType::ACL_FLOAT); CHECK_RET(beta != nullptr, return ret); // 3. 调用CANN算子库API uint64_t workspaceSize = 0; aclOpExecutor *executor; // 调用aclnnAddmv第一段接口 ret = aclnnAddmvGetWorkspaceSize(self, mat, vec, alpha, beta, out, cubeMathType, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddmvGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void *workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } // 调用aclnnAddmv第二段接口 ret = aclnnAddmv(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddmv failed. ERROR: %d\n", ret); return ret); // 4. （固定写法）同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值，将device侧内存上的结果拷贝至Host侧，需要根据具体API的接口定义修改 auto size = GetShapeSize(outShape); std::vector<float> resultData(size, 0); ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]); } // 6. 释放aclTensor和aclScalar，需要根据具体API的接口定义修改 aclDestroyTensor(self); aclDestroyTensor(mat); aclDestroyTensor(vec); aclDestroyTensor(out); aclDestroyScalar(alpha); aclDestroyScalar(beta); return 0; }

父主题： NN类算子接口

aclnnAddr/aclnnInplaceAddr

接口原型

:::note 说明

aclnnAddr和aclnnInplaceAddr实现相同的功能，其使用区别如下，请根据自身实际场景选择合适的算子。
- aclnnAddr：需新建一个输出张量对象存储计算结果。
- aclnnInplaceAddr：无需新建输出张量对象，直接在输入张量的内存中存储计算结果。
每个算子分为两段接口，必须先调用“aclnnXxxGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnXxx”接口执行计算。 :::
aclnnAddr两段式接口如下：
- **第一段接口：**aclnnStatus aclnnAddrGetWorkspaceSize(const aclTensor* self, const aclTensor* vec1, const aclTensor* vec2, const aclScalar* betaOptional, aclScalar* alphaOptional, aclTensor *out, uint64_t* workspaceSize, aclOpExecutor** executor)
- **第二段接口：**aclnnstatus aclnnAddr(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)
aclnnInplaceAddr两段式接口如下：
- **第一段接口：**aclnnStatus aclnnInplaceAddrGetWorkspaceSize(aclTensor* selfRef, const aclTensor* vec1, const aclTensor* vec2, const aclScalar* betaOptional, aclScalar* alphaOptional, uint64_t* workspaceSize, aclOpExecutor** executor)
- **第二段接口：**aclnnstatus aclnnInplaceAddr(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

功能描述

算子功能：求矩阵vec1和vec2的外积，并将外积结果扩展一个矩阵后输出。
计算公式：

aclnnAddrGetWorkspaceSize

接口定义：

aclnnStatus aclnnAddrGetWorkspaceSize(const aclTensor* self, const aclTensor* vec1, const aclTensor* vec2, const aclScalar* betaOptional, aclScalar* alphaOptional, aclTensor *out, uint64_t* workspaceSize, aclOpExecutor** executor)
参数说明：
- self：外积扩展矩阵，Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL，shape需要与vec1、vec2满足broadcast关系，支持非连续的Tensor，数据格式支持ND。
- vec1：外积入参第一向量，Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL，shape需要与self满足broadcast关系，支持非连续的Tensor，数据格式支持ND。
- vec2：外积入参第二向量，Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL，shape需要与self满足broadcast关系，支持非连续的Tensor，数据格式支持ND。
- betaOptional：外积扩展矩阵比例因子，Host侧的aclScalar，数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL。如果betaOptional为BOOL类型，则self、vec1、vec2可转换的最大类型为BOOL。数据格式支持ND。
- alphaOptional：外积比例因子，Host侧的aclScalar，数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL。如果alphaOptional为BOOL类型，则self、vec1、vec2可转换的最大类型为BOOL。数据格式支持ND。
- out：输出结果，Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL，支持非连续的Tensor，数据格式支持ND。
- workspaceSize：返回用户需要在Device侧申请的workspace大小。
- executor：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

:::note 说明第一段接口完成入参校验，出现以下场景时报错：
- 返回161001（ACLNN_ERR_PARAM_NULLPTR）：传入的self、vec1、vec2或out是空指针。
- 返回161002（ACLNN_ERR_PARAM_INVALID）：
  - self、vec1和vec2的数据类型和数据格式不在支持的范围之内。
  - vec1和vec2维度不为1，self维度超过2。
  - self不能扩展成vec1和vec2外积结果形状。
  - betaOptional或者alphaOptional为BOOL类型时，self、vec1、vec2最大类型为非BOOL类型。
  - self、vec1、vec2类型都为整型时， betaOptional或者alphaOptional为浮点型。 :::

aclnnAddr

接口定义：

aclnnstatus aclnnAddr(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)
参数说明：
- workspace：在Device侧申请的workspace内存起址。
- workspaceSize：在Device侧申请的workspace大小，由第一段接口aclnnAddrGetWorkspaceSize获取。
- executor：op执行器，包含了算子计算流程。
- stream：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

aclnnInplaceAddrGetWorkspaceSize

接口定义：

aclnnStatus aclnnInplaceAddrGetWorkspaceSize(aclTensor* selfRef, const aclTensor* vec1, const aclTensor* vec2, const aclScalar* betaOptional, aclScalar* alphaOptional, uint64_t* workspaceSize, aclOpExecutor** executor)
参数说明：
- selfRef：外积扩展矩阵，Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL，支持非连续的Tensor，数据格式支持ND。
- vec1：外积入参第一向量，Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL，支持非连续的Tensor，数据格式支持ND。
- vec2：外积入参第二向量，Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL，支持非连续的Tensor，数据格式支持ND。
- betaOptional：外积扩展矩阵比例因子，Host侧的aclScalar，数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL。如果betaOptional为BOOL类型，则self、vec1、vec2可转换的最大类型为BOOL。数据格式支持ND。
- alphaOptional：外积比例因子，Host侧的aclScalar，数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8、BOOL。如果alphaOptional为BOOL类型，则self、vec1、vec2可转换的最大类型为BOOL。数据格式支持ND。
- workspaceSize：返回用户需要在Device侧申请的workspace大小。
- executor：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

:::note 说明第一段接口完成入参校验，出现以下场景时报错：
- 返回161001（ACLNN_ERR_PARAM_NULLPTR）：传入的selfRef、vec1、vec2是空指针。
- 返回161002（ACLNN_ERR_PARAM_INVALID）：
  - selfRef、vec1和vec2的数据类型和数据格式不在支持的范围之内。
  - vec1和vec2维度不为1，selfRef维度超过2。
  - selfRef不能扩展成vec1和vec2外积结果形状。
  - betaOptional或者alphaOptional为BOOL类型时，selfRef、vec1、vec2最大类型为非BOOL类型。
  - selfRef、vec1、vec2类型都为整型时， betaOptional或者alphaOptional为浮点型。 :::

aclnnInplaceAddr

接口定义：

aclnnstatus aclnnInplaceAddr(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)
参数说明：
- workspace：在Device侧申请的workspace内存起址。
- workspaceSize：在Device侧申请的workspace大小，由第一段接口aclnnInplaceAddrGetWorkspaceSize获取。
- executor：op执行器，包含了算子计算流程。
- stream：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

调用示例

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 cpp #include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_addr.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t>& shape) { int64_t shape_size = 1; for (auto i : shape) { shape_size *= i; } return shape_size; } void PrintOutResult(std::vector<int64_t> &shape, void** deviceAddr) { auto size = GetShapeSize(shape); std::vector<float> resultData(size, 0); auto ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), *deviceAddr, size * sizeof(float), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]); } } int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) { // 固定写法，AscendCL初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateContext(context, deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret); ret = aclrtSetCurrentContext(*context); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. （固定写法）device/context/stream初始化, 参考AscendCL对外接口列表 // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtContext context; aclrtStream stream; auto ret = Init(deviceId, &context, &stream); CHECK_RET(ret == 0, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // check根据自己的需要处理 // 2. 构造输入与输出，需要根据API的接口自定义构造 std::vector<int64_t> inputShape = {3, 2}; std::vector<int64_t> vec1Shape = {3}; std::vector<int64_t> vec2Shape = {2}; std::vector<int64_t> outShape = {3, 2}; void* inputDeviceAddr = nullptr; void* vec1DeviceAddr = nullptr; void* vec2DeviceAddr = nullptr; void* outDeviceAddr = nullptr; aclTensor* input = nullptr; aclTensor* vec1 = nullptr; aclTensor* vec2 = nullptr; aclTensor* out = nullptr; aclScalar* beta = nullptr; aclScalar* alpha = nullptr; std::vector<float> inputHostData = {0, 1, 2, 3, 4, 5}; std::vector<float> vec1HostData = {1, 2, 3}; std::vector<float> vec2HostData = {4, 5}; std::vector<float> outHostData = {0, 0, 0, 0, 0, 0}; float betaValue = 1.5f; float alphaValue = 1.5f; ret = CreateAclTensor(inputHostData, inputShape, &inputDeviceAddr, aclDataType::ACL_FLOAT, &input); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(vec1HostData, vec1Shape, &vec1DeviceAddr, aclDataType::ACL_FLOAT, &vec1); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(vec2HostData, vec2Shape, &vec2DeviceAddr, aclDataType::ACL_FLOAT, &vec2); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建beta和alpha scalar值 beta = aclCreateScalar(&betaValue, aclDataType::ACL_FLOAT); CHECK_RET(beta != nullptr, return ret); alpha = aclCreateScalar(&alphaValue, aclDataType::ACL_FLOAT); CHECK_RET(alpha != nullptr, return ret); // 3.调用CANN算子库API，需要修改为具体的算子接口 uint64_t workspaceSize = 0; aclOpExecutor* executor; // 调用aclnnAddr第一段接口 ret = aclnnAddrGetWorkspaceSize(input, vec1, vec2, beta, alpha, out, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddrGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret;); } // 调用aclnnAddr第二段接口 ret = aclnnAddr(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddr failed. ERROR: %d\n", ret); return ret); // 4. （固定写法）同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值，将device侧内存上的结果拷贝至Host侧，需要根据具体API的接口定义修改 PrintOutResult(outShape, &outDeviceAddr); // 6. 释放aclTensor和aclScalar，需要根据具体API的接口定义修改 aclDestroyTensor(input); aclDestroyTensor(vec1); aclDestroyTensor(vec2); aclDestroyTensor(out); return 0; }

父主题： NN类算子接口

aclnnAdds

接口原型

**第一段接口：**aclnnStatus aclnnAddsGetWorkspaceSize(const aclTensor *self, const aclScalar *other, const aclScalar *alpha, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
**第二段接口：**aclnnStatus aclnnAdds(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

算子功能：完成张量self与标量other的加法计算。
计算公式：

aclnnAddsGetWorkspaceSize

接口定义：

aclnnStatus aclnnAddsGetWorkspaceSize(const aclTensor *self, const aclScalar *other, const aclScalar *alpha, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
参数说明：
- self(aclTensor*, 计算输入): 公式中的输入self，数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型与other的数据类型需满足数据类型推导规则。支持非连续的Tensor，数据格式支持ND。
- other(aclScalar *，计算输入): 公式中的输入other，数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型与self的数据类型需满足数据类型推导规则。
- alpha(aclScalar*, 计算输入)：公式中的alpha，数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要可转换成self与other推导后的数据类型。
- out(aclTensor*, 计算输出)：公式中的out，数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、BFLOAT16（仅Atlas A2训练系列产品支持），且数据类型需要是self与other推导之后可转换的数据类型，shape需要与self一致。支持非连续的Tensor，数据格式支持ND。
- workspaceSize(uint64_t*, 出参)：返回用户需要在Device侧申请的workspace大小。
- executor(aclOpExecutor**, 出参)：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

:::note 说明第一段接口完成入参校验，出现以下场景时报错：
- 返回161001（ACLNN_ERR_PARAM_NULLPTR）：传入的self、other、alpha或out是空指针。
- 返回161002（ACLNN_ERR_PARAM_INVALID）：
  - self的数据类型和数据格式不在支持的范围内。
  - self和other不满足数据类型推导规则。
  - 推导出的数据类型无法转换为指定输出out的类型。
  - alpha无法转换为self和other推导后的数据类型。
  - self和out的shape不一致。 :::

aclnnAdds

接口定义：

aclnnStatus aclnnAdds(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)
参数说明：
- workspace：在Device侧申请的workspace内存起址。
- workspaceSize：在Device侧申请的workspace大小，由第一段接口aclnnAddsGetWorkspaceSize获取。
- executor：op执行器，包含了算子计算流程。
- stream：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见aclnn返回码。

调用示例

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 cpp #include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_add.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t>& shape) { int64_t shapeSize = 1; for (auto i : shape) { shapeSize *= i; } return shapeSize; } int Init(int32_t deviceId, aclrtContext* context, aclrtStream* stream) { // 固定写法，AscendCL初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateContext(context, deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret); ret = aclrtSetCurrentContext(*context); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将Host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. （固定写法）device/context/stream初始化，参考AscendCL对外接口列表 // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtContext context; aclrtStream stream; auto ret = Init(deviceId, &context, &stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出，需要根据API的接口自定义构造 std::vector<int64_t> selfShape = {4, 2}; std::vector<int64_t> outShape = {4, 2}; void* selfDeviceAddr = nullptr; void* outDeviceAddr = nullptr; aclTensor* self = nullptr; aclScalar* other = nullptr; aclScalar* alpha = nullptr; aclTensor* out = nullptr; std::vector<float> selfHostData = {0, 1, 2, 3, 4, 5, 6, 7}; std::vector<float> outHostData(8, 0); float otherValue = 2.0f; float alphaValue = 1.2f; // 创建self aclTensor ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建other aclScalar other = aclCreateScalar(&otherValue, aclDataType::ACL_FLOAT); CHECK_RET(other != nullptr, return ret); // 创建alpha aclScalar alpha = aclCreateScalar(&alphaValue, aclDataType::ACL_FLOAT); CHECK_RET(alpha != nullptr, return ret); // 创建out aclTensor ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); // 3. 调用CANN算子库API，需要修改为具体的API名称 uint64_t workspaceSize = 0; aclOpExecutor* executor; // 调用aclnnAdds第一段接口 ret = aclnnAddsGetWorkspaceSize(self, other, alpha, out, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddsGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } // 调用aclnnAdds第二段接口 ret = aclnnAdds(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAdds failed. ERROR: %d\n", ret); return ret); // 4. （固定写法）同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值，将device侧内存上的结果拷贝至Host侧，需要根据具体API的接口定义修改 auto size = GetShapeSize(outShape); std::vector<float> resultData(size, 0); ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]); } // 6. 释放aclTensor和aclScalar，需要根据具体API的接口定义修改 aclDestroyTensor(self); aclDestroyScalar(other); aclDestroyScalar(alpha); aclDestroyTensor(out); return 0; }

父主题： NN类算子接口

在线提单

aclnnAddcdiv/aclnnInplaceAddcdiv​

接口原型​

功能描述​

aclnnAddcdivGetWorkspaceSize​

aclnnAddcdiv​

aclnnInplaceAddcdivGetWorkspaceSize​

aclnnInplaceAddcdiv​

调用示例​

aclnnAddcmul/aclnnInplaceAddcmul​

接口原型​

功能描述​

aclnnAddcmulGetWorkspaceSize​

aclnnAddcmul​

aclnnInplaceAddcmulGetWorkspaceSize​

aclnnInplaceAddcmul​

调用示例​

aclnnAddmm/aclnnInplaceAddmm​

接口原型​

功能描述​

aclnnAddmmGetWorkspaceSize​

aclnnAddmm​

aclnnInplaceAddmmGetWorkspaceSize​

aclnnInplaceAddmm​

调用示例​

aclnnAddmv​

接口原型​

功能描述​

aclnnAddmvGetWorkspaceSize​

aclnnAddmv​

调用示例​

aclnnAddr/aclnnInplaceAddr​

接口原型​

功能描述​

aclnnAddrGetWorkspaceSize​

aclnnAddr​

aclnnInplaceAddrGetWorkspaceSize​

aclnnInplaceAddr​

调用示例​

aclnnAdds​

接口原型​

功能描述​

aclnnAddsGetWorkspaceSize​

aclnnAdds​

调用示例​

aclnnAddcdiv/aclnnInplaceAddcdiv

接口原型

功能描述

aclnnAddcdivGetWorkspaceSize

aclnnAddcdiv

aclnnInplaceAddcdivGetWorkspaceSize

aclnnInplaceAddcdiv

调用示例

aclnnAddcmul/aclnnInplaceAddcmul

接口原型

功能描述

aclnnAddcmulGetWorkspaceSize

aclnnAddcmul

aclnnInplaceAddcmulGetWorkspaceSize

aclnnInplaceAddcmul

调用示例

aclnnAddmm/aclnnInplaceAddmm

接口原型

功能描述

aclnnAddmmGetWorkspaceSize

aclnnAddmm

aclnnInplaceAddmmGetWorkspaceSize

aclnnInplaceAddmm

调用示例

aclnnAddmv

接口原型

功能描述

aclnnAddmvGetWorkspaceSize

aclnnAddmv

调用示例

aclnnAddr/aclnnInplaceAddr

接口原型

功能描述

aclnnAddrGetWorkspaceSize

aclnnAddr

aclnnInplaceAddrGetWorkspaceSize

aclnnInplaceAddr

调用示例

aclnnAdds

接口原型

功能描述

aclnnAddsGetWorkspaceSize

aclnnAdds

调用示例