视频解码
抠图贴图
功能介绍
对输入的图像进行抠图并粘贴到背景图片中的操作，输出到Image对象中。
接口调用流程
使用抠图贴图接口前，用户需准备好被抠图以及被粘贴的图片对象。
图1 图像处理（抠图贴图）接口调用流程
关键步骤说明如下：
-
调用mx_init()接口进行全局初始化。
-
ImageProcessor初始化。
用户构造ImageProcessor对象，构造时需用户指定设备ID。
-
使用图片解码接口对输入图片进行解码。
根据业务对图片进行解码，生成可抠图贴图的Image对象。后续可以通过图像处理接口对图片进行处理，生成最终需要抠图贴图的Image对象。
-
构造抠图贴图参数和输出Image。
- 根据业务要求，设置被抠图片的矩阵并设置粘贴图片位置的矩阵，二者大小不一样时将自动进行缩放。
- 构造输出图片的背景图片，使用Image构造函数构造被粘贴图片或其他非空图片作为输出。
-
调用crop_paste对输入图片进行抠图并将图片粘贴至指定位置。
示例代码
以下为功能特性关键步骤的代码示例，不可以直接拷贝运行，仅供参考。
from mindx.sdk import base
from mindx.sdk.base import ImageProcessor, Rect, Image
## 图像解码
## 初始化ImageProcessor对象
imageProcessor = ImageProcessor(device_id)
image_path = "image_data/test_image.jpg"
## 读取图片路径进行解码，解码格式为nv12（YUV_SP_420）
decoded_image = imageProcessor.decode(image_path, base.nv12)
## 图像抠图并贴图
crop_paste_para = (Rect(300, 100, 550, 350), Rect(100, 100, 1500, 1500))
imageProcessor.crop_paste(decoded_image , crop_paste_para, paste_image)
父主题： 媒体数据处理
视频编码
功能介绍
通过构造VideoEncoder类实例可实现视频编码功能，编码功能配置项及各项约束与支持情况请参考VideoEncodeConfig类数据结构说明。
视频编码支持自定义输出数据格式，通过自定义回调函数传入编码功能配置项，方便用户使用编码后的数据，详情可参考VencCallBacker类。
接口调用流程
首先根据需求定义需要的输出数据组合方式，根据组合方式参考VencCallBacker定义回调函数传入编码功能配置项，然后实例化VideoEncoder类，最后调用encode成员函数完成编码，获取数据。
视频编码接口调用流程参考如下：
图1 视频编码接口调用流程
mxVision提供VideoEncoder类进行视频编码，关键步骤说明如下：
-
定义输出数据组合形式。
- 输出数据包含视频帧编码后得到的的Image类数据、当前编码帧的“frameId”和通道“channelId”。
- 根据需要选择获取以上哪些数据。
-
定义输出回调函数。
-
根据要获取的数据定义回调函数，在函数内组装自定义数据。
-
回调函数输入参数固定为callback_func形式，函数内可选择输出。
请勿在回调函数内实现过于复杂的操作，建议使用自定义“userData”来接收视频编码回调结果，否则回调线程会发生卡住的现象，导致视频编码速度变慢。
-
-
构造视频编码配置项。
配置项及各项约束与支持情况请参考VideoEncodeConfig数据结构说明。
-
实例化视频编码类。
将配置好的VideoEncodeConfig传入构造函数接口，实例化视频编码类。
-
调用encode接口对视频进行编码。
示例代码
如下提供关键步骤的代码示例，不可以直接拷贝运行，仅供参考。
import os
import numpy as np
import time
from mindx.sdk import base
from mindx.sdk.base import Image, ImageProcessor
from mindx.sdk.base import VideoEncoder, VideoEncodeConfig, VencCallBacker
## 视频编码回调函数
def venc_callback(pyChar, outDataSize, channelId, frameId):
with open('video_save_data/output.h264', 'ab') as file:
file.write(pyChar)
## 初始化VencCallBacker类并注册回调函数
vencCallBacker = VencCallBacker()
vencCallBacker.registerVencCallBack(venc_callback)
## 初始化VideoEncodeConfig
venc_conf = VideoEncodeConfig()
venc_conf.keyFrameInterval = 50
venc_conf.srcRate = 30
venc_conf.maxBitRate = 6000
venc_conf.ipProp = 30
## 初始化VideoEncoder
videoEncoder = VideoEncoder(venc_conf, vencCallBacker, device_id)
## 将编码后数据保存为本地视频，若视频文件已存在则删除
venc_save_path = os.path.join(save_path, 'output.h264')
video_encode_exists = os.path.exists(venc_save_path)
if video_encode_exists:
os.remove(venc_save_path)
## 从decoded_data_list中循环取Image类进行编码
for i, img in enumerate(decoded_data_list):
videoEncoder.encode(img, i)
父主题： 媒体数据处理
视频解码
功能介绍
通过构造VideoDecoder类实例可实现视频解码功能，解码功能配置项及各项约束与支持情况请参考VideoDecodeConfig类数据结构说明。
视频解码支持自定义输出数据格式，通过自定义回调函数传入解码功能配置项，方便用户解码后的数据，详情可参考VdecCallBacker类数据结构说明。
接口调用流程
首先根据需求定义需要的输出数据组合方式，根据组合方式参考VdecCallBacker定义回调函数传入解码功能配置项，然后实例化VideoDecoder类，最后调用decode成员函数完成解码，获取数据。
视频解码接口调用流程参考如下：
图1 视频解码接口调用流程
mxVision提供VideoDecoder类进行视频解码，关键步骤说明如下：
-
定义输出数据组合形式。
- 输出数据包含视频帧解码后得到的的Image类数据、当前解码帧的“frameId”和通道“channelId”。
- 可根据需要选择获取以上哪些数据。
-
定义输出回调函数。
- 根据要获取的数据定义回调函数，在函数内组装自定义数据。
- 回调函数输入参数固定为VideoDecodeCallBack形式，函数内可选择输出。
- 请勿在回调函数内实现过于复杂的操作，建议只进行自定义获取解码数据操作。
-
构造视频解码配置项。
配置项及各项约束与支持情况请参考VideoDecodeConfig数据结构说明。
-
实例化视频解码类。
将配置好的VideoDecodeConfig传入构造函数接口，实例化视频解码类。
-
调用decode接口对视频进行解码。
示例代码
如下提供关键步骤的代码示例，不可以直接拷贝运行，仅供参考。
import os
import numpy as np
import time
from mindx.sdk import base
from mindx.sdk.base import Image, ImageProcessor
from mindx.sdk.base import VideoDecoder, VideoDecodeConfig, VdecCallBacker
decoded_data_list = []
## 视频解码回调函数
def vdec_callback(decodedImage, channelId, frameId):
# 解码完成的Image类存入列表中
decoded_data_list.append(decodedImage)
## 初始化VdecCallBacker类并注册回调函数
vdecCallBacker = VdecCallBacker()
vdecCallBacker.registerVdecCallBack(vdec_callback)
## 初始化VideoDecodeConfig类并设置参数
vdecConfig = VideoDecodeConfig()
vdecConfig.skipInterval = 0
vdecConfig.inputVideoFormat = base.h264_main_level
vdecConfig.outputImageFormat = base.nv12
vdecConfig.width = 1920
vdecConfig.height = 1080
## 初始化VideoDecoder
videoDecoder = VideoDecoder(vdecConfig, vdecCallBacker, device_id, channel_id)
## 获取需解码视频帧文件名
srcDataList = ["frame-{}.data".format(i) for i in range(100)]
## 循环取帧解码
for i, fileName in enumerate(srcDataList):
## 读取视频帧数据存入file
file = np.fromfile(fileName, dtype='uint8')
## 视频帧数据解码
videoDecoder.decode(file, i)
父主题： 媒体数据处理
模型推理
功能介绍
使用mxVision模型推理功能通过给定输入和指定模型，进行推理获得输出结果，支持om格式的模型推理，可使用ATC工具构建的动态Batch、动态分辨率和分档动态维度模型进行推理。模型推理输入为张量Tensor类型，由用户使用mxvision提供的接口构造使用。当前mxvision提供的python接口只支持同步推理。
接口调用流程
使用模型推理前，用户需准备好输入数据以及需要加载的模型，根据模型路径或者内存方式初始化Model类，通过调用Model类的infer接口获取模型推理结果。
模型推理调用流程参考如下：
图1 模型推理接口调用流程
关键接口说明如下：
-
模型初始化。
用户需根据实际业务情况确认模型加载方式，选择从文件加载模型或从内存加载模型。如果从内存加载，需要先将模型文件读取到内存，可通过以下两种方式传入。
- 从文件加载模型，可选择直接向Model接口传入模型路径，进行初始化。
- 通过结构体ModelLoadOptV2中的“loadType”字段指定加载方式后，再传入Model接口，其中加载方式在模型方面区分从文件加载模型，还是从内存加载模型，在内存方面区分是由系统内部管理，还是由用户管理，具体可参见ModelLoadOptV2。
-
调用infer接口获取模型推理结果。
示例代码
以下为功能特性关键步骤的代码示例，不可以直接拷贝运行，仅供参考。
import numpy as np
from mindx.sdk import base
from mindx.sdk.base import Tensor, Model
## 模型推理
## 构造输入Tensor（以二进制输入为例）
## 读取前处理好的numpy array二进制数据
input_array = np.load("preprocess_array.npy")
## 构造输入Tensor类并转移至device侧
input_tensor = Tensor(input_array)
input_tensor.to_device(device_id)
## 构造输入Tensor列表
input_tensors = [input_tensor]
## 模型路径
model_path = "resnet50_batchsize_1.om"
## 初始化Model类
model = Model(modelPath=model_path, deviceId=device_id)
## 执行推理
outputs = model.infer(input_tensors)
父主题： 使用API接口方式开发（Python）
运行
运行样例前，需设置mxVison环境变量。
source {mxVison安装目录}/mxVision/set_env.sh
运行
用户准备好自己的源码文件“main.py”，以及Python运行环境。
使用python3执行文件，命令参考如下。
python3 main.py
:::note 说明
- 若程序执行出现libascendcl.so报错，请参见程序执行出现libascendcl.so报错解决。
- 若调用API参考（Python）视频解码/编码接口结束时出现core dumped现象，请参见调用API参考（Python）视频解码/编码接口结束时出现core dumped现象解决。 :::
父主题： 使用API接口方式开发（Python）
在线提单