总体说明
总体说明
多版本接口差异
本手册中媒体数据处理V1版本与媒体数据处理V2版本的接口都是描述处理媒体数据的接口，用于实现抠图、图片缩放、格式转换等功能，但两套接口不能混用。
- V2版本的功能比V1版本更多，如下：
- JPEGE：V2版本接口支持高级的参数配置，如huffman表配置。
- VENC：V2版本接口支持更加细化的码控参数配置和效果调优，如I/P帧QP、宏块码控等。
- VDEC：V2版本接口支持更细化的内存控制，如设置输入码流缓存。
- 建议使用V2版本中的接口，保证后续版本接口功能以及业务的连续演进。
- V1版本中的接口是为了兼容旧版本，保证使用该部分接口的用户能继续使用，后续版本不再演进。
功能支持度说明
昇腾AI处理器对媒体数据处理V2版本各功能的支持度如下表所示。
| 昇腾AI处理器 | VPC | JPEGD | JPEGE | PNGD | VDEC | VENC |
|---|---|---|---|---|---|---|
| Atlas 200/500 A2推理产品 | √ | √ | √ | √ | √ | √ |
整体约束说明
使用本章中介绍的接口，有以下注意点：
-
关于内存申请/释放：
- 实现媒体数据处理的VPC、JPEGD、JPEGE等功能前，若需要申请内存存放输入或输出数据，需调用acl.himpi.dvpp_malloc申请内存、调用acl.himpi.dvpp_free接口释放内存。
- 调用1申请出来的内存可以满足媒体数据处理的要求，也可以在其它任务中使用，例如，从性能角度，为了减少拷贝，媒体数据处理的输出作为模型推理的输入，实现内存复用。
- 但由于媒体数据处理访问的地址空间有限，为确保媒体数据处理时内存足够，除媒体数据处理功能外的其它功能（例如，模型加载），建议调用内存管理章节下的acl.rt.malloc接口、或acl.rt.malloc_host接口、或acl.rt.malloc_cached接口申请内存。
-
关于通道的要求：
实现媒体数据处理的各功能前，必须调用接口创建对应功能的通道，请分别参见VPC功能、VDEC视频解码/JPEGD图像解码接口、VENC视频/JPEGE图像编码接口、PNGD图像处理接口章节下的通道创建与销毁接口，查看接口说明以及通道数的最大限制。
通道的创建与销毁会涉及资源的申请与释放，反复创建与销毁通道会影响业务性能，因此建议根据实际场景管理通道，例如，如果有持续VPC图片处理，则创建VPC的通道后，等到所有VPC功能调用完成后，再销毁该VPC通道。
通道数量多，会影响Device的CPU占用率和内存占用，通道数量建议参考各功能章节下的的性能指标的路数。
父主题： 媒体数据处理V2
基本概念
表1 概念解释
| 概念 | 描述 |
|---|---|
| 宽stride（widthStride） | 指一行图像跨距，表示输入图片对齐后的宽，RGB格式和YUV格式的宽stride计算方式不一样。 各功能对宽stride的要求不同，请参见对应功能的约束说明： - VPC功能，请参见图片格式、宽高对齐、内存约束。 - JPEGD功能，请参见JPEGD功能及约束说明。 - JPEGE功能，请参见JPEGE功能及约束说明。 - PNGD功能，请参见功能及约束说明。 - VDEC功能，请参见VDEC功能及约束说明。 - VENC功能，请参见VENC功能及约束说明。 |
| 高stride（heightStride） | 指图像在内存中的行数，表示输入图片对齐后的高。 各功能对高stride的要求不同，请参见对应功能的约束说明： - VPC功能，请参见图片格式、宽高对齐、内存约束。 - JPEGD功能，请参见JPEGD功能及约束说明。 - JPEGE功能，请参见JPEGE功能及约束说明。 - PNGD功能，请参见功能及约束说明。 - VDEC功能，请参见VDEC功能及约束说明。 - VENC功能，请参见VENC功能及约束说明。 |
| 抠图区域 | 指用户指定的需抠出的图片区域。抠图起始坐标无奇数、偶数限制。 抠图区域最小分辨率为10*6，最大分辨率为8192*8192。 抠图区域的约束请参见抠图、贴图约束。 |
| 贴图区域 | 指在输出图片中用户指定的区域。 贴图区域最小分辨率为10*6，最大分辨率为4096*4096。 贴图区域的约束请参见抠图、贴图约束。 |
| 上/左偏移 | 通过配置上偏移、左偏移、抠图/贴图区域的宽和高可以指定抠图区域或贴图区域的位置。参见图1。 |
父主题： 媒体数据处理V2
acl.himpi.sys_init
| c函数原型 | hi_s32 hi_mpi_sys_init() |
|---|---|
| Python函数 | ret = acl.himpi.sys_init() |
| 函数功能 | 用户处理图像、视频等媒体数据之前，需先调用本接口对媒体数据处理系统底层进行初始化。 |
| 返回值说明 | ret：int，错误码。 返回0表示成功。 返回非0 表示失败，参见公共返回码。 |
| 约束说明 | - 需在申请pyACL运行管理资源后调用本接口。pyACL运行管理资源申请流程请参见运行管理资源申请流程。 - 多个进程同时运行情况下，每个进程都必须调用本接口初始化。 - 一个进程内，可以调用本接口反复初始化，不返回失败。 - 多Device场景下，针对每一个Device，都需要调用acl.himpi.sys_init接口进行初始化。 |
| 参考资源 | 接口调用流程示例，参见媒体数据处理V2。 |
父主题： 公共接口
acl.himpi.sys_exit
| c函数原型 | hi_s32 hi_mpi_sys_exit() |
|---|---|
| Python函数 | ret = acl.himpi.sys_exit() |
| 函数功能 | 用户需要退出编解码、图像处理操作之后，需先调用本接口对媒体数据处理系统底层进行去初始化。 |
| 返回值说明 | ret：int，错误码。 返回0表示成功。 返回非0表示失败，具体请参见公共返回码。 |
| 约束说明 | - 可以反复去初始化，不返回失败。 - 调用本接口去初始化之后，会释放系统内部媒体数据处理的资源，因此不能再调用媒体数据处理V2章节下的其它接口（除acl.himpi.sys_init接口外)，否则可能出现接口调用异常、返回码错误等情况。 - 需在释放pyACL运行管理资源前调用本接口。pyACL运行管理资源申请流程请参见运行管理资源申请流程。 |
| 参考资源 | 接口调用流程示例，参见媒体数据处理V2。 |
父主题： 公共接口
acl.himpi.dvpp_malloc
| c函数原型 | hi_s32 hi_mpi_dvpp_malloc(hi_u32 dev_id, hi_void **dev_ptr, hi_u64 size) |
|---|---|
| Python函数 | dev_ptr, ret = acl.himpi.dvpp_malloc(dev_id, size) |
| 函数功能 | 申请Device上的内存，申请的内存满足媒体数据处理的要求（例如，内存首地址128字节对齐）。 |
| 输入说明 | - dev_id：Device ID，预留参数，该参数配置无效。 - size：申请内存的大小，单位Byte。 |
| 返回值说明 | ret：int，错误码。 - 返回0表示成功。 - 返回非0表示失败，参见公共返回码。 devPtr：int，指向Device上已分配内存的指针地址。 |
| 约束说明 | - 调用该接口申请内存后，这部分内存的生命周期由用户自行管理，如果不使用，必须调用acl.himpi.dvpp_free接口及时释放内存。 - 通过该接口申请的内存仅支持在单个进程内使用，不能在多个进程之间共享。 - 调用acl.himpi.dvpp_malloc接口申请内存时，会对用户输入的size按向上对齐成32整数倍后，再多加32字节。 - 媒体数据处理的输出作为模型推理的输入时，若用户使用本接口申请大块内存并自行划分、管理内存时，每段内存需同时满足以下要求： - 内存大小向上对齐成32整数倍+32字节（m=ALIGN_UP[len,32]+32字节）； - 内存起始地址需满足128字节对齐（ALIGN_UP[m,128]）。（说明：len表示某段内存的大小，ALIGN_UP[len,k]表示向上按k字节对齐：((len-1)/k+1)*k。） |
| 参考资源 | 接口调用流程示例，参见媒体数据处理V2。 |
父主题： 公共接口
在线提单