跳到主要内容

样例说明

ModelZoo提供的网络模型样例所展示的功能如下表所示:

注意

AArch64架构不支持模型量化和编译操作。用户需要使用编译后二进制模型文件(.hmm或.hmms)在AArch64架构环境中推理。

表 6.1 ModelZoo网络模型样例展示功能说明 网络名称PTQ量化模型编译模型推理 (C++)模型推理 (Python)精度评测性能评测模型转换与评估工具
ResNet50✓✓X✓✓✓✓
MobileNetV2✓✓X✓✓✓✓
EfficientNet✓✓X✓✓✓✓
YOLOv3✓✓X✓✓✓✓
YOLOP✓✓X✓X✓✓
YOLOv5s✓✓X✓✓✓✓
YOLOv8m✓✓X✓✓✓✓
YOLO12m✓✓X✓✓✓✓
YOLOv8m-pose✓✓X✓✓✓✓
DeepSeek✓✓X✓X✓X
Qwen3✓✓X✓X✓X
LPRNet✓✓X✓✓✓✓
YOLOv8m_seg✓✓X✓✓✓✓
ViT-B-16✓✓X✓✓✓✓
YOLOv5s_feature✓✓X✓✓✓✓
Gemma-4-26B-A4B✓✓X✓X✓X
Qwen2.5-vl✓✓X✓X✓X
PP-OCRv3✓✓X✓✓✓✓
BGE✓✓X✓X✓X
GTE✓✓X✓X✓X
Whisper-Medium✓✓✓✓X✓X
yolov8m-cls✓✓X✓✓✓✓
yolov5m_face✓✓X✓✓✓✓
yolov7✓✓X✓✓✓✓
yolov9m✓✓X✓✓✓✓
yolo11m✓✓X✓✓✓✓
yolov10m✓✓X✓✓✓✓
yolox✓✓X✓✓✓✓
yolo26m✓✓X✓✓✓✓
minicpmo✓✓X✓X✓X
qwen3-vl✓✓✓✓X✓X
qwen3-30b-a3b✓✓X✓X✓X
gpt-ossX✓X✓X✓X
sensevoice✓✓X✓X✓X
glm-asr✓✓X✓X✓X
qwen3-asr✓✓X✓X✓X
whisper-turbo✓✓✓✓X✓X
qwen3-embedding✓✓X✓X✓X
qwen2.5✓✓X✓X✓X
qwen3.5✓✓X✓X✓X
qwen3.6✓✓X✓X✓X
CoPaw-Flash✓✓X✓X✓X
glm-ocr✓✓X✓X✓X
cosyvoice3✓✓✓✓X✓X
qwen3-reranker✓✓X✓X✓X
qwen3-omni✓✓X✓X✓X
qwen3-nextX✓X✓X✓X
cam✓✓X✓X✓X
ct_transformer✓✓X✓X✓X
dinov3-base✓✓X✓✓✓✓
mineru2.5✓✓X✓X✓X
paddleocr-vl✓✓X✓X✓X
z-image✓✓X✓X✓X
qwen3-tts✓✓X✓X✓X

ModelZoo只提供上表中的网络模型样例,其他网络模型,暂不提供样例。ResNet50、MobileNetV2、YOLOv5s、YOLOv8m和YOLOP等模型示例通过模型转换与评估工具展示PTQ量化、模型编译、模型推理、精度评测以及性能评测。

6.1.1. 部分模型示例废弃说明​

自本版本起,ModelZoo 中部分模型示例已废弃并停止维护。

已废弃的模型示例不再进行功能更新、适配验证及问题修复,也不再作为后续版本的维护对象。为确保持续获得功能更新、性能优化及兼容性支持,建议用户迁移至新版本模型示例或等效替代方案。

废弃模型列表,参看应用开发示例包中的 houmo-examples-<target_hw>_<release>.zip/houmo-examples-xh2/README.md 文档。

6.2. 环境准备​

执行下面步骤完成运行环境部署,所有样例默认适配最新版本软件平台:

  1. 安装和部署Docker开发环境。

  2. 在Docker镜像中下载应用开发示例包。

    1. 登录后摩开发者社区。

    2. 在 请先选择板级类别 下拉列表中选择使用的后摩板级产品。

    3. 在版本列表中选择下载的版本号,再在 AI模型类别筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统,找到资源名为示例代码 的下载资源,选中该资源左边复选框。

    4. 点击 直接下载 、wget链接 、批量直接下载 或 wget批量下载 按钮。

ModelZoo模型库位于 houmo-examples-xh2/models 目录下。

  1. 检查 houmo-examples-xh2/env.sh 中环境变量设置:

根据实际情况修改环境变量的值,例如如果更换数据集路径,则修改 HOUMO_DATASETS_PATH 变量。

环境变量详情参看 ModelZoo环境变量列表。

  1. 在 houmo-examples-xh2 目录下,执行下面指令配置运行环境:
source env.sh
  1. 如果在AArch64 架构:不支持模型量化和编译操作,用户可以直接使用提供的已编译模型进行推理。

6.2.1. 环境变量​

表 6.2 ModelZoo环境变量 环境变量名称描述默认值
HOUMO_TARGETModelZoo中模型编译和推理使用的后摩设备。xh2
HOUMO_DATASETS_PATHModelZoo数据库存放目录。houmo-examples-xh2/data/datasets
HOUMO_MODELZOO_URLModelZoo中模型下载根目录。http://139.224.0.199:8082/artifactory/houmo/ release

6.3. 模型获取​

ModelZoo提供原始模型和量化模型。用户可根据需求对原始模型量化,或直接使用已量化模型做模型推理。

ModelZoo提供的各网络模型的类型及原始模型如下表所示:

表 6.3 ModelZoo网络模型的类型及原始模型 网络名称原始模型量化后模型预编译模型原始模型来源
ResNet50✓X✓ResNet50 torchvision 模型
MobileNetV2✓X✓MobileNetV2 torchvision 模型
EfficientNet✓X✓EfficientNet torchvision模型
YOLOP✓X✓YOLOP 模型
YOLOv3✓X✓YOLOv3 模型
YOLOv5s✓X✓YOLOv5s 模型
YOLOv8m✓X✓YOLOv8m 模型
YOLO12m✓X✓YOLO12m 模型
YOLOv8m-pose✓X✓YOLOv8m-pose模型
DeepSeek✓X✓DeepSeek-R1-0528-Qwen3-8B模型
Qwen3-8B✓X✓Qwen3-8B模型
Qwen3-14B✓X✓Qwen3-14B模型
Qwen3-0.6B✓X✓Qwen3-0.6B模型
Qwen3-1.7B✓X✓Qwen3-1.7B模型
LPRNet✓X✓-
ViT-B-16✓X✓ViT-B-16模型
YOLOv8m_seg✓X✓YOLOv8m_seg模型
YOLOv5s_feature✓X✓-
Gemma-4-26B-A4B✓X✓Gemma-4-26B-A4B模型 Gemma-4-26B-A4B-it-assistant模型
Gemma-4-E4B✓X✓Gemma-4-E4B模型 Gemma-4-E4B-it-assistant模型
Gemma-4-E2B✓X✓Gemma-4-E2B模型 Gemma-4-E2B-it-assistant模型
Gemma-4-31B✓X✓Gemma-4-31B模型 Gemma-4-31B-it-assistant模型
Qwen2.5-vl✓X✓Qwen2.5-vl模型
Qwen3-vl-4B✓X✓Qwen3-vl-4B模型
Qwen3-vl-8B✓X✓Qwen3-vl-8B模型
GTE✓X✓GTE模型
Whisper-Medium✓X✓Whisper-Medium模型
YOLOv8m-cls✓X✓YOLOv8m-cls模型
YOLOv5m_face✓X✓YOLOv5m_face模型
PP-OCRv3✓X✓PP-OCRv-Det模型 PP-OCRv-Rec模型
BGE✓X✓BGE-M3模型 BGE-Reranker模型
YOLOv7✓X✓YOLOv7模型
YOLOv9m✓X✓YOLOv9m模型
YOLOv10m✓X✓YOLOv10m模型
YOLO11m✓X✓YOLO11m模型
YOLOX✓X✓YOLOX模型
YOLO26m✓X✓YOLO26m模型
qwen3-30b-a3b✓X✓Qwen3-30B-a3B模型
minicpmo✓X✓MiniCPMO模型
gpt-oss-20b✓X✓GPT-OSS-20B模型
gpt-oss-120b✓X✓GPT-OSS-120B模型
sensevoice✓X✓SenseVoiceSmall模型
glm-asr✓X✓GLM-ASR-Nano-2512模型
qwen3-asr✓X✓Qwen3-ASR模型
whisper-turbo✓X✓whisper-turbo模型
qwen3-embedding✓X✓Qwen3-Embedding模型
qwen2.5✓X✓qwen2.5-7B模型
qwen3.5-0.8B✓X✓qwen3.5-0.8B模型
qwen3.5-2B✓X✓qwen3.5-2B模型
qwen3.5-4B✓X✓qwen3.5-4B模型
qwen3.5-9B✓X✓qwen3.5-9B模型
Qwen3.6-27B✓X✓Qwen3.6-27B模型
Qwen3.6-35B-A3B✓X✓Qwen3.6-35B-A3B模型
CoPaw-Flash✓X✓CoPaw-Flash模型
glm-ocr✓X✓GLM-OCR模型
cosyvoice3✓X✓cosyvoice3模型
qwen3-reranker✓X✓Qwen3-Reranker模型
paddleocr-vl✓X✓paddleocr-vl模型
mineru2.5✓X✓mineru2.5模型
dinov3-base✓X✓dinov3-base模型
ct_transformer✓X✓ct_transformer模型
cam✓X✓cam模型
qwen3-nextXX✓qwen3-next模型
qwen3-omni✓X✓qwen3-omni模型
z-image-6B✓X✓z-image-6B模型
Qwen3-4B✓X✓Qwen3-4B模型
Qwen3-tts-0.6B-base✓X✓Qwen3-tts-0.6B-base模型
Qwen3-tts-0.6B-cust omvoice✓X✓Qwen3-tts-0.6B-customvoice模型

环境准备后,在 MODELZOO_PATH/models/network_type/network_name 目录下,运行下面指令下载模型。network_type 为网络模型类型,如 diffusion、llm。network_name 为网络名称,如 qwen3。

python3 get_model.py --type [options] --model_name <name> \
--model_size <size> --source_type modelscope

其中参数取值如下:

  • options:

    • raw:原始网络模型。

    • hmm:后摩TCIM编译后生成的二进制模型文件(.hmm或.hmms)。

  • name:(可选)仅部分模型适用,用于指定下载模型名称。 <name> 的取值可为qwen3、qwen3-vl、gemma4等,不同模型的名称不同。可参看示例目录中的 README.MD 文件,了解具体的模型名称及是否支持该功能。

  • size:(可选)仅部分模型适用,用于指定待下载模型的参数规模。 <size> 的取值可为2b、4b、9b、27b等,不同模型支持的取值不同,具体以对应示例目录中的 README.md 说明为准。

  • modelscope:(可选)从魔塔社区下载模型。当前仅支持下载后摩TCIM编译后生成的二进制模型文件。可参看示例目录中的 README.md 文件,了解示例是否支持该功能。

模型下载后默认存放在当前目录下。

6.4. 数据集准备​

ModelZoo提供少量数据供简单验证,如果需要测试真实精度,需要下载完整数据集。

通过 HOUMO_DATASETS_PATH 环境变量设置数据集实际路径,默认为 MODELZOO_PATH/data/datasets。

表 6.4 数据集准备 网络名称数据集名称路径
ResNet50ImageNet 2012https://image-net.org/challenges/LSVRC
MobileNetV2
EfficientNet
YOLOv8m-cls
dinov3-base
YOLOv3COCO 2017https://cocodataset.org/#download
YOLOv5s
YOLOv8m
YOLO12m
YOLOv8m-pose
YOLOv5s_feature
YOLOv8m_seg
YOLOv7
YOLOv9m
YOLOv10m
YOLO11m
YOLOX
YOLO26m
YOLOv5m_faceWIDER FACEhttp://shuoyang1213.me/WIDERFACE/
YOLOPBDD100Khttps://bdd-data.berkeley.edu/
DeepSeekwikitext-2-raw-v1https://www.modelscope.cn/datasets/modelscope/wikitext
Qwen3
Qwen2.5
Qwen3.5
Qwen3.6
gpt-oss
qwen3-embedding
qwen3-30b-a3b
paddleocr-vl
qwen3-omni
Gemma-4-26B-A4B--
Qwen2.5-vl--
Qwen3-vl--
ViT-B-16ILSVRC2012https://image-net.org/challenges/LSVRC/2012/index.php
LPRNetCCPD2019Subhttps://github.com/detectRecog/CCPD
PP-OCRvCCPD2020_PPOCR v3_evalCCPD2020_PPOCRv3_eval.tar.gz
BGE--
GTE--
Whisper-Medium--
minicpmo--
sensevoice--
glm-asr--
qwen3-asr--
whisper-turbo--
glm-ocr--
cosyvoice3--
CoPaw-Flash--
qwen3-rerankerT2Rerankinghttps://modelscope.cn/datasets/C-MTEB/T2Reranking
mineru2.5--
ct_transformer--
cam--
qwen3-next--
z-image-6B--
Qwen3-tts--