Skip to main content

Ai大模型部署

前言：之前的rknn章节已经介绍过rk的框架架构，读者可以自行查阅，链接如下：
简单使用
详细了解

1 Deepseek-R1 1.5b 大模型部署​

ubuntu22.04
python3.8
YY3588开发板

1.1 ubuntu22.04 主机环境搭建​

# 下载rknn-llm
 git clone https://github.com/airockchip/rknn-llm.git
 
# 安装 miniforge3 和 conda
wget -c https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.sh
chmod 777 Miniforge3-Linux-x86_64.sh
./Miniforge3-Linux-x86_64.sh

## 确认是否安装成功
conda -V

1.2 创建 RKLLM-Toolkit Conda 环境​

source ~/miniforge3/bin/activate
conda create -n RKLLM-Toolkit python=3.8
conda activate RKLLM-Toolkit
pip3 install rkllm-toolkit/packages/rkllm_toolkit-1.1.4-cp38-cp38-linux_x86_64.whl
# 检查是否安装成功(无报错则安装成功)
python

1.3 DeepSeek-R1-1.5B HunggingFace转换成RKLLM模型​

1.3.1 下载模型及转换模型​

下载地址:DeepSeek-R1-Distill-Qwen-1.5B

cd examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/export/
python export_rkllm.py

修改模型路径.png
转换之后的模型为：DeepSeek-R1-Distill-Qwen-1.5B.rkllm

1.3.2 编译库和demo​

  • 下载交叉编译链（如果已经下载了完整的SDK，那么可以使用SDK中的交叉编译链）
# 修改编译器路径
vim examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/deploy/build-linux.sh

修改编译器路径.png

  • 开始编译
cd examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/deploy/
bash build-linux.sh
  • 生成库和demo
rknn-llm/examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/deploy/install/demo_Linux_aarch64$ ls
lib  llm_demo

1.4 在板端运行模型​

将库、demo和转换模型推送到板端

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:./lib
export RKLLM_LOG_LEVEL=1
./llm_demo DeepSeek-R1-Distill-Qwen-1.5B.rkllm 10000 10000

1.4.1 相关资料下载​

资源位置.png

1.4.2 运行过程截图及视频链接​

视频-1.png视频-2.png视频-3.png

2 Deepseek-R1 7b 大模型部署​

步骤基本和1.5b模型部署的一样，在这里就不多赘述了，考虑到模型下载及转换的时间，在这里也是将模型和库转换完毕，读者可以去下载页面自行下载即可使用。
资源位置.png
yy3588-deepseek-r1-7b.png