基于昇腾MindIE开箱部署Qwen2.5-VL-32B，体验更聪明的多模态理解能力

3月25日，通义千问团队开源了新的VL模型——Qwen2.5-VL-32B-Instruct。这个模型在Qwen2.5-VL系列的基础上，使用强化学习做了优化，在三个方面改进显著：回复更符合人类主观偏好；拥有更强的数学推理能力，复杂数学问题求解的准确性显著提升；在图像解析、内容识别以及视觉逻辑推导等任务中表现出更强的准确性和细粒度分析能力。

昇腾MindIE已适配支持Qwen2.5-VL-32B-Instruct并上架魔乐社区，欢迎广大开发者下载体验！

模型链接：[https://modelers.cn/models/Models\_Ecosystem/Qwen2.5-VL-32B-Instruct](https://modelers.cn/models/Models_Ecosystem/Qwen2.5-VL-32B-Instruct)

## 01 模型介绍 [](#_01-模型介绍)

与业内先进的同规模模型进行比较，包括近期推出的 Mistral-Small-3.1-24B 和 Gemma-3-27B-IT， Qwen2.5-VL-32B-Instruct 展现出了明显的优势，甚至超越了更大规模的 Qwen2-VL-72B-Instruct 模型。尤其是在多模态任务中，例如 MMMU、MMMU-Pro和MathVista，这些任务强调复杂的多步骤推理，Qwen2.5-VL-32B-Instruct 表现尤为突出。在注重主观用户体验评估的 MM-MT-Bench 基准测试中，该模型相较于其前代 Qwen2-VL-72B-Instruct 取得了显著进步。

![](/updates/assets/0329-qwen-1.BAeVG2ln.png)

除了在视觉能力上优秀，Qwen2.5-VL-32B-Instruct 在纯文本能力上也达到了同规模的最优表现。

![](/updates/assets/0329-qwen-2.BzifFU0U.png)

简而言之，这一次的32B版本更轻量更聪明，可在本地部署运行。

## 02 准备运行环境 [](#_02-准备运行环境)

### 2.1 加载镜像 [](#_2-1-加载镜像)

前往 昇腾社区/开发资源 下载适配本模型的镜像包。

完成之后，运行下列命令确认查找具体镜像名称与标签。

`docker images`

### 2.2 硬件要求 [](#_2-2-硬件要求)

部署Qwen2.5-VL-32B-Instruct模型至少需要1台Atlas 800I A2（8\*32G）。

### 2.3 新建容器 [](#_2-3-新建容器)

自行修改端口等参数，启动样例。

```
docker run -dit -u root \
--name ${容器名} \
-e ASCEND_RUNTIME_OPTIONS=NODRV \
--privileged=true \
-v /home/路径:/home/路径 \
-v /data:/data \
-v /usr/local/Ascend/driver/:/usr/local/Ascend/driver/ \
-v /usr/local/Ascend/firmware/:/usr/local/Ascend/firmware/ \
-v /usr/local/sbin/:/usr/local/sbin \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
--shm-size=100g \
-p ${映射端口}:22 \
--cap-add=SYS_PTRACE \
--security-opt seccomp=unconfined \
${MindIE 1.0.0 镜像} \
/bin/bash
```

### 2.4 进入容器 [](#_2-4-进入容器)

```
docker exec -it ${容器名} bash
```

## 03 准备模型 [](#_03-准备模型)

目前提供的MindIE镜像未预置Qwen2.5-VL-32B-Instruct推理脚本，需下载模型仓库内mindie下的atb\_llm.zip和models.zip文件。

下载链接：[https://modelers.cn/models/Models\_Ecosystem/Qwen2.5-VL-32B-Instruct/tree/main/mindie](https://modelers.cn/models/Models_Ecosystem/Qwen2.5-VL-32B-Instruct/tree/main/mindie)

下载完成后，将其分别解压缩至 /usr/local/Ascend/atb-models/atb\_llm和 /usr/local/Ascend/atb-models/examples/models

**安装Python依赖**

下载模型仓库内mindie/requirements\_qwen2\_vl.txt并安装依赖：

`pip install -r ./requirements_qwen2_vl.txt`

## 04 执行推理 [](#_04-执行推理)

### 4.1 纯模型推理 [](#_4-1-纯模型推理)

```
export MINDIE_LOG_TO_FILE=0;
export MINDIE_LOG_TO_STDOUT=1;
export MINDIE_LOG_LEVEL=info;
```

1.  修改脚本/usr/local/Ascend/atb-models/examples/models/qwen2\_vl/run\_pa.sh

```

export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3
... model_path="/data/Qwen2.5-VL-32B-Instruct/" max_batch_size=1 max_input_length=8192 max_output_length=80 input_image="XXX.jpg/png/jpeg/mp4/wmv/avi" input_text="Explain the details in the image." dataset_path="/data/test_images" shm_name_save_path="./shm_name.txt"
```

`bash /usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh`

## 4.2 服务化推理 [](#_4-2-服务化推理)

```
vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json
```

```
{
...
"ServerConfig" :
{
...
"port" : 1040, "managementPort" : 1041, "metricsPort" : 1042, ...
"httpsEnabled" : false,
...
},
"BackendConfig": {
...
"npuDeviceIds" : [[0,1,2,3,4,5,6,7]],
...
"ModelDeployConfig":
{
"maxSeqLen" : 32768,
"maxInputTokenLen" : 32768,
"truncation" : false,
"ModelConfig" : [
{
"modelInstanceType": "Standard",
"modelName" : "qwen2_vl", "modelWeightPath" : "/data/Qwen2.5-VL-32B-Instruct",
"worldSize" : 8,
...
"npuMemSize" : 8, ...
}
]
},
"ScheduleConfig" :
{
...
"maxPrefillTokens" : 32768,
"maxIterTimes": 4096,
...
}
}
}
```

```
export MASTER_ADDR=localhost export MASTER_PORT=7896
```

```
cd /usr/local/Ascend/mindie/latest/mindie-service/bin
./mindieservice_daemon
```

```
curl 127.0.0.1:1025/generate -d '{
"prompt": [
{
"type": "image_url",
"image_url": ${图片路径}
},
{"type": "text", "text": "Explain the details in the image."}
],
"max_tokens": 512,
"stream": false,
"do_sample":true,
"repetition_penalty": 1.00,
"temperature": 0.01,
"top_p": 0.001,
"top_k": 1,
"model": "qwen2_vl"
}'
```

若测试视频理解：

```
curl 127.0.0.1:1025/generate -d '{
"prompt": [
{
"type": "video_url",
"video_url": "/home/demo.mp4"
},
{"type": "text", "text": "Explain the details in the image."}
],
"max_tokens": 512,
"stream": false,
"do_sample":true,
"repetition_penalty": 1.00,
"temperature": 0.01,
"top_p": 0.001,
"top_k": 1,
"model": "qwen2_vl"
}'
```

```
curl 127.0.0.1:1025/v1/chat/completions -d ' {
"model": "internvl",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": ${图片路径}},
{"type": "text", "text": "Explain the details in the image."}
]
}],
"max_tokens": 512,
"do_sample": true,
"repetition_penalty": 1.00,
"temperature": 0.01,
"top_p": 0.001,
"top_k": 1
}'
```

## 欢迎体验 [](#欢迎体验)

欢迎大家下载体验昇腾MindIE版Qwen2.5-VL-32B-Instruct，也欢迎广大开发者在模型评论区留言交流！