qwen2.5-72b-instruct运行中频繁卡顿：ai core 利用率总是莫名达到100%，然后模型推理卡住，持续约6-7分钟后释放_MindIE_昇腾论坛

# qwen2.5-72b-instruct运行中频繁卡顿：ai core 利用率总是莫名达到100%，然后模型推理卡住，持续约6-7分钟后释放_MindIE_昇腾论坛

## 概述

本文档基于昇腾社区论坛帖子生成的技术教程。

**原始链接**: https://www.hiascend.com/forum/thread-02116189068231387310-1-1.html

**生成时间**: 2025-08-27 10:33:59

---

## 问题描述

参考摩乐社区的文档https://modelers.cn/models/MindIE/qwen2.5_72b_instruct 使用的推理镜像也是该文档中的mindie:1.0.RC3-800I-A2-arm64-OpenMind 拉取服务后可以正常问答但一段时间AI Core的利用率突然飚到100%持续6-7分钟左右这期间模型完全卡住之后又恢复正常问题发生的比较频繁服务器配置为NPU: 8* 910B3 内存1024GBCPU4* Kunpeng920 使用docker启动的命令如下 docker run -itd \ --net=host \ --restart=always \ --name=qwen2.5-72b-instruct \ --shm-size=500g \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc/ \ --device=/dev/devmm_svm \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /usr/local/sbin:/usr/local/sbin \ -v /media/storage/MODELS/Qwen2.5-72B-Instruct/atom/1/local_model/base_model:/home/HwHiAiUser/Ascend/qwen2.5-72b-instruct \ -v /media/storage/MODELS/models_conf/qwen2.5-72b-mindie:/home/HwHiAiUser/Ascend/mindie/latest/mindie-service/conf \ mindie:1.0.RC3-800I-A2-arm64-OpenMind \ --model /home/HwHiAiUser/Ascend/qwen2.5-72b-instruct --model-name qwen2.5-72b \ --max-seq-len 16384 \...

## 相关代码

### 代码示例 1

```
docker run -itd \
--net=host \
--restart=always \
--name=qwen2.5-72b-instruct \
--shm-size=500g \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc/ \
--device=/dev/devmm_svm \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/sbin:/usr/local/sbin \
-v /media/storage/MODELS/Qwen2.5-72B-Instruct/atom/1/local_model/base_model:/home/HwHiAiUser/Ascend/qwen2.5-72b-instruct \
-v /media/storage/MODELS/models_conf/qwen2.5-72b-mindie:/home/HwHiAiUser/Ascend/mindie/latest/mindie-service/conf \
mindie:1.0.RC3-800I-A2-arm64-OpenMind \
--model /home/HwHiAiUser/Ascend/qwen2.5-72b-instruct
--model-name qwen2.5-72b \
--max-seq-len 16384 \
--max-input-token-len 10240 \
--max-prefill-tokens 10240 \
--max-prefill-batch-size 8 \
--world-size 4 \
--port 9811 \
--management-port 9811 \
--metrics-port 9812 \
--npu-device-ids 0,1,2,3 \
--npu-mem-size -1 \
--max-iter-times 4096 \复制
```

### 代码示例 2

```
docker run -itd \
--net=host \
--restart=always \
--name=qwen2.5-72b-instruct \
--shm-size=500g \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc/ \
--device=/dev/devmm_svm \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/sbin:/usr/local/sbin \
-v /media/storage/MODELS/Qwen2.5-72B-Instruct/atom/1/local_model/base_model:/home/HwHiAiUser/Ascend/qwen2.5-72b-instruct \
-v /media/storage/MODELS/models_conf/qwen2.5-72b-mindie:/home/HwHiAiUser/Ascend/mindie/latest/mindie-service/conf \
mindie:1.0.RC3-800I-A2-arm64-OpenMind \
--model /home/HwHiAiUser/Ascend/qwen2.5-72b-instruct
--model-name qwen2.5-72b \
--max-seq-len 16384 \
--max-input-token-len 10240 \
--max-prefill-tokens 10240 \
--max-prefill-batch-size 8 \
--world-size 4 \
--port 9811 \
--management-port 9811 \
--metrics-port 9812 \
--npu-device-ids 0,1,2,3 \
--npu-mem-size -1 \
--max-iter-times 4096 \
```

## 相关图片

### 图片 1

![Snap2.jpg](https://fileserver.developer.huaweicloud.com/FileServer/getFile/cmtybbs/ce4/2c0/a13/2bb0bfeb10ce42c0a13f0ea7c9fffb09.20250728070036.35764340689591258929990491251165:20250827021420:2400:18C76970C840011ECCE78CC8066C4703D792CF6A96A8A34B3BA65505D7D7A9D8.jpg)

**图片地址**: https://fileserver.developer.huaweicloud.com/FileServer/getFile/cmtybbs/ce4/2c0/a13/2bb0bfeb10ce42c0a13f0ea7c9fffb09.20250728070036.35764340689591258929990491251165:20250827021420:2400:18C76970C840011ECCE78CC8066C4703D792CF6A96A8A34B3BA65505D7D7A9D8.jpg

**图片描述**: Snap2.jpg

## 完整内容

参考摩乐社区的文档https://modelers.cn/models/MindIE/qwen2.5_72b_instruct 使用的推理镜像也是该文档中的mindie:1.0.RC3-800I-A2-arm64-OpenMind 拉取服务后可以正常问答但一段时间AI Core的利用率突然飚到100%持续6-7分钟左右这期间模型完全卡住之后又恢复正常问题发生的比较频繁服务器配置为NPU: 8* 910B3 内存1024GBCPU4* Kunpeng920 使用docker启动的命令如下 docker run -itd \ --net=host \ --restart=always \ --name=qwen2.5-72b-instruct \ --shm-size=500g \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc/ \ --device=/dev/devmm_svm \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /usr/local/sbin:/usr/local/sbin \ -v /media/storage/MODELS/Qwen2.5-72B-Instruct/atom/1/local_model/base_model:/home/HwHiAiUser/Ascend/qwen2.5-72b-instruct \ -v /media/storage/MODELS/models_conf/qwen2.5-72b-mindie:/home/HwHiAiUser/Ascend/mindie/latest/mindie-service/conf \ mindie:1.0.RC3-800I-A2-arm64-OpenMind \ --model /home/HwHiAiUser/Ascend/qwen2.5-72b-instruct --model-name qwen2.5-72b \ --max-seq-len 16384 \ --max-input-token-len 10240 \ --max-prefill-tokens 10240 \ --max-prefill-batch-size 8 \ --world-size 4 \ --port 9811 \ --management-port 9811 \ --metrics-port 9812 \ --npu-device-ids 0,1,2,3 \ --npu-mem-size -1 \ --max-iter-times 4096 \复制 是否有其他更高版本的mindie如果有请给出具体的部署参考文档谢谢 补充下监控到的AI Core利用率异常的情况如上图左下角所示 您好 请问 这个监控显示在那可以看的 是什么软件吗 grafana自定义仪表盘 好的谢谢 硬件厂商升级了fireware和driver之后目前暂没有出现之前的异常但升级之后无法再使用mindie:1.0.RC3-800I-A2-arm64-OpenMind 推理镜像而是使用的vllm推理引擎

---

## 技术要点总结

基于以上内容，主要技术要点包括：

1. **问题类型**: 部署安装
2. **涉及技术**: HTTPS, NPU, Docker, MindIE, 昇腾, AI
3. **解决方案**: 请参考完整内容中的解决方案

## 相关资源

- 昇腾社区: https://www.hiascend.com/
- 昇腾论坛: https://www.hiascend.com/forum/

---

*本文档由AI自动生成，仅供参考。如有疑问，请参考原始帖子。*