300I DUO推理速度极慢1token/s，是配置问题还是显卡性能问题？_MindIE_昇腾论坛

# 300I DUO推理速度极慢1token/s，是配置问题还是显卡性能问题？_MindIE_昇腾论坛

## 概述

本文档基于昇腾社区论坛帖子生成的技术教程。

**原始链接**: https://www.hiascend.com/forum/thread-0267186746666949082-1-1.html

**生成时间**: 2025-08-27 10:33:59

---

## 问题描述

2卡300I DUO 96G部署DeepSeek-R1-Distill-Qwen-32B推理速度1token/s是配置问题还是显卡性能问题 还有Qwen3-32BQwen2.5-72B-Instruct官方镜像都运行不了用vllm-ascend:v0.9.1rc1-310p可以运行这两个但也是1token/s 使用的官方镜像是mindie:2.0.RC2-300I-Duo-py311-openeuler24.03-lts 使用的vllm-ascend镜像是quay.io/ascend/vllm-ascend:v0.9.1rc1-310p 怎么会这么慢 我测试使用 两张卡可以达到5tok左右呢 你啥部署过程 https://www.hiascend.com/document/detail/zh/mindie/20RC2/envdeployment/instg/mindie_instg_0021.html 按方式一镜像部署方式部署的 为了跑qwen3用了论坛里https://www.hiascend.com/forum/thread-0255182144444158080-1-1.html提供的atb-modelsqwen3没跑起来qwen2.5也慢的不行不知道换回原来的会不会快点 工单咨询说是要7月下旬才支持qwen3 老哥用的什么配置是用的x86还是arm x86用官方镜像跑DeepSeek-R1-Distill-Qwen-32B差不多8token/s不知道怎么优化 vllm-ascend我用的镜像0.9.0rc2单卡910b3模型qwen2.5-0.5b单路跑出来性能才50多tokens/s一个token要20ms性能很慢npu-smi info查看aicore占用才不到百分之10不知道咋优化 DUO卡机器的频率和带宽比较低性能确实不太行这是我们的性价比产品

## 相关图片

### 图片 1

![PixPin_2025-07-01_17-51-05.png](https://fileserver.developer.huaweicloud.com/FileServer/getFile/cmtybbs/694/843/829/1b8080a9cd6948438290d34242b3d585.20250701095443.08494690972007679187090636936243:20250827021821:2400:BDC9FEFEDCE4BB5E12BDB631DC76863F756EE2F2B014C100B56A894E5CEBCCCF.png)

**图片地址**: https://fileserver.developer.huaweicloud.com/FileServer/getFile/cmtybbs/694/843/829/1b8080a9cd6948438290d34242b3d585.20250701095443.08494690972007679187090636936243:20250827021821:2400:BDC9FEFEDCE4BB5E12BDB631DC76863F756EE2F2B014C100B56A894E5CEBCCCF.png

**图片描述**: PixPin_2025-07-01_17-51-05.png

### 图片 2

![PixPin_2025-07-01_18-02-03.png](https://fileserver.developer.huaweicloud.com/FileServer/getFile/cmtybbs/694/843/829/1b8080a9cd6948438290d34242b3d585.20250701100222.20853830205289662530173987100321:20250827021821:2400:A4DA1ED47ED61C110DF02B5A3F39121B1729AE7299A5B93ADCC0B49DCAF02FC5.png)

**图片地址**: https://fileserver.developer.huaweicloud.com/FileServer/getFile/cmtybbs/694/843/829/1b8080a9cd6948438290d34242b3d585.20250701100222.20853830205289662530173987100321:20250827021821:2400:A4DA1ED47ED61C110DF02B5A3F39121B1729AE7299A5B93ADCC0B49DCAF02FC5.png

**图片描述**: PixPin_2025-07-01_18-02-03.png

---

## 技术要点总结

基于以上内容，主要技术要点包括：

1. **问题类型**: 部署安装
2. **涉及技术**: HTTPS, NPU, MindIE, 昇腾, AI
3. **解决方案**: 请参考完整内容中的解决方案

## 相关资源

- 昇腾社区: https://www.hiascend.com/
- 昇腾论坛: https://www.hiascend.com/forum/

---

*本文档由AI自动生成，仅供参考。如有疑问，请参考原始帖子。*