VLLM+ray 搭建分布式推理运行 Qwen3_235B，VLLM 跨节点寻找 npuID 逻辑错误_MindIE_昇腾论坛

# VLLM+ray 搭建分布式推理运行 Qwen3_235B，VLLM 跨节点寻找 npuID 逻辑错误_MindIE_昇腾论坛

## 概述

本文档基于昇腾社区论坛帖子生成的技术教程。

**原始链接**: https://www.hiascend.com/forum/thread-02117187162693971008-1-1.html

**生成时间**: 2025-08-27 10:33:58

---

## 问题描述

单机 910B2 运行 235B 运行大模型太吃力所以打算使用分布式部署推理 2 台 8x64G的 910B2 来运行使用的 vllm 推理引擎 这是 ray 的组网信息可以看到 NPU 数量正确 vllm serve /data --tensor-parallel-size 16 --distributed-executor-backend ray --gpu-memory-utilization 0.9 --max-num-batched-tokens 131072 --block-size 32 --max-model-len 32768 --host 0.0.0.0 --port 8080 --cpu-offload-gb 500 --swap-space 16 --enable-auto-tool-choice --tool-call-parser hermes 谁能帮忙解决下 一起看看 或者使用别的推理引擎也行 有过实践的朋友一起讨论下

## 相关图片

### 图片 1

![cke_2137.png](https://fileserver.developer.huaweicloud.com/FileServer/getFile/cmtybbs/b64/c64/852/30c3c72f7ab64c64852417b53bf28a67.20250706052506.14092689238781375242974643439962:20250827021220:2400:FAFE9F0F9561D8F0AC6B2B6E986740C4F67C9B31DE5F760ABD8EF147BF5E6CF3.png)

**图片地址**: https://fileserver.developer.huaweicloud.com/FileServer/getFile/cmtybbs/b64/c64/852/30c3c72f7ab64c64852417b53bf28a67.20250706052506.14092689238781375242974643439962:20250827021220:2400:FAFE9F0F9561D8F0AC6B2B6E986740C4F67C9B31DE5F760ABD8EF147BF5E6CF3.png

**图片描述**: cke_2137.png

### 图片 2

![cke_4540.png](https://fileserver.developer.huaweicloud.com/FileServer/getFile/cmtybbs/b64/c64/852/30c3c72f7ab64c64852417b53bf28a67.20250706053609.20043973116816055132805042385183:20250827021220:2400:0831788D95EC865639F03D7DB16E143A1D25A69EA727F26F0220F384855339A2.png)

**图片地址**: https://fileserver.developer.huaweicloud.com/FileServer/getFile/cmtybbs/b64/c64/852/30c3c72f7ab64c64852417b53bf28a67.20250706053609.20043973116816055132805042385183:20250827021220:2400:0831788D95EC865639F03D7DB16E143A1D25A69EA727F26F0220F384855339A2.png

**图片描述**: cke_4540.png

---

## 技术要点总结

基于以上内容，主要技术要点包括：

1. **问题类型**: 错误处理
2. **涉及技术**: GPU, NPU, MindIE
3. **解决方案**: 请参考完整内容中的解决方案

## 相关资源

- 昇腾社区: https://www.hiascend.com/
- 昇腾论坛: https://www.hiascend.com/forum/

---

*本文档由AI自动生成，仅供参考。如有疑问，请参考原始帖子。*