双机32卡910B (MindIE 2.0 rc2) 部署DeepSeek-R1-w8a8，性能优化遇到瓶颈（32卡吞吐仅780 tok/s vs 单机16卡680 tok/s），求tpdp，moetpdp参数设置建议_MindIE_昇腾论坛

# 双机32卡910B (MindIE 2.0 rc2) 部署DeepSeek-R1-w8a8，性能优化遇到瓶颈（32卡吞吐仅780 tok/s vs 单机16卡680 tok/s），求tpdp，moetpdp参数设置建议_MindIE_昇腾论坛

## 概述

本文档基于昇腾社区论坛帖子生成的技术教程。

**原始链接**: https://www.hiascend.com/forum/thread-02116188706249549241-1-1.html

**生成时间**: 2025-08-27 10:33:57

---

## 问题描述

使用 MindIE 2.0 rc2 部署量化模型 deepseek-r1-bf16-hfd-w8a8 时遇到性能提升的瓶颈对于推理引擎mindie的配置文件tpdp和其他参数的设置上希望得到一点建议 性能现象 单机16卡配置下最高吞吐可达 ~680 tok/s 双机32卡配置下 (tp=8, dp=4, moe_tp=4, moe_ep=8)吞吐仅为 ~780 tok/s 问题增加一倍计算卡16卡 -> 32卡吞吐提升仅约 15% (780 / 680  1.15)扩展效率远低于预期 环境 硬件2台 昇腾910B 服务器每台16卡总计32卡 软件MindIE 2.0 rc2 模型DeepSeek-R1 bf16-hfd-w8a8 量化版本 测试条件 并发请求数64 每个请求输入长度固定为1024 tokens输出长度固定为1024 tokens 测试指标Output Token Throughput (tok/s) 当前配置文件如下 { "ModelDeployConfig": { "maxSeqLen": 4096, "maxInputTokenLen": 2048, "truncation": true, "ModelConfig": [ { "modelInstanceType": "Standard", "modelName": "deepseek-r1", "modelWeightPath": "/workspace/DeepSeek-R1-bf16-hfd-w8a8/", "worldSize": 16, "cpuMemSize": 5, "npuMemSize": -1, "backendType": "atb", "trustRemoteCode": false, "tp": 8, "dp": 4, "moe_tp": 4, "moe_ep": 8 } ] }, "ScheduleConfig": { "templateType": "Standard", "templateName": "Standard_LLM", "cacheBlockSize": 128, "maxPrefillBatchSize": 256, "maxPrefillTokens": 8192, "prefillTimeMsPerReq": 900, "prefillPoli...

## 相关代码

### 代码示例 1

```
deepseek-r1-bf16-hfd-w8a8
```

### 代码示例 2

```
bf16-hfd-w8a8
```

### 代码示例 3

```
{
"ModelDeployConfig": {
"maxSeqLen": 4096,
"maxInputTokenLen": 2048,
"truncation": true,
"ModelConfig": [
{
"modelInstanceType": "Standard",
"modelName": "deepseek-r1",
"modelWeightPath": "/workspace/DeepSeek-R1-bf16-hfd-w8a8/",
"worldSize": 16,
"cpuMemSize": 5,
"npuMemSize": -1,
"backendType": "atb",
"trustRemoteCode": false,
"tp": 8,
"dp": 4,
"moe_tp": 4,
"moe_ep": 8
}
]
},
"ScheduleConfig": {
"templateType": "Standard",
"templateName": "Standard_LLM",
"cacheBlockSize": 128,
"maxPrefillBatchSize": 256,
"maxPrefillTokens": 8192,
"prefillTimeMsPerReq": 900,
"prefillPolicyType": 0,
"decodeTimeMsPerReq": 300,
"decodePolicyType": 0,
"maxBatchSize": 512,
"maxIterTimes": 4096,
"maxPreemptCount": 0,
"supportSelectBatch": true,
"maxQueueDelayMicroseconds": 8000
}
}
复制
```

### 代码示例 4

```
{
"ModelDeployConfig": {
"maxSeqLen": 4096,
"maxInputTokenLen": 2048,
"truncation": true,
"ModelConfig": [
{
"modelInstanceType": "Standard",
"modelName": "deepseek-r1",
"modelWeightPath": "/workspace/DeepSeek-R1-bf16-hfd-w8a8/",
"worldSize": 16,
"cpuMemSize": 5,
"npuMemSize": -1,
"backendType": "atb",
"trustRemoteCode": false,
"tp": 8,
"dp": 4,
"moe_tp": 4,
"moe_ep": 8
}
]
},
"ScheduleConfig": {
"templateType": "Standard",
"templateName": "Standard_LLM",
"cacheBlockSize": 128,
"maxPrefillBatchSize": 256,
"maxPrefillTokens": 8192,
"prefillTimeMsPerReq": 900,
"prefillPolicyType": 0,
"decodeTimeMsPerReq": 300,
"decodePolicyType": 0,
"maxBatchSize": 512,
"maxIterTimes": 4096,
"maxPreemptCount": 0,
"supportSelectBatch": true,
"maxQueueDelayMicroseconds": 8000
}
}
```

## 完整内容

使用 MindIE 2.0 rc2 部署量化模型 deepseek-r1-bf16-hfd-w8a8 时遇到性能提升的瓶颈对于推理引擎mindie的配置文件tpdp和其他参数的设置上希望得到一点建议 性能现象 单机16卡配置下最高吞吐可达 ~680 tok/s 双机32卡配置下 (tp=8, dp=4, moe_tp=4, moe_ep=8)吞吐仅为 ~780 tok/s 问题增加一倍计算卡16卡 -> 32卡吞吐提升仅约 15% (780 / 680  1.15)扩展效率远低于预期 环境 硬件2台 昇腾910B 服务器每台16卡总计32卡 软件MindIE 2.0 rc2 模型DeepSeek-R1 bf16-hfd-w8a8 量化版本 测试条件 并发请求数64 每个请求输入长度固定为1024 tokens输出长度固定为1024 tokens 测试指标Output Token Throughput (tok/s) 当前配置文件如下 { "ModelDeployConfig": { "maxSeqLen": 4096, "maxInputTokenLen": 2048, "truncation": true, "ModelConfig": [ { "modelInstanceType": "Standard", "modelName": "deepseek-r1", "modelWeightPath": "/workspace/DeepSeek-R1-bf16-hfd-w8a8/", "worldSize": 16, "cpuMemSize": 5, "npuMemSize": -1, "backendType": "atb", "trustRemoteCode": false, "tp": 8, "dp": 4, "moe_tp": 4, "moe_ep": 8 } ] }, "ScheduleConfig": { "templateType": "Standard", "templateName": "Standard_LLM", "cacheBlockSize": 128, "maxPrefillBatchSize": 256, "maxPrefillTokens": 8192, "prefillTimeMsPerReq": 900, "prefillPolicyType": 0, "decodeTimeMsPerReq": 300, "decodePolicyType": 0, "maxBatchSize": 512, "maxIterTimes": 4096, "maxPreemptCount": 0, "supportSelectBatch": true, "maxQueueDelayMicroseconds": 8000 } } 复制 这套参数是我试下来最优的了但是吞吐也就780tpdp和moetpdp的组合是的都差不多了tpdp只有16 2和8 4两种方式能跑通不然会oom 目前不知道还有哪里有提升的空间但是应该还有不少因为之前单机测下来就680了目前是遇到瓶颈了求大佬帮忙给点建议

---

## 技术要点总结

基于以上内容，主要技术要点包括：

1. **问题类型**: 部署安装
2. **涉及技术**: NPU, MindIE
3. **解决方案**: 请参考完整内容中的解决方案

## 相关资源

- 昇腾社区: https://www.hiascend.com/
- 昇腾论坛: https://www.hiascend.com/forum/

---

*本文档由AI自动生成，仅供参考。如有疑问，请参考原始帖子。*