2.0.RC1-800I-A2-py311-openeuler24.03-lts 部署DeepSeekV3-BF16 在多并发下如何保持首响在1s内_MindIE_昇腾论坛

# 2.0.RC1-800I-A2-py311-openeuler24.03-lts 部署DeepSeekV3-BF16 在多并发下如何保持首响在1s内_MindIE_昇腾论坛

## 概述

本文档基于昇腾社区论坛帖子生成的技术教程。

**原始链接**: https://www.hiascend.com/forum/thread-0272186807743125085-1-1.html

**生成时间**: 2025-08-27 10:33:59

---

## 问题描述

20并发 "first_token_latency": 2.144925832748413 10并发 "first_token_latency": 1.1397533416748047 5并发"first_token_latency": 0.8641939163208008 1并发"first_token_latency": 0.7571606636047363 ScheduleConfig的配置如下 { "templateType" : "Standard", "templateName" : "Standard_LLM", "cacheBlockSize" : 128, "maxPrefillBatchSize" : 8, "maxPrefillTokens" : 2048, "prefillTimeMsPerReq" : 150, "prefillPolicyType" : 0, "decodeTimeMsPerReq" : 50, "decodePolicyType" : 0, "maxBatchSize" : 20, "maxIterTimes" : 1024, "maxPreemptCount" : 0, "supportSelectBatch" : false, "maxQueueDelayMicroseconds" : 5000 } 我们没有交付过DeepSeekV3-BF16

---

## 技术要点总结

基于以上内容，主要技术要点包括：

1. **问题类型**: 部署安装
2. **涉及技术**: MindIE
3. **解决方案**: 请参考完整内容中的解决方案

## 相关资源

- 昇腾社区: https://www.hiascend.com/
- 昇腾论坛: https://www.hiascend.com/forum/

---

*本文档由AI自动生成，仅供参考。如有疑问，请参考原始帖子。*