MindIE-ICU
【MindIE】【DeepSeek】性能较差、推理较慢问题定位总结（持续更新~）_MindIE_昇腾论坛
测试文档
【MindIE】【DeepSeek】性能较差、推理较慢问题定位总结（持续更新~）_MindIE_昇腾论坛
npu-smi info 相关报错- dcmi module initialize failed_MindIE_昇腾论坛
鲲鹏服务器，300I-Duo(310P3)npu卡，部署Qwen3-32B，容器内启动 ./mindieservice_daemon报权限错误_MindIE_昇腾论坛
今天刚到的算力服务器：300I-Duo(310P3)npu卡, 容器内启动 ./mindieservice_daemon，日志是什么意思？_MindIE_昇腾论坛
deepseekR1模型的性能需要怎么优化_MindIE_昇腾论坛
真没招了搞了一天了解决不了，求助求助大佬来！！！EZ9999: [PID: 28402] 2025-08-24-16:31:00.300.443 Parse dynamic kernel config fail. Trace_MindIE_昇腾论坛
求Atlas 800 Mindie部署Qwen2.5VL32B的教程_MindIE_昇腾论坛
大模型部署_MindIE_昇腾论坛
MindIE 2.1RC1部署qwen2.5-vl-7B-Instruct并发推理20张以上图片报错_MindIE_昇腾论坛
import mindiesd，报错：libPTAExtensionOPS.so: undefined symbol_MindIE_昇腾论坛
单卡310P3使用镜像跑deepsee 7B报出Warning: EZ9999: Inner Error! EZ9999: [PID: 1338] _MindIE_昇腾论坛
310P3显卡跑Qwen2.5-7b-vl报错，参考https://www.hiascend.com/developer/ascendhub/detail/9eedc82e0c0644b2a2a9d0821ed5e7ad_MindIE_昇腾论坛
mindieservice_daemon 启动报错， NPU out of memory （PyTorch）_MindIE_昇腾论坛
Qwen3-Reranker-4B重排序模型能够正常启动，访问重排序模型接口时报错，NPU out of memory，请问该如何解决_MindIE_昇腾论坛
Qwen3-Reranker-4B重排序模型能够正常启动，访问重排序模型接口时报错，NPU out of memory，请问该如何解决_MindIE_昇腾论坛
vit-b-16镜像服务启动成功之后的调用命令例子不对_MindIE_昇腾论坛
跑2张310P卡，使用mindie镜像，npu-smi info显示的设备不是0，1_MindIE_昇腾论坛
2.1.RC1-300I-Duo-py311-openeuler24.03-lts镜像无法下载_MindIE_昇腾论坛
模型答非所问_MindIE_昇腾论坛
mindIE 设置system prompt以及和ollama的一些参数对应问题_MindIE_昇腾论坛
Atlas 300i Duo上部署qwen3-32b后启动失败_MindIE_昇腾论坛
Atlas 300i Duo上部署qwen3-32b后启动失败_MindIE_昇腾论坛
拉起mindIE服务（mindieservice_daemon）出错_MindIE_昇腾论坛
MindIE推理DeepSeek R1 0528 BF16乱码_MindIE_昇腾论坛
Atlas 500 A2 智能小站 ffmpeg硬件编解码报错_MindIE_昇腾论坛
MindIE镜像无法安装vllm依赖_MindIE_昇腾论坛
在使用mis_tei:7.1.RC1-300I-Duo-aarch64镜像时报错，illegal_MindIE_昇腾论坛
银河麒麟V10 SP1运行mindie报错_MindIE_昇腾论坛
qwen2.5-vl图片处理报错_MindIE_昇腾论坛
mindie部署模型后，并发多的情况下请求报错_MindIE_昇腾论坛
在2块Atlas 300i pro 上，开启mindie-service服务，跑Qwen3-8b，速度较慢 ，请问有加速方案吗？ _MindIE_昇腾论坛
部署mindie docker时，应该选用什么操作系统，麒麟还是欧拉？_MindIE_昇腾论坛
mindieserver提供的大模型服务化接口如何配置API key_MindIE_昇腾论坛
Ascend310P1的OrangePi AI Studio使用mindIE镜像报错ImportError: /usr/local/Ascend/nnal/atb/latest/atb/cxx_abi_0/lib/libatb.so: un_MindIE_昇腾论坛
Embedding、Rerank部署报错_MindIE_昇腾论坛
Tokenizer encode wait sub process timeout. errno is 110_MindIE_昇腾论坛
310p运行vllm-ascend报[ERROR] 2025-08-12-01:31:20 (PID:909, Device:-1, RankID:-1) ERR99999 UNKNOWN applicaiton exception_MindIE_昇腾论坛
MindIE 2.1.rc1启动Qwen3-30B-A3B报错_MindIE_昇腾论坛
mindie推理qwen2.5-vl报错_MindIE_昇腾论坛
https安装证书失败_MindIE_昇腾论坛
S500C+300IPRO 部署gpustack ,适应mindeie 部署qwen 2.5 7B instruct 启动不了_MindIE_昇腾论坛
求助，300i duo卡使用msmodelslim中的w8a8量化，用mindie部署报错_MindIE_昇腾论坛
【MindIE】【接口疑问】服务管控指标查询接口如果有多个模型时,指标值是多个模型汇总的结果吗_MindIE_昇腾论坛
最新镜像2.1.RC1-300I-Duo-py311-openeuler24.03-lts 部署Qwen2.5-VL-7B，文本问答正常，推理图像报错_MindIE_昇腾论坛
MindIE 2.1.RC1版本中，支持Qwen3-32B 在300IDUO下的稀疏量化问题_MindIE_昇腾论坛
部署qwen3-32b模型tool_call功能异常，急急急_MindIE_昇腾论坛
MindIE MS Coordinate使用多模态的方式访问报[ERROR] [RequestListener.cpp:482] : [MIE03E200C00] [RequestListener] Failed to deal MindI_MindIE_昇腾论坛
mindie2.1启动qwen3:32b报错llminferengine failed to init llminfermodels_MindIE_昇腾论坛
export MIES_SERVICE_MONITOR_MODE=1设置需重启服务中断业务才能生效，有规避的方法吗？_MindIE_昇腾论坛
2.1.RC1-300I-Duo-py311-openeuler24.03-lts在300iDUO卡部署Qwen3-30B-A3B模型报错_MindIE_昇腾论坛
【MindIE】【DeepSeek】性能较差、推理较慢问题定位总结（持续更新~）_MindIE_昇腾论坛
【MindIE】【DeepSeek】性能较差、推理较慢问题定位总结（持续更新~）_MindIE_昇腾论坛
【MindIE】【DeepSeek】性能较差、推理较慢问题定位总结（持续更新~）_MindIE_昇腾论坛
【MindIE】【DeepSeek】性能较差、推理较慢问题定位总结（持续更新~）_MindIE_昇腾论坛
【MindIE】【DeepSeek】性能较差、推理较慢问题定位总结（持续更新~）_MindIE_昇腾论坛
【MindIE】【DeepSeek】性能较差、推理较慢问题定位总结（持续更新~）_MindIE_昇腾论坛
deepseekR1模型的性能需要怎么优化_MindIE_昇腾论坛
真没招了搞了一天了解决不了，求助求助大佬来！！！EZ9999: [PID: 28402] 2025-08-24-16:31:00.300.443 Parse dynamic kernel config fail. Trace_MindIE_昇腾论坛
真没招了搞了一天了解决不了，求助求助大佬来！！！EZ9999: [PID: 28402] 2025-08-24-16:31:00.300.443 Parse dynamic kernel config fail. Trace_MindIE_昇腾论坛
真没招了搞了一天了解决不了，求助求助大佬来！！！EZ9999: [PID: 28402] 2025-08-24-16:31:00.300.443 Parse dynamic kernel config fail. Trace_MindIE_昇腾论坛
真没招了搞了一天了解决不了，求助求助大佬来！！！EZ9999: [PID: 28402] 2025-08-24-16:31:00.300.443 Parse dynamic kernel config fail. Trace_MindIE_昇腾论坛
310P3显卡跑Qwen2.5-7b-vl报错，参考https://www.hiascend.com/developer/ascendhub/detail/9eedc82e0c0644b2a2a9d0821ed5e7ad_MindIE_昇腾论坛
mindieservice_daemon 启动报错， NPU out of memory （PyTorch）_MindIE_昇腾论坛
Qwen3-Reranker-4B重排序模型能够正常启动，访问重排序模型接口时报错，NPU out of memory，请问该如何解决_MindIE_昇腾论坛
2.1.RC1-300I-Duo-py311-openeuler24.03-lts镜像无法下载_MindIE_昇腾论坛
Atlas 300i Duo上部署qwen3-32b后启动失败_MindIE_昇腾论坛
Atlas 500 A2 智能小站 ffmpeg硬件编解码报错_MindIE_昇腾论坛
最新镜像2.1.RC1-300I-Duo-py311-openeuler24.03-lts 部署Qwen2.5-VL-7B，文本问答正常，推理图像报错_MindIE_昇腾论坛
部署qwen3-32b模型tool_call功能异常，急急急_MindIE_昇腾论坛
MindIE 启动卡死，日志停滞在 model_runner.dtype，NPU 进程存在但模型未加载_MindIE_昇腾论坛
求助谁用最新的mindie2.1rc1在300i-duo的卡下面跑通qwen3的moe模型了？_MindIE_昇腾论坛
请求快速支持 gpt-oss-120b 和 gpt-oss-20b 模型_MindIE_昇腾论坛
MindIE 支持 msmodelslim 量化后的模型嘛_MindIE_昇腾论坛
有偿求助帮忙在autodl上部署MindIE Server_MindIE_昇腾论坛
MindIE如何一卡推理两个语言模型？_MindIE_昇腾论坛
w cassin baixar_MindIE_昇腾论坛
适配微调后的MiniCPM-V-2_6，总是出现错误：Failed to get vocab size from tokenizer wrapper with exception_MindIE_昇腾论坛
求助，现在mindie哪个版本支持部署qwen2.5-vl-72B，有没有部署指导文档，谢谢。_MindIE_昇腾论坛
最新版的2.1.RC1-800I-A2-py311-openeuler24.03-lts 部署Qwen3-235B-A22B （2台Atlas 800I A2 推理）目前推理速度10 token/s_MindIE_昇腾论坛
Atlas 300I Duo8卡运行DeepSeek-R1-Distill-Llama-70B异常_MindIE_昇腾论坛
《急贴求大神回答！！！》800TA2宿主机部署Deepseek-R1、Qwen3-235B、Qwen3-32B推理服务报错！！！！_MindIE_昇腾论坛
qwen2.5VL 72B模型部署后无法确保结果可复现_MindIE_昇腾论坛
VLM 模型是否支持w8a16 量化_MindIE_昇腾论坛
910B 8卡 部署Qwen3-32B模型，模型启动报ConnectionRefusedError: [Errno 111] Connection refused错误_MindIE_昇腾论坛
910B 8卡 部署Qwen3-32B模型，模型启动报ConnectionRefusedError: [Errno 111] Connection refused错误_MindIE_昇腾论坛
910B 8卡 部署Qwen3-32B模型，模型启动报ConnectionRefusedError: [Errno 111] Connection refused错误_MindIE_昇腾论坛
之前昇腾产品公告中提到7月份会升级mindie到2.1rc1版本，什么时候能试用啊？_MindIE_昇腾论坛
MindIE 部署JanusPro7B 识别返回乱码 _MindIE_昇腾论坛
MindIE双机部署Qwen3-235B-A22B-Instruct-2507模型报错：Failed to get vocab size from tokenizer wrapper with exception_MindIE_昇腾论坛
mindie2.0.RC2版本运行GLM-4.1V-9B-Thinking报错是不支持吗_MindIE_昇腾论坛
多模型部署报错了_MindIE_昇腾论坛
atlas300 卡，mindie 或者 gpustack 启动本地 llm ， 怎么对 本地部署的 ragflow 等 RAG 应用进行测评呢？_MindIE_昇腾论坛
dev-2.0.T17.B010-800I-A2-py311-ubuntu22.04-aarch64 部署Qwen3-Coder 失败_MindIE_昇腾论坛
310P3 运行Qwen3/Deepseek-R1的性能_MindIE_昇腾论坛
求助DeepSeek-R1-Distill-Llama-70B-W8A8-NPU谁有这个能下载的模型啊，两张300iDUO还有模型的优化配置_MindIE_昇腾论坛
mindie:2.0.RC2-300I-Duo-py311-openeuler24.03-lts请问如何去升级旧的变量_MindIE_昇腾论坛
镜像文件中使用 ./bin/mindieservice_daemon报错：_MindIE_昇腾论坛
qwen2.5-72b-instruct运行中频繁卡顿：ai core 利用率总是莫名达到100%，然后模型推理卡住，持续约6-7分钟后释放_MindIE_昇腾论坛
大EP场景下运行，D节点夯住，提升Slave waiting for master init flag_MindIE_昇腾论坛
四机部署DeepSeek-R1-0528-bf16问题与解决方案_MindIE_昇腾论坛
DeepSeek-V3-w8a8双机直连部署启MindIE服务化报错_MindIE_昇腾论坛
登录镜像仓库报错_MindIE_昇腾论坛
使用64G双机800I A2部署int8量化的deepseekR1最长上下文是多少？config.json的参数应该如何配置？_MindIE_昇腾论坛
部署qwen2.5vl-32b时，报错 Exception:call aclnnArange failed, detail:EZ9999: Inner Error!_MindIE_昇腾论坛
双机32卡910B (MindIE 2.0 rc2) 部署DeepSeek-R1-w8a8，性能优化遇到瓶颈（32卡吞吐仅780 tok/s vs 单机16卡680 tok/s），求tpdp，moetpdp参数设置建议_MindIE_昇腾论坛
MindIE 运行DeepSeek-R1-Distill-Qwen-32B 无法启动_MindIE_昇腾论坛
MindIE 运行DeepSeek-R1-Distill-Qwen-32B 无法启动_MindIE_昇腾论坛
MindIE 运行DeepSeek-R1-Distill-Qwen-32B 无法启动_MindIE_昇腾论坛
300iduo，一张310P3 96G的卡，mindie可以跑qwen2.5vl吗？_MindIE_昇腾论坛
【MindIE】【DeepSeek】性能较差、推理较慢问题定位总结（持续更新~）_MindIE_昇腾论坛
【MindIE】【DeepSeek】性能较差、推理较慢问题定位总结（持续更新~）_MindIE_昇腾论坛
求Atlas 800 Mindie部署Qwen2.5VL32B的教程_MindIE_昇腾论坛
310P3显卡跑Qwen2.5-7b-vl报错，参考https://www.hiascend.com/developer/ascendhub/detail/9eedc82e0c0644b2a2a9d0821ed5e7ad_MindIE_昇腾论坛
2.1.RC1-300I-Duo-py311-openeuler24.03-lts镜像无法下载_MindIE_昇腾论坛
MindIE镜像无法安装vllm依赖_MindIE_昇腾论坛
MindIE镜像无法安装vllm依赖_MindIE_昇腾论坛
MindIE 2.1.rc1启动Qwen3-30B-A3B报错_MindIE_昇腾论坛
MindIE 2.1.rc1启动Qwen3-30B-A3B报错_MindIE_昇腾论坛
mindie推理qwen2.5-vl报错_MindIE_昇腾论坛
mindie推理qwen2.5-vl报错_MindIE_昇腾论坛
mindie推理qwen2.5-vl报错_MindIE_昇腾论坛
MindIE 2.1.RC1版本中，支持Qwen3-32B 在300IDUO下的稀疏量化问题_MindIE_昇腾论坛
MindIE如何一卡推理两个语言模型？_MindIE_昇腾论坛
最新版的2.1.RC1-800I-A2-py311-openeuler24.03-lts 部署Qwen3-235B-A22B （2台Atlas 800I A2 推理）目前推理速度10 token/s_MindIE_昇腾论坛
最新版的2.1.RC1-800I-A2-py311-openeuler24.03-lts 部署Qwen3-235B-A22B （2台Atlas 800I A2 推理）目前推理速度10 token/s_MindIE_昇腾论坛
910B 8卡 部署Qwen3-32B模型，模型启动报ConnectionRefusedError: [Errno 111] Connection refused错误_MindIE_昇腾论坛
镜像文件中使用 ./bin/mindieservice_daemon报错：_MindIE_昇腾论坛
使用64G双机800I A2部署int8量化的deepseekR1最长上下文是多少？config.json的参数应该如何配置？_MindIE_昇腾论坛
使用64G双机800I A2部署int8量化的deepseekR1最长上下文是多少？config.json的参数应该如何配置？_MindIE_昇腾论坛
MindIE 运行DeepSeek-R1-Distill-Qwen-32B 无法启动_MindIE_昇腾论坛
MindIE多机多卡推理，是否支持使用部分卡，而不是整机8张卡都使用_MindIE_昇腾论坛
MindIE部署Qwen2-audio模型怎么调用？_MindIE_昇腾论坛
MindIE-Service 部署的推理服务是不是不能上传附件比如pdf_MindIE_昇腾论坛
在Atlas 300I Duo 96GB卡上如何部署SGLang，没有找到相关的文档_MindIE_昇腾论坛
MindIE是否支持bge-reranker-V2-m3模型_MindIE_昇腾论坛
《急帖求回》宿主机怎么部署Qwen3系列模型_MindIE_昇腾论坛
mindie2.0用2卡910B推理Qwen2.5-VL-3B正常，而切换为单卡推理报错_MindIE_昇腾论坛
能否增加下 m3e-large 的emb镜像呢_MindIE_昇腾论坛
910B3支持的量化类型_MindIE_昇腾论坛
910B2求助_MindIE_昇腾论坛
Qwen2.5-VL-72B-Instruct模型分析图片报错{"error":"Failed to get engine response.","error_type":"Incomplete Generation"}_MindIE_昇腾论坛
咨询关于mindIE支持模型的几个问题_MindIE_昇腾论坛
mindie下载申请能不能快一些通过啊！_MindIE_昇腾论坛
910A用MindIE部署Qwen2.5-VL-7B-Instruct报错_MindIE_昇腾论坛
910A用MindIE部署Qwen2.5-VL-7B-Instruct报错_MindIE_昇腾论坛
基于MindIE2.0.RC2在300I Duo上单卡运行qwen2.5-vl-7b报错_MindIE_昇腾论坛
300iDUO适配MiniCPM-V-2_6微调后大模型失败_MindIE_昇腾论坛
300iDUO适配MiniCPM-V-2_6微调后大模型失败_MindIE_昇腾论坛
bge-large-zh-v1.5模型部署后调用，出现 Bad Request Error， 413 Client Error_MindIE_昇腾论坛
bge-large-zh-v1.5模型部署后调用，出现 Bad Request Error， 413 Client Error_MindIE_昇腾论坛
bge-large-zh-v1.5模型部署后调用，出现 Bad Request Error， 413 Client Error_MindIE_昇腾论坛
2.0.RC2-300I-Duo-py311-openeuler24.03-lts镜像是否支持qwen3_MindIE_昇腾论坛
atb-llm面壁大模型权重转换报错ValueError: safe_get_model_from_pretrained failed._MindIE_昇腾论坛
MiniCPM-V2.6-8Bmindie部署指导如何获取？_MindIE_昇腾论坛
MiniCPM-V2.6-8Bmindie部署指导如何获取？_MindIE_昇腾论坛
大模型推理时常受限_MindIE_昇腾论坛
使用qwen2.5-vl-7b-instruct镜像跑qwen2.5-vl-7b-instruct模型对话测试报错_MindIE_昇腾论坛
使用qwen2.5-vl-7b-instruct镜像跑qwen2.5-vl-7b-instruct模型对话测试报错_MindIE_昇腾论坛
使用mis-tei驱动rerenk模型时存在的问题_MindIE_昇腾论坛
MindIE啥时候能支持GLM-4.1V-9B-Thinking模型呀，有具体计划吗？_MindIE_昇腾论坛
大家两张300I duo 跑DeepSeek-R1-Distill-Qwen-32B 的速度怎么样？_MindIE_昇腾论坛
大家两张300I duo 跑DeepSeek-R1-Distill-Qwen-32B 的速度怎么样？_MindIE_昇腾论坛
请教MindIE2.0RC2运行Qwen32-14B模型的参数_MindIE_昇腾论坛
Qwen3-14B的镜像改如何下载啊 _MindIE_昇腾论坛
mis-tei:7.1.T3-800I-A2-aarch64部署错误情况_MindIE_昇腾论坛
mindie运行qwen2.5-72B失败_MindIE_昇腾论坛
申请的mindie下载权限，请管理员尽快批准_MindIE_昇腾论坛
为什么PD分离部署场景下，指定openai格式接口内的 top_k，top_p，seed, temperature，beam等参数，全都不生效_MindIE_昇腾论坛
单卡Atlas 300I DUO 使用mindie 启动qwen2-7B报错_MindIE_昇腾论坛
Atlas 300-I-duo 96g的显卡支持什么ai大模型_MindIE_昇腾论坛
mindie2.0RC2 运行Qwen2.5-VL-32B-Instruct模型失败_MindIE_昇腾论坛
VLLM+ray 搭建分布式推理运行 Qwen3_235B，VLLM 跨节点寻找 npuID 逻辑错误_MindIE_昇腾论坛
适配Qwen2.5-Omni-7B的镜像包无法下载_MindIE_昇腾论坛
【MindIE】【DeepSeek】性能较差、推理较慢问题定位总结（持续更新~）_MindIE_昇腾论坛
310P3显卡跑Qwen2.5-7b-vl报错，参考https://www.hiascend.com/developer/ascendhub/detail/9eedc82e0c0644b2a2a9d0821ed5e7ad_MindIE_昇腾论坛
Atlas 300i Duo上部署qwen3-32b后启动失败_MindIE_昇腾论坛
2.1.RC1-300I-Duo-py311-openeuler24.03-lts在300iDUO卡部署Qwen3-30B-A3B模型报错_MindIE_昇腾论坛
2.1.RC1-300I-Duo-py311-openeuler24.03-lts在300iDUO卡部署Qwen3-30B-A3B模型报错_MindIE_昇腾论坛
2.1.RC1-300I-Duo-py311-openeuler24.03-lts在300iDUO卡部署Qwen3-30B-A3B模型报错_MindIE_昇腾论坛
MindIE 启动卡死，日志停滞在 model_runner.dtype，NPU 进程存在但模型未加载_MindIE_昇腾论坛
求助谁用最新的mindie2.1rc1在300i-duo的卡下面跑通qwen3的moe模型了？_MindIE_昇腾论坛
有偿求助帮忙在autodl上部署MindIE Server_MindIE_昇腾论坛
Atlas 300I Duo8卡运行DeepSeek-R1-Distill-Llama-70B异常_MindIE_昇腾论坛
之前昇腾产品公告中提到7月份会升级mindie到2.1rc1版本，什么时候能试用啊？_MindIE_昇腾论坛
多模型部署报错了__昇腾论坛
qwen2.5-72b-instruct运行中频繁卡顿：ai core 利用率总是莫名达到100%，然后模型推理卡住，持续约6-7分钟后释放_MindIE_昇腾论坛
qwen2.5-72b-instruct运行中频繁卡顿：ai core 利用率总是莫名达到100%，然后模型推理卡住，持续约6-7分钟后释放_MindIE_昇腾论坛
大EP场景下运行，D节点夯住，提升Slave waiting for master init flag_MindIE_昇腾论坛
MindIE 运行DeepSeek-R1-Distill-Qwen-32B 无法启动__昇腾论坛
《急帖求回》宿主机怎么部署Qwen3系列模型_MindIE_昇腾论坛
mindie2.0用2卡910B推理Qwen2.5-VL-3B正常，而切换为单卡推理报错_MindIE_昇腾论坛
Qwen2.5-VL-72B-Instruct模型分析图片报错{"error":"Failed to get engine response.","error_type":"Incomplete Generation"}_MindIE_昇腾论坛
基于MindIE2.0.RC2在300I Duo上单卡运行qwen2.5-vl-7b报错__昇腾论坛
300iDUO适配MiniCPM-V-2_6微调后大模型失败_MindIE_昇腾论坛
300iDUO适配MiniCPM-V-2_6微调后大模型失败_MindIE_昇腾论坛
bge-large-zh-v1.5模型部署后调用，出现 Bad Request Error， 413 Client Error_MindIE_昇腾论坛
atb-llm面壁大模型权重转换报错ValueError: safe_get_model_from_pretrained failed._MindIE_昇腾论坛
MiniCPM-V2.6-8Bmindie部署指导如何获取？_MindIE_昇腾论坛
大模型推理时常受限_MindIE_昇腾论坛
大模型推理时常受限_MindIE_昇腾论坛
大模型推理时常受限_MindIE_昇腾论坛
大家两张300I duo 跑DeepSeek-R1-Distill-Qwen-32B 的速度怎么样？_MindIE_昇腾论坛
Qwen3-14B的镜像改如何下载啊 _MindIE_昇腾论坛
Qwen3-14B的镜像改如何下载啊 _MindIE_昇腾论坛
单卡Atlas 300I DUO 使用mindie 启动qwen2-7B报错_MindIE_昇腾论坛
单卡Atlas 300I DUO 使用mindie 启动qwen2-7B报错_MindIE_昇腾论坛
单卡Atlas 300I DUO 使用mindie 启动qwen2-7B报错_MindIE_昇腾论坛
Atlas 300-I-duo 96g的显卡支持什么ai大模型_MindIE_昇腾论坛
mindie2.0RC2 运行Qwen2.5-VL-32B-Instruct模型失败_MindIE_昇腾论坛
适配Qwen2.5-Omni-7B的镜像包无法下载_MindIE_昇腾论坛
适配Qwen2.5-Omni-7B的镜像包无法下载_MindIE_昇腾论坛
裸机CPU高性能开启执行" cpupower -c all frequency-set -g performance"失败_MindIE_昇腾论坛
MindIE 启动 DeepSeek-R1-0528-Qwen3-8B 报错_MindIE_昇腾论坛
Qwen3-32B进行w4a4量化时报错copy_d2d:build/CMakeFiles/torch_npu.dir/compiler_depend.ts:285 NPU function error: c10_npu::acl::Acl_MindIE_昇腾论坛
Qwen3-32B进行w4a4量化时报错copy_d2d:build/CMakeFiles/torch_npu.dir/compiler_depend.ts:285 NPU function error: c10_npu::acl::Acl_MindIE_昇腾论坛
300I DUO 部署 Qwen2-VL-7B-Instruct 报错_MindIE_昇腾论坛
MindIE是否有计划增加结构化输出能力， 比如集成xgrammar库？_MindIE_昇腾论坛
【已解决】mindie加载 qwen2.5-14B-instruct-w8a8 报错AttributeError: 'ForkAwareLocal' object has no attribute 'connection‘_MindIE_昇腾论坛
有什么好用的ocr识别pdf文档，可以部署到910b服务器_MindIE_昇腾论坛
2.0.RC1-800I-A2-py311-openeuler24.03-lts 部署DeepSeekV3-BF16 在多并发下如何保持首响在1s内_MindIE_昇腾论坛
300I DUO推理速度极慢1token/s，是配置问题还是显卡性能问题？_MindIE_昇腾论坛
300I DUO推理速度极慢1token/s，是配置问题还是显卡性能问题？_MindIE_昇腾论坛
300I DUO推理速度极慢1token/s，是配置问题还是显卡性能问题？_MindIE_昇腾论坛
300I DUO推理速度极慢1token/s，是配置问题还是显卡性能问题？_MindIE_昇腾论坛
300I DUO推理速度极慢1token/s，是配置问题还是显卡性能问题？_MindIE_昇腾论坛
MindIE 文本/流式推理接口 是否支持上下文请求，如果支持如何使用_MindIE_昇腾论坛
thxcode/mindie:2.0.RC1-800I-A2-py311-openeuler24.03-lts 服务部署deepseekv3_fp16乱码_MindIE_昇腾论坛
model-config中'asyncBatchscheduler': 'false', 'async_infer': 'false', 'distributed_enable': 'false'_MindIE_昇腾论坛
2.0.RC1 mindie 910b4 创建rerank 和embedding失败_MindIE_昇腾论坛
300I Duo卡能用MindIE 部署DeepSeek 32B吗【最新MIndIE模型支撑列表里显示不支持】_MindIE_昇腾论坛
300I Duo卡能用MindIE 部署DeepSeek 32B吗【最新MIndIE模型支撑列表里显示不支持】_MindIE_昇腾论坛
启动dsv3报错_MindIE_昇腾论坛
mindie容器部署，宿主机环境问题_MindIE_昇腾论坛
mindie容器部署，宿主机环境问题_MindIE_昇腾论坛
mindie容器部署，宿主机环境问题_MindIE_昇腾论坛
mindie容器部署，宿主机环境问题_MindIE_昇腾论坛
mindie容器部署，宿主机环境问题__昇腾论坛
求个最新的mindie_2.0 用于部署qwen3和qwen2.5_vl_MindIE_昇腾论坛
求个最新的mindie_2.0 用于部署qwen3和qwen2.5_vl_MindIE_昇腾论坛
（mindieservice）There appear to be 30 leaked semaphore objects to clean up at shutdown warnings.warn('resource_tracke_MindIE_昇腾论坛
mindie启动服务失败_MindIE_昇腾论坛
MindIE中执行命令报错：OpenBLAS blas_thread_init: pthread_create failed for thread 1 of 64: Operation not permitted_MindIE_昇腾论坛
（mindieservice）get platform info failed, drvErr=87. _MindIE_昇腾论坛
mindie 2.0 版本 部署qwen 2.5vl 72B，并发数为40时 出现如下错误Segmentation fault (core dumped)，导致服务直接挂死_MindIE_昇腾论坛
HunyuanVideo视频生成部署问题，爆显存_MindIE_昇腾论坛
300iduo里运行docker版模型报错_MindIE_昇腾论坛
本地部署和Qwen3 32B求助_MindIE_昇腾论坛
本地部署和Qwen3 32B求助_MindIE_昇腾论坛
本地部署和Qwen3 32B求助_MindIE_昇腾论坛
910b4部署deekseep失败_MindIE_昇腾论坛
910b4部署deekseep失败_MindIE_昇腾论坛
mis-tei 是否支持 Qwen3-Embedding 及 Qwen3-Reranker_MindIE_昇腾论坛
mis-tei 启动后一直输出 waiting for python backend to be ready_MindIE_昇腾论坛
Qwen3-32B的mindie:2.0.T17镜像还能下载吗_MindIE_昇腾论坛
ascend-device-pulgin-branch_v6.0.0.0-RC3 K8s部署大模型报错_MindIE_昇腾论坛
双机直连跑deepseekINT8量化模型，不报错但日志卡住_MindIE_昇腾论坛
(DMA) hardware execution error_MindIE_昇腾论坛
MindIe2.0RC1 容器化部署时必需使用24.0.0 及以上版本吗，20.0.0.0 能否进行部署？_MindIE_昇腾论坛
Ascend 310啥时候可以兼容Qwen3-14B呀？_MindIE_昇腾论坛
使用openai 接口 在多模态任务下 历史多轮数据格式问题_MindIE_昇腾论坛
MindIE Server使用https报错_MindIE_昇腾论坛
-
+
首页
大模型推理时常受限_MindIE_昇腾论坛
# 大模型推理时常受限_MindIE_昇腾论坛 ## 概述 本文档基于昇腾社区论坛帖子生成的技术教程。 **原始链接**: https://www.hiascend.com/forum/thread-02117187760835848050-1-1.html **生成时间**: 2025-08-27 10:33:58 --- ## 问题描述 在我使用mindel部署大模型后使用大模型进行问题回答时回答时常限定在60秒左右并且在我将tokens数限定2048等一系列参数修改为更大的限定参数后测试发现仍让我发解决这个问题即大模型qwen3在推理时常达60s左右中断请问这个问题改如何解决 token数是2028回答了60秒改大了还是60秒 请问问题现在解决了吗还需要解决的话还需要你描述一下场景 1具体模型 2运行场景modeltes纯模型对话测试服务化启动PD分离benchmarkaisbenchvllm_ascend 3具体机器型号 4MindIE的版本 5报错描述 此外我们MindIE已发布的版本中还没有支持qwen3呢2.1版本中即将支持2.1版本即将发布敬请期待 --- ## 技术要点总结 基于以上内容，主要技术要点包括： 1. **问题类型**: 错误处理 2. **涉及技术**: 昇腾, AI, MindIE 3. **解决方案**: 请参考完整内容中的解决方案 ## 相关资源 - 昇腾社区: https://www.hiascend.com/ - 昇腾论坛: https://www.hiascend.com/forum/ --- *本文档由AI自动生成，仅供参考。如有疑问，请参考原始帖子。*
yg9538
2025年8月27日 11:08
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
Word文件
PDF文档
PDF文档（打印）
分享
链接
类型
密码
更新密码
有效期