【已解决】mindie加载 qwen2.5-14B-instruct-w8a8 报错AttributeError: 'ForkAwareLocal' object has no attribute 'connection‘_MindIE_昇腾论坛

# 【已解决】mindie加载 qwen2.5-14B-instruct-w8a8 报错AttributeError: 'ForkAwareLocal' object has no attribute 'connection‘_MindIE_昇腾论坛

## 概述

本文档基于昇腾社区论坛帖子生成的技术教程。

**原始链接**: https://www.hiascend.com/forum/thread-0267186826435409086-1-1.html

**生成时间**: 2025-08-27 10:33:59

---

## 问题描述

1mindie容器镜像信息 mindie: 2.0.RC2-800I-A2-py311-openeuler24.03-lts2025 2容器中npu-smi info情况 3宿主机情况 (mmlm) [Guest@host105 Ascend]$ cat /etc/os-release NAME="HopeOS" VERSION="V22" ID="HopeOS" VERSION_ID="V22" PRETTY_NAME="HopeOS V22" ANSI_COLOR="0;31" 4加载的大模型 qwen2.5-14B-instruct-w8a8 5容器内执行mindie 报错 解决方案 将quant_model_description.json修改为quant_model_description_w8a8.json congfig.json 文件中添加quantize字段 如果不加quantize字段 字段会报如下错误 成功部署 这里就不得不吐槽下菊花的帮助文档在量化readme中根本就没有提及上面这些信息菊花要求的端到端解决在这里形同虚设 您好非常感谢您反馈的问题并且提供了相关的解决方案 这边资料里也有写相关介绍关于量化推理时须在量化权重所在路径的config.json文件中添加字段quantize值为当前量化权重的量化方式例如"quantize": "w8a8""quantize": "w8a16" 这边会继续完善相关的文档感谢您对昇腾MindIE产品的支持 给个链接呢

## 相关代码

### 代码示例 1

```
"quantize": "w8a8"
```

### 代码示例 2

```
"quantize": "w8a16"
```

## 相关图片

### 图片 1

![cke_5078.png](https://fileserver.developer.huaweicloud.com/FileServer/getFile/cmtybbs/cc4/12e/958/39430f23a1cc412e95877834266352f7.20250728085644.54108019721703919056715335192166:20250827021757:2400:D85DB8933C46E43D8E71F76398D4AA3BADC1E750ABF170158715CE83938F4BA0.png)

**图片地址**: https://fileserver.developer.huaweicloud.com/FileServer/getFile/cmtybbs/cc4/12e/958/39430f23a1cc412e95877834266352f7.20250728085644.54108019721703919056715335192166:20250827021757:2400:D85DB8933C46E43D8E71F76398D4AA3BADC1E750ABF170158715CE83938F4BA0.png

**图片描述**: cke_5078.png

---

## 技术要点总结

基于以上内容，主要技术要点包括：

1. **问题类型**: 错误处理
2. **涉及技术**: 昇腾, NPU, MindIE
3. **解决方案**: 请参考完整内容中的解决方案

## 相关资源

- 昇腾社区: https://www.hiascend.com/
- 昇腾论坛: https://www.hiascend.com/forum/

---

*本文档由AI自动生成，仅供参考。如有疑问，请参考原始帖子。*