mis-tei 是否支持 Qwen3-Embedding 及 Qwen3-Reranker_MindIE_昇腾论坛

# mis-tei 是否支持 Qwen3-Embedding 及 Qwen3-Reranker_MindIE_昇腾论坛

## 概述

本文档基于昇腾社区论坛帖子生成的技术教程。

**原始链接**: https://www.hiascend.com/forum/thread-0279186071934727014-1-1.html

**生成时间**: 2025-08-27 10:34:00

---

## 问题描述

诸位大神请教一下mis-teimis-tei:7.0.RC1-300I-Duo-aarch64是否支持Qwen3-Embedding 及 Qwen3-Reranker 谢谢 尝试了当前还不支持 mis-tei:7.1.T3-800I-A2-aarch64 最新版本镜像tei升级到1.6.1可以支持Qwen3-Embedding了 请问可否提供一下启动的命令我还是启动失败 Error: Pooling config PoolConfig { pooling_mode_cls_token: false, pooling_mode_mean_tokens: false, pooling_mode_max_tokens: false, pooling_mode_mean_sqrt_len_tokens: false } is not supported 我启动也报错 同问 docker run -itd -e ENABLE_BOOST=True --name=tei --net=host \ -v /home/models/:/home/HwHiAiUser/model \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc \ --device=/dev/devmm_svm \ --device=/dev/davinci3 \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \ -v /usr/local/sbin:/usr/local/sbin:ro\ swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:7.1.T3-800I-A2-aarch64 Qwen/Qwen3-Embedding-0.6B 0.0.0.0 8080 我之前镜像用错了 用最新的没问题 截止到目前 TEI支持了 embedding rerank 还没 对的reranker直接运行提示Error: The `--pooling` arg is not set and we could not find a pooling configuration (`1_Pooling/config.json`) for this model....

## 完整内容

诸位大神请教一下mis-teimis-tei:7.0.RC1-300I-Duo-aarch64是否支持Qwen3-Embedding 及 Qwen3-Reranker 谢谢 尝试了当前还不支持 mis-tei:7.1.T3-800I-A2-aarch64 最新版本镜像tei升级到1.6.1可以支持Qwen3-Embedding了 请问可否提供一下启动的命令我还是启动失败 Error: Pooling config PoolConfig { pooling_mode_cls_token: false, pooling_mode_mean_tokens: false, pooling_mode_max_tokens: false, pooling_mode_mean_sqrt_len_tokens: false } is not supported 我启动也报错 同问 docker run -itd -e ENABLE_BOOST=True --name=tei --net=host \ -v /home/models/:/home/HwHiAiUser/model \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc \ --device=/dev/devmm_svm \ --device=/dev/davinci3 \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \ -v /usr/local/sbin:/usr/local/sbin:ro\ swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:7.1.T3-800I-A2-aarch64 Qwen/Qwen3-Embedding-0.6B 0.0.0.0 8080 我之前镜像用错了 用最新的没问题 截止到目前 TEI支持了 embedding rerank 还没 对的reranker直接运行提示Error: The `--pooling` arg is not set and we could not find a pooling configuration (`1_Pooling/config.json`) for this model. 把1_Pooling/config.json复制过来可以按照embedding模式跑起来但是推理报错 ERROR rerank: text_embeddings_router::http::server: router/src/http/server.rs:332: Backend error: model is not a re-ranker model https://www.hiascend.com/developer/ascendhub/detail/07a016975cc341f3a5ae131f2b52399d 现在支持了加两个参数

---

## 技术要点总结

基于以上内容，主要技术要点包括：

1. **问题类型**: 错误处理
2. **涉及技术**: HTTPS, Docker, MindIE, 昇腾, AI
3. **解决方案**: 请参考完整内容中的解决方案

## 相关资源

- 昇腾社区: https://www.hiascend.com/
- 昇腾论坛: https://www.hiascend.com/forum/

---

*本文档由AI自动生成，仅供参考。如有疑问，请参考原始帖子。*