请求快速支持 gpt-oss-120b 和 gpt-oss-20b 模型_MindIE_昇腾论坛

# 请求快速支持 gpt-oss-120b 和 gpt-oss-20b 模型_MindIE_昇腾论坛

## 概述

本文档基于昇腾社区论坛帖子生成的技术教程。

**原始链接**: https://www.hiascend.com/forum/thread-02102189825202466135-1-1.html

**生成时间**: 2025-08-27 10:33:56

---

## 问题描述

8月5日晚Open AI 发布的是开源模型也就是前几天泄露的 gpt-oss-120b 和 gpt-oss-20b Gpt-oss-120b 大致相当于 OpenAI o4-mini20B 的相当于 o3-mini 120B 需要 80G 显存推理20B 只需要 16G 显存设备 目前你知道的所有 LLM 周边生态都已经支持这两个模型比如 ollama 这类 架构与技术细节 均为 Transformer 架构采用专家混合MoE技术提升推理效率 gpt-oss-120b36 层1170 亿参数每个 token 激活 51 亿参数128 个专家每 token 激活 4 个专家 gpt-oss-20b24 层210 亿参数每个 token 激活 36 亿参数32 个专家每 token 激活 4 个专家 支持分组多查询注意力grouped multi-query attentionRoPE 位置编码原生支持超长上下文 训练数据以高质量英文纯文本为主重点覆盖 STEM编程和通用知识 希望mindie也能早日完成适配感谢 我手头的两块300i-duo的卡在mindie2.1rc1和vllm-ascend下都跑不起来qwen3的moe模型呢感觉支持gpt-oss更漫长啊 qwen3 moe我用300i duo跑起来了你是不是transformer版本低于4.51啊他那个2.1rc1镜像不手动升级transformer是跑不起来的 我手动升级了哦qwen3-32b就可以正常跑transformer也是升级到4.51的

---

## 技术要点总结

基于以上内容，主要技术要点包括：

1. **问题类型**: 模型推理
2. **涉及技术**: 昇腾, AI, MindIE
3. **解决方案**: 请参考完整内容中的解决方案

## 相关资源

- 昇腾社区: https://www.hiascend.com/
- 昇腾论坛: https://www.hiascend.com/forum/

---

*本文档由AI自动生成，仅供参考。如有疑问，请参考原始帖子。*