- 简介
- 目录大纲
- 最新文档
- 文集下载
模型推理标准api
https://github.com/labring/FastGPT/blob/main/plugins/model/rerank-bge/bge-reranker-v2-m3/app.py
yg9538 - 2025年4月22日 10:09
671B DeepSeek
今天要记录的是 671B DeepSeek 模型的本地部署，也就是所谓满血版，不是网络 API 调用，也不是 70B （含）以下蒸馏模型的本地部署（这个因为就是 llama/qwen 模型的结构不存在太多问题）。计划是在一台机器上部署，不是跨机器分布式运行。 首先，671B 模型，应该是用 fp8 精度下训练的，所以其全量模型理论值就是 671GB ，最常见的主流 A100 x8 的机器显存是放不……
yg9538 - 2025年3月4日 15:54