MindIE

Tokenizer 报错: 一般报错信息为Failed to get vocab size from tokenizer wrapper with exception...

如下：

![](https://yg9538.kmgy.top/img/2025/06/27/2025-06-27_093409_2460110.599422390683266.png)

![](https://yg9538.kmgy.top/img/2025/06/27/2025-06-27_093423_8000670.026164671044985877.png)

如上推荐排查方案：

1. 词表文件损坏

检查tokenizer.json 文件的完整性，一般 DeepSeek V3 和 DeepSeek V1 的词表是不一样的。

推荐使用 ModelScope 由 Unsloth 维护的bf16 版本

sha256sum tokenizer.json # 哈希校验，输出的值和原权重文件进行对比

$ find /xxx/models/ds -name tokenizer.json | xargs sha256sum
ecb6f9fc369894346f0511f4074ca75cee5cd5f3b06d02f1ba35fcd39f8e1xxx /xxx/models/ds/opensourcerelease/DeepSeek-R1-bf16/tokenizer.json
621ac2e32d0dba658404412318818aaa8ce8cda492e59830109d8da6b517fxxx/xxx/models/ds/opensourcerelease/DeepSeek-V3-bf16/tokenizer.json
621ac2e32d0dba658404412318818aaa8ce8cda492e59830109d8da6b517fxxx /xxx/models/ds/deepseek-ai/DeepSeek-V3/tokenizer.json
ecb6f9fc369894346f0511f4074ca75cee5cd5f3b06d02f1ba35fcd39f8e1xxx /xxx/models/ds/deepseek-ai/DeepSeek-R1/tokenizer.json
ecb6f9fc369894346f0511f4074ca75cee5cd5f3b06d02f1ba35fcd39f8e1xxx /xxx/models/ds/unsloth/DeepSeek-R1-BF16/tokenizer.json
621ac2e32d0dba658404412318818aaa8ce8cda492e59830109d8da6b517fxxx /xxx/models/ds/unsloth/DeepSeek-V3-bf16/tokenizer.json
复制
2. transformers / tokenizer 版本不匹配

确认 MindIE 镜像版本 - 2.0.T3

确认 transformers、tokenizer 版本：

查看模型权重路径下的 config.json 中，transformers版本号。

注意：不同的原权重由于fp8转bf16时的transformers版本不同，可能会有不同的transformers 配套，请以机器上的权重中的config.json中的transformers为准）

```

pip freeze

# transformers==4.44.0 tokenizer=0.19.1

```

权重源

类型

Transformers 版本

https://www.modelscope.cn/models/deepseek-ai/DeepSeek-R1

FP8

4.46.3

https://www.modelscope.cn/models/deepseek-ai/DeepSeek-V3

FP8

4.33.1

https://www.modelscope.cn/models/unsloth/DeepSeek-R1-BF16

BF16

4.48.1

https://www.modelscope.cn/models/unsloth/DeepSeek-V3-BF16

BF16

4.33.1

2024-12-26 DeepSeek-V3 官方发布的 fp8 权重，对应的 `transformers==4.33.1`；

2025-01-20 DeepSeek-R1 官方发布的 fp8 权重，对应的 `transformers==4.46.3`。

然而，

- 社区提供的（Unsloth）转换后的 DeepSeek-V3-BF16 权重，对应的 `transformers==4.33.1` —— ok

- 社区提供的（Unsloth）转换后的 DeepSeek-R1-BF16 权重，对应的 `transformers==4.48.1` —— MindIE 暂时不支持！

实际上，MindIE 目前只能支持到 `transformers<=4.47`！

## 解决办法

使用社区提供的 DeepSeek-R1-BF16 权重，将其中的 `tokenizer.json` 文件替换为 DeepSeek-R1 官方的。

可以校验文件：

$ sha256sum DeepSeek-R1/tokenizer.json
ecb6f9fc369894346f0511f4074ca75cee5cd5f3b06d02f1ba35fcd39f8e121d DeepSeek-R1/tokenizer.json
复制
         ## DeepSeek-R1 词表文件大小

原版（对应 `transformers==4.44.0`）: 7.5 MB

社区（对应 `transformers==4.48.1`）: 9.75 MB

若怀疑Tokenizer的问题，可以使用以下Tokenizer 校验方法，创建一个 python 脚本，如果运行成功，则 tokenizer 加载无问题。若报错，请按照上述方法检查。

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('path/to/model')
复制