昇腾300i duo推理卡适配 -- PaddleOCR

当前版本

当前版本：推理12-04 16:51:32

推理 2024-12-04 16:51:32

请选择预览文件

项目背景

环境配置

PaddleOCR推理

下载代码并安装依赖

准备推理模型

paddle2onnx

onnx2mindir

适配推理代码

测试推理pipeline

当前内容阅读耗时约24分钟，试试

小桨总结

当前版本：推理12-04 16:51:32

## 项目背景

本实验以PaddleOCR的模型推理为例，介绍如何将PaddleOCR模型的推理迁移至昇腾300i duo推理卡上

## 环境配置

-   Ascend：310P3 96G\*4
-   CANN：8.0.RC2
-   driver：24.1.rc2
-   arch：aarch64
-   os：linux

## PaddleOCR推理

OCR的推理流程包括：

1.  对输入图片中的文本框进行检测；
2.  对检测到的文本框进行方向分类并纠正；
3.  对纠正过方向的文本框进行文字识别。

因此一个完整的OCR pipeline包含了检测模型、分类器和识别模型。本实验中的检测模型使用 `ch_PP-OCRv4_server_det`，识别模型使用 `ch_PP-OCRv4_server_rec`，不使用方向分类模型。

### 下载代码并安装依赖

In \[ \]

```
# 下载路径：/data/tff
git clone -b main https://gitee.com/paddlepaddle/PaddleOCR.git
cd /data/tff/PaddleOCR
# 为确保一致的代码环境，切换到指定的commit-id
git reset --hard 433677182
```

代码解释

PaddleOCR代码目录说明：

-   主要使用： `tools/infer`目录下的OCR推理文件，以及 `doc`目录下测试图片 `imgs`和 字体文件 `fonts`

![](https://yg9538.kmgy.top/img/2025/08/26/3fe96b9277294967adbafd9dfdb1d16f4310.png)

In \[ \]

```
# 创建虚拟环境
conda create -n paddleocr python=3.9 -y
conda activate paddleocr

pip install -r requirements.txt
pip install paddlepaddle==2.6.1 paddle2onnx==1.2.4
```

代码解释

### 准备推理模型

下载原始的 `*.pdmodel`模型文件，首先将其转换为 `onnx`推理格式，然后再转换为昇腾云自己的 `mindir`推理格式

In \[ \]

```
# cd /data/tff
mkdir inference
cd inference

wget -nc https://paddleocr.bj.bcebos.com/PP-OCRv4/chinese/ch_PP-OCRv4_det_server_infer.tar
tar -xf ch_PP-OCRv4_det_server_infer.tar
wget -nc https://paddleocr.bj.bcebos.com/PP-OCRv4/chinese/ch_PP-OCRv4_rec_server_infer.tar
tar -xf ch_PP-OCRv4_rec_server_infer.tar
```

代码解释

### paddle2onnx

paddleOCR官方有权重转换成onnx模型的代码与指令，这一步可以直接用，将检测和识别的模型均转换为onnx模型，并存在inference文件夹下

In \[ \]

```
cd /data/tff
paddle2onnx --model_dir inference/ch_PP-OCRv4_det_server_infer \
    --model_filename inference.pdmodel \
    --params_filename inference.pdiparams \
    --save_file inference/det/model.onnx \
    --opset_version 11 \
    --enable_onnx_checker True

paddle2onnx --model_dir inference/ch_PP-OCRv4_rec_server_infer \
    --model_filename inference.pdmodel \
    --params_filename inference.pdiparams \
    --save_file inference/rec/model.onnx \
    --opset_version 11 \
    --enable_onnx_checker True
```

代码解释

**注意**：这里 `paddle2onnx`命令转换的模型，默认输入为动态shape

-   例如，检测模型输入为 `x:[-1,3,-1,-1]`，识别模型输入为 `x:[-1,3,48,-1]`，表示输入名称为 `x`且同时支持动态batch和动态分辨率
-   如何重新指定模型的动态shape：1、可以通过 `paddle2onnx.optimize`的 `--input_shape_dict`指定，2、也可以在 `onnx2mindir`阶段，使用配置文件中 `input_shape_range`参数指定

### onnx2mindir

使用mindspore的 `converter_lite`工具将onnx推理模型转换为 `mindir`格式，它可以针对NPU或GPU做专门的优化从而提升推理性能

下载地址：https://www.mindspore.cn/lite/docs/zh-CN/r2.3.0rc2/use/downloads.html

In \[ \]

```
cd /data/tff
# 由于我的300i duo是arm架构，因此下载对应的工具
wget https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.3.0rc2/MindSpore/lite/release/linux/aarch64/cloud_fusion/python37/mindspore-lite-2.3.0rc2-linux-aarch64.tar.gz
tar -zxvf mindspore-lite-2.3.0rc2-linux-aarch64.tar.gz
# 将转换工具需要的动态链接库加入环境变量LD_LIBRARY_PATH，比如我这里装在/data/tff下
export LD_LIBRARY_PATH=/data/tff/mindspore-lite-2.3.0rc2-linux-aarch64/tools/converter/lib:${LD_LIBRARY_PATH}
```

代码解释

In \[ \]

```
# 使用 `converter_lite`工具将检测和识别模型分别转换为 `mindir`格式
cd /data/tff/mindspore-lite-2.3.0rc2-linux-aarch64/tools/converter/converter
./converter_lite --fmk=ONNX \
    --saveType=MINDIR \
    --optimize=ascend_oriented \
    --modelFile=inference/det/model.onnx \
    --outputFile=inference/det/model

./converter_lite --fmk=ONNX \
    --saveType=MINDIR \
    --optimize=ascend_oriented \
    --modelFile=inference/rec/model.onnx \
    --outputFile=inference/rec/model
    
# 会分别在inference/det与inference/rec下生成model.mindir
```

代码解释

### 适配推理代码

PaddleOCR原始代码不支持使用 `mindir`模型格式进行推理，本实验的推理适配复用了PaddleOCR的前处理和后处理逻辑，主要涉及 `PaddleOCR/tools/infer`目录下4个代码文件的修改

**utility.py**

cd /data/tff/PaddleOCR/tools/infer

vim utility.py

In \[ \]

```
# 在 init_args函数，新增 --use_mindir，用于指示开启mindir推理，大概在39行
parser.add_argument("--use_mindir", type=str2bool, default=False)

# 在 create_perdictor函数中，大约 214行的位置，新增mindir模型的初始化逻辑，这部分代码检测/识别/分类共用
if args.use_onnx:
    ...
# ================加入这部分代码=================
elif args.use_mindir:  # for ascend inference
    import mindspore_lite as mslite

model_file_path = model_dir
    if not os.path.exists(model_file_path):
        raise ValueError("not find model file path {}".format(model_file_path))

# init context, and set target is ascend.
    context = mslite.Context()
    context.target = ["ascend"]     # cpu/gpu/ascend
    context.ascend.device_id = args.gpu_id  # default to 0
    # context.ascend.provider = "ge"
    model = mslite.Model()
    model.build_from_file(model_file_path, mslite.ModelType.MINDIR, context)
    return model, model.get_inputs(), None, None
# ================加入这部分代码=================
else:
    ...
```

代码解释

**predict\_det.py**

cd /data/tff/PaddleOCR/tools/infer

vim predict\_det.py

In \[ \]

```
# 在 __init__函数中，大概 43行的位置，保存 args.use_mindir的值
self.use_mindir = args.use_mindir

# 在 TextDetector -- predict函数中，大约 254行的位置，新增使用mindir模型推理的逻辑
if self.use_onnx:
    ...
# ================加入这部分代码=================
elif self.use_mindir:   # for ascend inference
    self.predictor.resize(self.input_tensor, [img.shape])   # dynamic shape
    inputs = self.predictor.get_inputs()
    inputs[0].set_data_from_numpy(img)
    # execute inference
    outputs = self.predictor.predict(inputs)
    outputs = [o.get_data_to_numpy() for o in outputs]
# ================加入这部分代码=================
else:
    self.input_tensor.copy_from_cpu(img)
    ...
```

代码解释

**predict\_rec.py**

cd /data/tff/PaddleOCR/tools/infer

vim predict\_rec.py

In \[ \]

```
# 在 __init__函数中，大概 46行的位置，保存 args.use_mindir的值
self.use_mindir = args.use_mindir

# 在 TextDetector -- __call__函数中，大约 676行的位置，新增使用mindir模型推理的逻辑
if self.use_onnx:
    ...
# ================加入这部分代码=================
elif self.use_mindir:   # for ascend inference
    self.predictor.resize(self.input_tensor, [norm_img_batch.shape])
    inputs = self.predictor.get_inputs()
    inputs[0].set_data_from_numpy(norm_img_batch)
    outputs = self.predictor.predict(inputs)
    outputs = [o.get_data_to_numpy() for o in outputs]
    preds = outputs[0]
# ================加入这部分代码=================
else:
    self.input_tensor.copy_from_cpu(norm_img_batch)
    ...
```

代码解释

**predict\_cls.py**

cd /data/tff/PaddleOCR/tools/infer

vim predict\_cls.py

In \[ \]

```
# 在 __init__函数中，大概 43行的位置，保存 args.use_mindir的值
self.use_mindir = args.use_mindir

# 在 TextDetector -- __call__函数中，大约 112行的位置，新增使用mindir模型推理的逻辑
if self.use_onnx:
    ...
# ================加入这部分代码=================
elif self.use_mindir:   # for ascend inference
    self.predictor.resize(self.input_tensor, [norm_img_batch.shape])
    inputs = self.predictor.get_inputs()
    inputs[0].set_data_from_numpy(norm_img_batch)
    outputs = self.predictor.predict(inputs)
    outputs = [o.get_data_to_numpy() for o in outputs]
    prob_out = outputs[0]
# ================加入这部分代码=================
else:
    self.input_tensor.copy_from_cpu(norm_img_batch)
    ...
```

代码解释

### 测试推理pipeline

上传一张比较复杂多字的图片进行检测和识别，并将结果保存在 `inference_results`中

In \[ \]

```
source /usr/local/Ascend/ascend-toolkit/set_env.sh  # 这步必须执行，否则会报错

python PaddleOCR/tools/infer/predict_system.py \
    --use_mindir True --gpu_id 0 \
    --image_dir PaddleOCR/doc/imgs/ocrtest.jpg \
    --det_model_dir /data/tff/inference/det/model.mindir \
    --rec_model_dir /data/tff/inference/rec/model.mindir \
    --rec_char_dict_path PaddleOCR/ppocr/utils/ppocr_keys_v1.txt \
    --use_angle_cls False \
    --vis_font_path PaddleOCR/doc/fonts/simfang.ttf
```

代码解释

识别结果如下图，具体可在`/data/tff/inference_results/`下查看：

![](https://yg9538.kmgy.top/img/2025/08/26/79521c22a9184594aeadb9a8fb2ff4969853.png)

In \[ \]

代码解释

内容解析

代码解释