|
|
|
|
|
---
|
|
|
|
|
|
comments: true
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
|
|
# 文档图像方向分类模块使用教程
|
|
|
|
|
|
|
|
|
|
|
|
## 一、概述
|
|
|
|
|
|
|
|
|
|
|
|
文档图像方向分类模块主要是将文档图像的方向区分出来，并使用后处理将其矫正。在诸如文档扫描、证照拍摄等过程中，有时为了拍摄更清晰，会将拍摄设备进行旋转，导致得到的图片也是不同方向的。此时，标准的OCR流程无法很好地应对这些数据。利用图像分类技术，可以预先判断含文字区域的文档或证件的方向，并将其进行方向调整，从而提高OCR处理的准确性。
|
|
|
|
|
|
|
|
|
|
|
|
## 二、支持模型列表
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
<table>
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<th>模型</th><th>模型下载链接</th>
|
|
|
|
|
|
<th>Top-1 Acc（%）</th>
|
|
|
|
|
|
<th>GPU推理耗时（ms）<br>[常规模式 / 高性能模式]</th>
|
|
|
|
|
|
<th>CPU推理耗时（ms）<br>[常规模式 / 高性能模式]</th>
|
|
|
|
|
|
<th>模型存储大小（M)</th>
|
|
|
|
|
|
<th>介绍</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tbody>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td>PP-LCNet_x1_0_doc_ori</td><td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-LCNet_x1_0_doc_ori_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-LCNet_x1_0_doc_ori_pretrained.pdparams">训练模型</a></td>
|
|
|
|
|
|
<td>99.06</td>
|
|
|
|
|
|
<td>2.31 / 0.43</td>
|
|
|
|
|
|
<td>3.37 / 1.27</td>
|
|
|
|
|
|
<td>7</td>
|
|
|
|
|
|
<td>基于PP-LCNet_x1_0的文档图像分类模型，含有四个类别，即0度，90度，180度，270度</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</tbody>
|
|
|
|
|
|
</table>
|
|
|
|
|
|
|
|
|
|
|
|
<strong>测试环境说明:</strong>
|
|
|
|
|
|
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><b>性能测试环境</b>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>测试数据集：</strong>自建多场景数据集（1000张图片，含证件/文档等场景）</li>
|
|
|
|
|
|
<li><strong>硬件配置：</strong>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>GPU：NVIDIA Tesla T4</li>
|
|
|
|
|
|
<li>CPU：Intel Xeon Gold 6271C @ 2.60GHz</li>
|
|
|
|
|
|
<li>其他环境：Ubuntu 20.04 / cuDNN 8.6 / TensorRT 8.5.2.2</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
</li>
|
|
|
|
|
|
<li><b>推理模式说明</b></li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
|
|
|
|
|
|
<table border="1">
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<th>模式</th>
|
|
|
|
|
|
<th>GPU配置</th>
|
|
|
|
|
|
<th>CPU配置</th>
|
|
|
|
|
|
<th>加速技术组合</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tbody>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td>常规模式</td>
|
|
|
|
|
|
<td>FP32精度 / 无TRT加速</td>
|
|
|
|
|
|
<td>FP32精度 / 8线程</td>
|
|
|
|
|
|
<td>PaddleInference</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td>高性能模式</td>
|
|
|
|
|
|
<td>选择先验精度类型和加速策略的最优组合</td>
|
|
|
|
|
|
<td>FP32精度 / 8线程</td>
|
|
|
|
|
|
<td>选择先验最优后端（Paddle/OpenVINO/TRT等）</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</tbody>
|
|
|
|
|
|
</table>
|
|
|
|
|
|
|
|
|
|
|
|
## 三、快速开始
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
> ❗ 在快速开始前，请先安装 PaddleOCR 的 wheel 包，详细请参考 [安装教程](../installation.md)。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
使用一行命令即可快速体验：
|
|
|
|
|
|
|
|
|
|
|
|
```bash
|
|
|
|
|
|
paddleocr doc_img_orientation_classification -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/img_rot180_demo.jpg
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
您也可以将文档图像方向分类模块中的模型推理集成到您的项目中。运行以下代码前，请您下载[示例图片](https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/img_rot180_demo.jpg)到本地。
|
|
|
|
|
|
|
|
|
|
|
|
```python
|
|
|
|
|
|
from paddleocr import DocImgOrientationClassification
|
|
|
|
|
|
|
|
|
|
|
|
model = DocImgOrientationClassification(model_name="PP-LCNet_x1_0_doc_ori")
|
|
|
|
|
|
output = model.predict("img_rot180_demo.jpg", batch_size=1)
|
|
|
|
|
|
for res in output:
|
|
|
|
|
|
res.print(json_format=False)
|
|
|
|
|
|
res.save_to_img("./output/demo.png")
|
|
|
|
|
|
res.save_to_json("./output/res.json")
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
运行后，得到的结果为：
|
|
|
|
|
|
|
|
|
|
|
|
```bash
|
|
|
|
|
|
{'res': {'input_path': 'img_rot180_demo.jpg', 'page_index': None, 'class_ids': array([2], dtype=int32), 'scores': array([0.88164], dtype=float32), 'label_names': ['180']}}
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
运行结果参数含义如下：
|
|
|
|
|
|
- `input_path`：表示输入图片的路径。
|
|
|
|
|
|
- `class_ids`：表示预测结果的类别id，含有四个类别，即0度，90度，180度和270度。
|
|
|
|
|
|
- `scores`：表示预测结果的置信度。
|
|
|
|
|
|
- `label_names`：表示预测结果的类别名。
|
|
|
|
|
|
|
|
|
|
|
|
可视化图片如下：
|
|
|
|
|
|
|
|
|
|
|
|
<img src="https://raw.githubusercontent.com/cuicheng01/PaddleX_doc_images/refs/heads/main/images/modules/doc_img_ori_classification/img_rot180_demo_res.jpg">
|
|
|
|
|
|
|
|
|
|
|
|
相关方法、参数等说明如下：
|
|
|
|
|
|
|
|
|
|
|
|
* `DocImgOrientationClassification`实例化文档图像方向分类模型（此处以`PP-LCNet_x1_0_doc_ori`为例），具体说明如下：
|
|
|
|
|
|
<table>
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<th>参数</th>
|
|
|
|
|
|
<th>说明</th>
|
|
|
|
|
|
<th>类型</th>
|
|
|
|
|
|
<th>默认值</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tbody>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>model_name</code></td>
|
|
|
|
|
|
<td>模型名称</td>
|
|
|
|
|
|
<td><code>str</code></td>
|
|
|
|
|
|
<td><code>PP-LCNet_x1_0_doc_ori</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>model_dir</code></td>
|
|
|
|
|
|
<td>模型存储路径</td>
|
|
|
|
|
|
<td><code>str</code></td>
|
|
|
|
|
|
<td><code>None</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>device</code></td>
|
|
|
|
|
|
<td>用于推理的设备。<br/>
|
|
|
|
|
|
<b>例如：</b><code>cpu</code>、<code>gpu</code>、<code>npu</code>、<code>gpu:0</code>、<code>gpu:0,1</code>。<br/>
|
|
|
|
|
|
如指定多个设备，将进行并行推理。<br/>
|
|
|
|
|
|
默认情况下，优先使用 GPU 0；若不可用则使用 CPU。
|
|
|
|
|
|
</td>
|
|
|
|
|
|
<td><code>str</code></td>
|
|
|
|
|
|
<td><code>None</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>enable_hpi</code></td>
|
|
|
|
|
|
<td>是否启用高性能推理。</td>
|
|
|
|
|
|
<td><code>bool</code></td>
|
|
|
|
|
|
<td><code>False</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>use_tensorrt</code></td>
|
|
|
|
|
|
<td>是否启用 Paddle Inference 的 TensorRT 子图引擎。</td>
|
|
|
|
|
|
<td><code>bool</code></td>
|
|
|
|
|
|
<td><code>False</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>min_subgraph_size</code></td>
|
|
|
|
|
|
<td>当使用 Paddle Inference 的 TensorRT 子图引擎时，设置的最小子图大小。</td>
|
|
|
|
|
|
<td><code>int</code></td>
|
|
|
|
|
|
<td><code>3</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>precision</code></td>
|
|
|
|
|
|
<td>当使用 Paddle Inference 的 TensorRT 子图引擎时设置的计算精度。<br/><b>可选项：</b><code>fp32</code>、<code>fp16</code> 等。</td>
|
|
|
|
|
|
<td><code>str</code></td>
|
|
|
|
|
|
<td><code>fp32</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>enable_mkldnn</code></td>
|
|
|
|
|
|
<td>
|
|
|
|
|
|
是否启用MKL-DNN加速库。<br/>
|
|
|
|
|
|
</td>
|
|
|
|
|
|
<td><code>bool</code></td>
|
|
|
|
|
|
<td><code>True</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>cpu_threads</code></td>
|
|
|
|
|
|
<td>在 CPU 上推理时使用的线程数量。</td>
|
|
|
|
|
|
<td><code>int</code></td>
|
|
|
|
|
|
<td><code>10</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>top_k</code></td>
|
|
|
|
|
|
<td>预测结果的前topk值，如果不指定，将默认使用PaddleOCR官方模型配置。若值为5，表示打印（返回）预测结果的前5个类别和对应的分类概率</td>
|
|
|
|
|
|
<td><code>int</code></td>
|
|
|
|
|
|
<td><code>None</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</tbody>
|
|
|
|
|
|
</table>
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
* 其中，`model_name` 必须指定，指定 `model_name` 后，默认使用 PaddleX 内置的模型参数，在此基础上，指定 `model_dir` 时，使用用户自定义的模型。
|
|
|
|
|
|
|
|
|
|
|
|
* 调用文档图像方向分类模型的 `predict()` 方法进行推理预测，该方法会返回一个结果列表。另外，本模块还提供了 `predict_iter()` 方法。两者在参数接受和结果返回方面是完全一致的，区别在于 `predict_iter()` 返回的是一个 `generator`，能够逐步处理和获取预测结果，适合处理大型数据集或希望节省内存的场景。可以根据实际需求选择使用这两种方法中的任意一种。`predict()` 方法参数有 `input` 和 `batch_size`，具体说明如下：
|
|
|
|
|
|
|
|
|
|
|
|
<table>
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<th>参数</th>
|
|
|
|
|
|
<th>参数说明</th>
|
|
|
|
|
|
<th>参数类型</th>
|
|
|
|
|
|
<th>默认值</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>input</code></td>
|
|
|
|
|
|
<td>待预测数据，支持多种输入类型，必填。
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><b>Python Var</b>：如 <code>numpy.ndarray</code> 表示的图像数据</li>
|
|
|
|
|
|
<li><b>str</b>：如图像文件或者PDF文件的本地路径：<code>/root/data/img.jpg</code>；<b>如URL链接</b>，如图像文件或PDF文件的网络URL：<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/img_rot180_demo.jpg">示例</a>；<b>如本地目录</b>，该目录下需包含待预测图像，如本地路径：<code>/root/data/</code>(当前不支持目录中包含PDF文件的预测，PDF文件需要指定到具体文件路径)</li>
|
|
|
|
|
|
<li><b>List</b>：列表元素需为上述类型数据，如<code>[numpy.ndarray, numpy.ndarray]</code>，<code>["/root/data/img1.jpg", "/root/data/img2.jpg"]</code>，<code>["/root/data1", "/root/data2"]</code></li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
</td>
|
|
|
|
|
|
<td><code>Python Var|str|list</code></td>
|
|
|
|
|
|
<td></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>batch_size</code></td>
|
|
|
|
|
|
<td>批大小，可设置为任意正整数。</td>
|
|
|
|
|
|
<td><code>int</code></td>
|
|
|
|
|
|
<td>1</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>top_k</code></td>
|
|
|
|
|
|
<td>预测结果的前topk值，如果不指定，将默认使用实例化模型的值。若实例化也没有指定，则默认使用PaddleOCR官方模型配置。</td>
|
|
|
|
|
|
<td><code>int</code></td>
|
|
|
|
|
|
<td><code>None</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</table>
|
|
|
|
|
|
|
|
|
|
|
|
* 对预测结果进行处理，每个样本的预测结果均为对应的Result对象，且支持打印、保存为图片、保存为`json`文件的操作:
|
|
|
|
|
|
|
|
|
|
|
|
<table>
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<th>方法</th>
|
|
|
|
|
|
<th>方法说明</th>
|
|
|
|
|
|
<th>参数</th>
|
|
|
|
|
|
<th>参数类型</th>
|
|
|
|
|
|
<th>参数说明</th>
|
|
|
|
|
|
<th>默认值</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td rowspan = "3"><code>print()</code></td>
|
|
|
|
|
|
<td rowspan = "3">打印结果到终端</td>
|
|
|
|
|
|
<td><code>format_json</code></td>
|
|
|
|
|
|
<td><code>bool</code></td>
|
|
|
|
|
|
<td>是否对输出内容进行使用 <code>JSON</code> 缩进格式化</td>
|
|
|
|
|
|
<td><code>True</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>indent</code></td>
|
|
|
|
|
|
<td><code>int</code></td>
|
|
|
|
|
|
<td>指定缩进级别，以美化输出的 <code>JSON</code> 数据，使其更具可读性，仅当 <code>format_json</code> 为 <code>True</code> 时有效</td>
|
|
|
|
|
|
<td>4</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>ensure_ascii</code></td>
|
|
|
|
|
|
<td><code>bool</code></td>
|
|
|
|
|
|
<td>控制是否将非 <code>ASCII</code> 字符转义为 <code>Unicode</code>。设置为 <code>True</code> 时，所有非 <code>ASCII</code> 字符将被转义；<code>False</code> 则保留原始字符，仅当<code>format_json</code>为<code>True</code>时有效</td>
|
|
|
|
|
|
<td><code>False</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td rowspan = "3"><code>save_to_json()</code></td>
|
|
|
|
|
|
<td rowspan = "3">将结果保存为json格式的文件</td>
|
|
|
|
|
|
<td><code>save_path</code></td>
|
|
|
|
|
|
<td><code>str</code></td>
|
|
|
|
|
|
<td>保存的文件路径，当为目录时，保存文件命名与输入文件类型命名一致</td>
|
|
|
|
|
|
<td>无</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>indent</code></td>
|
|
|
|
|
|
<td><code>int</code></td>
|
|
|
|
|
|
<td>指定缩进级别，以美化输出的 <code>JSON</code> 数据，使其更具可读性，仅当 <code>format_json</code> 为 <code>True</code> 时有效</td>
|
|
|
|
|
|
<td>4</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>ensure_ascii</code></td>
|
|
|
|
|
|
<td><code>bool</code></td>
|
|
|
|
|
|
<td>控制是否将非 <code>ASCII</code> 字符转义为 <code>Unicode</code>。设置为 <code>True</code> 时，所有非 <code>ASCII</code> 字符将被转义；<code>False</code> 则保留原始字符，仅当<code>format_json</code>为<code>True</code>时有效</td>
|
|
|
|
|
|
<td><code>False</code></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td><code>save_to_img()</code></td>
|
|
|
|
|
|
<td>将结果保存为图像格式的文件</td>
|
|
|
|
|
|
<td><code>save_path</code></td>
|
|
|
|
|
|
<td><code>str</code></td>
|
|
|
|
|
|
<td>保存的文件路径，当为目录时，保存文件命名与输入文件类型命名一致</td>
|
|
|
|
|
|
<td>无</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</table>
|
|
|
|
|
|
|
|
|
|
|
|
* 此外，也支持通过属性获取带结果的可视化图像和预测结果，具体如下：
|
|
|
|
|
|
|
|
|
|
|
|
<table>
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<th>属性</th>
|
|
|
|
|
|
<th>属性说明</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td rowspan = "1"><code>json</code></td>
|
|
|
|
|
|
<td rowspan = "1">获取预测的<code>json</code>格式的结果</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr>
|
|
|
|
|
|
<td rowspan = "1"><code>img</code></td>
|
|
|
|
|
|
<td rowspan = "1">获取格式为<code>dict</code>的可视化图像</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
|
|
|
|
|
|
</table>
|
|
|
|
|
|
|
|
|
|
|
|
## 四、二次开发
|
|
|
|
|
|
|
|
|
|
|
|
由于 PaddleOCR 并不直接提供文档图像方向分类的训练，因此，如果需要训练文档图像方向分类模型，可以参考 [PaddleX 文档图像方向分类二次开发](https://paddlepaddle.github.io/PaddleX/latest/module_usage/tutorials/ocr_modules/doc_img_orientation_classification.html#_5)部分进行训练。训练后的模型可以无缝集成到 PaddleOCR 的 API 中进行推理。
|
|
|
|
|
|
|
|
|
|
|
|
## 五、FAQ
|
