You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

15 KiB

This file contains ambiguous Unicode characters!

This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.

comments
true

表格单元格检测模块使用教程

一、概述

表格单元格检测模块是表格识别任务的关键组成部分负责在表格图像中定位和标记每个单元格区域该模块的性能直接影响到整个表格识别过程的准确性和效率。表格单元格检测模块通常会输出各个单元格区域的边界框Bounding Boxes这些边界框将作为输入传递给表格识别相关产线进行后续处理。

二、支持模型列表

模型模型下载链接 mAP(%) GPU推理耗时ms
[常规模式 / 高性能模式]
CPU推理耗时ms
[常规模式 / 高性能模式]
模型存储大小 (M) 介绍
RT-DETR-L_wired_table_cell_det 推理模型/训练模型 82.7 35.00 / 10.45 495.51 / 495.51 124M RT-DETR 是一个实时的端到端目标检测模型。百度飞桨视觉团队基于 RT-DETR-L 作为基础模型,在自建表格单元格检测数据集上完成预训练,实现了对有线表格、无线表格均有较好性能的表格单元格检测。
RT-DETR-L_wireless_table_cell_det 推理模型/训练模型

测试环境说明:

  • 性能测试环境
    • 测试数据集:自建的内部评测集。
    • 硬件配置:
      • GPUNVIDIA Tesla T4
      • CPUIntel Xeon Gold 6271C @ 2.60GHz
      • 其他环境Ubuntu 20.04 / cuDNN 8.6 / TensorRT 8.5.2.2
  • 推理模式说明
模式 GPU配置 CPU配置 加速技术组合
常规模式 FP32精度 / 无TRT加速 FP32精度 / 8线程 PaddleInference
高性能模式 选择先验精度类型和加速策略的最优组合 FP32精度 / 8线程 选择先验最优后端Paddle/OpenVINO/TRT等

三、快速开始

在快速开始前,请先安装 PaddleOCR 的 wheel 包,详细请参考 安装教程

使用一行命令即可快速体验:

paddleocr table_cells_detection -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/table_recognition.jpg

您也可以将表格单元格检测的模块中的模型推理集成到您的项目中。运行以下代码前,请您下载示例图片到本地。

from paddleocr import TableCellsDetection
model = TableCellsDetection(model_name="RT-DETR-L_wired_table_cell_det")
output = model.predict("table_recognition.jpg", threshold=0.3, batch_size=1)
for res in output:
    res.print(json_format=False)
    res.save_to_img("./output/")
    res.save_to_json("./output/res.json")

运行后,得到的结果为:

{'res': {'input_path': 'table_recognition.jpg', 'page_index': None, 'boxes': [{'cls_id': 0, 'label': 'cell', 'score': 0.9698355197906494, 'coordinate': [2.3011515, 0, 546.29926, 30.530712]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9690820574760437, 'coordinate': [212.37508, 64.62493, 403.58868, 95.61413]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9668057560920715, 'coordinate': [212.46791, 30.311079, 403.7182, 64.62613]}, {'cls_id': 0, 'label': 'cell', 'score': 0.966505229473114, 'coordinate': [403.56082, 64.62544, 546.83215, 95.66117]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9662341475486755, 'coordinate': [109.48873, 64.66485, 212.5177, 95.631294]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9654079079627991, 'coordinate': [212.39197, 95.63037, 403.60852, 126.78792]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9653300642967224, 'coordinate': [2.2320926, 64.62229, 109.600494, 95.59732]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9639787673950195, 'coordinate': [403.5752, 30.562355, 546.98975, 64.61531]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9636150002479553, 'coordinate': [2.1537683, 30.410172, 109.568306, 64.62762]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9631900191307068, 'coordinate': [2.0534437, 95.57448, 109.57601, 126.71458]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9631181359291077, 'coordinate': [403.65976, 95.68139, 546.84766, 126.713394]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9614537358283997, 'coordinate': [109.56504, 30.391184, 212.65425, 64.6444]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9607433080673218, 'coordinate': [109.525795, 95.62622, 212.44917, 126.8258]}]}}

参数含义如下:

  • input_path:输入的待预测图像的路径
  • page_index如果输入是PDF文件则表示当前是PDF的第几页否则为 None
  • boxes:预测的目标框信息,一个字典列表。每个字典代表一个检出的目标,包含以下信息:
    • cls_id类别ID一个整数
    • label:类别标签,一个字符串
    • score:目标框置信度,一个浮点数
    • coordinate:目标框坐标,一个浮点数列表,格式为[xmin, ymin, xmax, ymax]

可视化图像如下:

相关方法、参数等说明如下:

  • TableCellsDetection实例化表格单元格检测模型(此处以RT-DETR-L_wired_table_cell_det为例),具体说明如下:
参数 参数说明 参数类型 默认值
model_name 模型名称 str PP-DocLayout-L
model_dir 模型存储路径 str None
device 用于推理的设备。
例如:cpugpunpugpu:0gpu:0,1
如指定多个设备,将进行并行推理。
默认情况下,优先使用 GPU 0若不可用则使用 CPU。
str None
enable_hpi 是否启用高性能推理。 bool False
use_tensorrt 是否启用 Paddle Inference 的 TensorRT 子图引擎。 bool False
min_subgraph_size 当使用 Paddle Inference 的 TensorRT 子图引擎时,设置的最小子图大小。 int 3
precision 当使用 Paddle Inference 的 TensorRT 子图引擎时设置的计算精度。
可选项:fp32fp16 等。
str fp32
enable_mkldnn 是否启用MKL-DNN加速库。
bool True
cpu_threads 在 CPU 上推理时使用的线程数量。 int 10
img_size 输入图像大小如果不指定将默认使用PaddleOCR官方模型配置
可选示例:
  • int:如 640 , 表示将输入图像resize到640x640大小
  • list: 如 [640, 512] , 表示将输入图像resize到宽为640高为512大小
int/list/None None
threshold 用于过滤掉低置信度预测结果的阈值如果不指定将默认使用PaddleOCR官方模型配置。在表格单元格检测任务中适当降低阈值可能有助于获得更准确的结果
可选示例:
  • float:如 0.2 表示过滤掉所有阈值小于0.2的目标框
  • dict:字典的key为int类型代表cls_idval为float类型阈值。如 {0: 0.45, 2: 0.48, 7: 0.4}表示对cls_id为0的类别应用阈值0.45、cls_id为1的类别应用阈值0.48、cls_id为7的类别应用阈值0.4
float/dict/None None
  • 其中,model_name 必须指定,在此基础上,指定 model_dir 时,使用用户自定义的模型。

  • 调用表格单元格检测模型的 predict() 方法进行推理预测,该方法会返回一个结果列表。另外,本模块还提供了 predict_iter() 方法。两者在参数接受和结果返回方面是完全一致的,区别在于 predict_iter() 返回的是一个 generator,能够逐步处理和获取预测结果,适合处理大型数据集或希望节省内存的场景。可以根据实际需求选择使用这两种方法中的任意一种。predict() 方法参数有 inputbatch_sizethreshold,具体说明如下:

参数 参数说明 参数类型 默认值
input 待预测数据,支持多种输入类型,必填。
  • Python Var:如 numpy.ndarray 表示的图像数据
  • str如图像文件或者PDF文件的本地路径/root/data/img.jpg如URL链接如图像文件或PDF文件的网络URL示例如本地目录,该目录下需包含待预测图像,如本地路径:/root/data/(当前不支持目录中包含PDF文件的预测PDF文件需要指定到具体文件路径)
  • List:列表元素需为上述类型数据,如[numpy.ndarray, numpy.ndarray]["/root/data/img1.jpg", "/root/data/img2.jpg"]["/root/data1", "/root/data2"]
Python Var|str|list
batch_size 批大小,可设置为任意正整数。 int 1
threshold 用于过滤掉低置信度预测结果的阈值;如果不指定,将默认使用模型初始化指定的 threshold 参数如果初始化也没有指定则默认使用PaddleOCR官方模型配置
可选示例:
  • float:如 0.2 表示过滤掉所有阈值小于0.2的目标框
  • dict:字典的key为int类型代表cls_idval为float类型阈值。如 {0: 0.45, 2: 0.48, 7: 0.4}表示对cls_id为0的类别应用阈值0.45、cls_id为1的类别应用阈值0.48、cls_id为7的类别应用阈值0.4
float/dict/None None
  • 对预测结果进行处理每个样本的预测结果均为对应的Result对象且支持打印、保存为图片、保存为json文件的操作:
方法 方法说明 参数 参数类型 参数说明 默认值
print() 打印结果到终端 format_json bool 是否对输出内容进行使用 JSON 缩进格式化 True
indent int 指定缩进级别,以美化输出的 JSON 数据,使其更具可读性,仅当 format_jsonTrue 时有效 4
ensure_ascii bool 控制是否将非 ASCII 字符转义为 Unicode。设置为 True 时,所有非 ASCII 字符将被转义;False 则保留原始字符,仅当format_jsonTrue时有效 False
save_to_json() 将结果保存为json格式的文件 save_path str 保存的文件路径,当为目录时,保存文件命名与输入文件类型命名一致
indent int 指定缩进级别,以美化输出的 JSON 数据,使其更具可读性,仅当 format_jsonTrue 时有效 4
ensure_ascii bool 控制是否将非 ASCII 字符转义为 Unicode。设置为 True 时,所有非 ASCII 字符将被转义;False 则保留原始字符,仅当format_jsonTrue时有效 False
save_to_img() 将结果保存为图像格式的文件 save_path str 保存的文件路径,当为目录时,保存文件命名与输入文件类型命名一致
  • 此外,也支持通过属性获取带结果的可视化图像和预测结果,具体如下:
属性 属性说明
json 获取预测的json格式的结果
img 获取可视化图像

四、二次开发

由于 PaddleOCR 并不直接提供表格单元格检测模块的训练,因此,如果需要训练表格单元格检测模型,可以参考 PaddleX 表格单元格检测模块二次开发部分进行训练。训练后的模型可以无缝集成到 PaddleOCR 的 API 中进行推理。

五、FAQ