2024-03-01 18:23:55 +08:00
2024-03-01 11:04:49 +08:00
2024-03-01 16:07:51 +08:00
2024-03-01 16:07:51 +08:00
2024-03-01 16:07:51 +08:00
2024-03-01 16:07:51 +08:00
2024-03-01 14:35:10 +08:00
2024-02-29 16:53:41 +08:00
2024-03-01 18:23:55 +08:00

pdf_toolbox

pdf 解析基础函数

pdf是否是文字类型/扫描类型的区分

cat s3_pdf_path.example.pdf | parallel --colsep ' ' -j 10 "python pdf_meta_scan.py --s3-pdf-path {2} --s3-profile {1} >> {/}.jsonl"

find dir/to/jsonl/ -type f -name "*.jsonl" | parallel -j 10 "python pdf_classfy_by_type.py --json_file {} >> {/}.jsonl"

# 如果单独运行脚本,合并到code-clean之后需要运行,参考如下:
python -m pdf_meta_scan --s3-pdf-path "D:\pdf_files\内容排序测试_pdf\p3_图文混排 5.pdf" --s3-profile s2

pdf

S
Description
A high-quality tool for convert PDF to Markdown and JSON.一站式开源高质量数据提取工具,将PDF转换成Markdown和JSON格式。
Readme
354 MiB
Languages
Python 98.4%
JavaScript 0.9%
Dockerfile 0.4%
Shell 0.3%