Files

1.8 KiB

原始文档元数据

文件格式元数据的唯一提取实现归 DocVortex。Doclib 入库通过 docvortex.extract_metadata() 获取标题、作者、主题、关键词、语言和计数;MinerU 各解析入口使用相同接口,并通过 Model/Middle JSON 的可选 metadata.document 传递完整属性。

源属性在 PDF 选页重写之前保存;其中 page_count_kind 区分物理页、声明布局页和结构单位, 不应把选页数量、幻灯片数或工作表数当作整本 PDF 页数。Doclib 调度页数保留原有产品语义。 图片转 PDF 不在本次范围内提取 EXIF,也不将转换器生成的信息冒充原图属性。

metadata.producer 仍是 JSON 生产者,原文件生成软件位于 metadata.document。 JSON 协议保持 2.0;旧数据缺少新字段仍可读取,但旧版严格读取器需要先升级。 完整扩展信息保存在解析 JSON 中,不增加数据库列或详情 API 字段,不强制回填旧缓存。

Doclib 仅负责数据库映射、截断和调度。作者以 ; 拼接,关键词以 , 拼接,语言取首项。 解析完成后非空源属性更新现有列及 FTS 标题作者,不按推理 tier 判断源属性质量,也不清空旧值。 元数据不同的缓存批次保持原有不合并规则。

本次移除 17 项已经归属 DocVortex 的基础直接依赖;这些包仍随 DocVortex 安装。 测试专用的 pypdf、reportlab、lxml 在 test extra 中显式声明。tokenizers 仍是基础依赖, 因为无 Transformers 的 ONNX 公式识别会直接使用它。

发布顺序:先验证并发布包含公共接口的 DocVortex 0.2.5,再将 MinerU 最低版本要求提升到该版本。 本地集成验收使用两边构建的 wheel,不能用旧版 DocVortex 验证新调用链。