【Ragflow】11. 文件解析流程分析/批量解析实现

概述

本文继续对ragflow文档解析部分进行分析，并通过脚本的方式实现对文件的批量上传解析。

文件解析流程

文件解析的请求处理流程大致如下：

1.前端上传文件，通过v1/document/run接口，发起文件解析请求

2.后端api\apps\document_app.py的run函数接收请求，校验用户权限，处理文档解析运行信息，创建新的任务队列

3.后端api\db\services\task_service.py的queue_tasks函数进一步根据文档根据文档类型和页数，将文档分割成多个子任务，并通过解析器进行解析。

4.解析器在deepdoc\parser路径下，对于docx、excel、pdf等不同格式的文件都有不同的解析策略。其中，pdf的解析策略最为复杂，因为要设计需要先转成图像，再进行ocr文本识别。

5.解析完成后，会生成文本块，并构建索引，存储到向量数据库。

在解析过程的同时，前端同时还会定时向v1/document/list这个接口发起轮询，以获取解析的进度信息。

文件解析模型

ragflow的文件解析采用了名为deepdoc的模型，该模型的相关资料并不多，是其自研的模型，在hugging face上公布了具体的模型权重：

hf地址：https://huggingface.co/InfiniFlow/deepdoc

从模型体积上看，其采用的模型并不大，但对不同的任务，会采用不同的模型，比如OCR（光学字符识别）、TSR（表格结构识别）、DLA（文档布局分析）等多种解析任务。

文件解析加速实验

由于解析模型都是onnx形式的模型，因此，如果使用gpu进行解析，理论上可以显著加速解析速度。

于是下面做个实验，通过docker-compose-gpu.yml文件启动容器，使其能够访问外部gpu。

启动命令：

docker compose -f docker-compose-gpu.yml up -d

对于一篇学位论文的pdf文件，未使用gpu，通过docker-compose.yml进行解析，花费时间约10分钟。

使用gpu配置启动容器，对相同文件进行解析，发现cpu多核全部拉满，gpu仍然未工作，因此速度基本无差别。

说明仅通过docker-compose-gpu.yml似乎无法成功利用上gpu资源，此点还需进一步论证。

观察docx和pdf的解析器设置，docx只需要解析纯文本信息，而无需进行ocr处理，因此理论解析速度会比pdf文件快很多，下面进行一个实验，比较word文件和pdf文件的解析日志，内容如下：

word格式文件解析日志：

进度:
15:36:34 Task has been received.
15:36:34 Page(1~100000001): Start to parse.
15:36:34 Page(1~100000001): Finish parsing.
15:36:35 Page(1~100000001): Generate 16 chunks
15:36:53 Page(1~100000001): Embedding chunks (18.57s)
15:36:55 Page(1~100000001): Indexing done (1.42s). Task done (20.93s)

pdf格式文件解析日志：

开始于:
Fri, 04 Apr 2025 13:45:56 GMT
持续时间:
599.00 s
进度:
13:45:56 Task has been received.
13:46:29 Page(1~13): OCR started
13:46:36 Page(1~13): OCR finished (7.77s)
13:46:56 Page(1~13): Layout analysis (19.70s)
13:46:56 Page(1~13): Table analysis (0.00s)
13:46:56 Page(1~13): Text merged (0.00s)
13:47:07 Page(1~13): Generate 27 chunks
13:48:39 Page(1~13): Embedding chunks (92.02s)
13:48:43 Page(1~13): Indexing done (3.77s). Task done (166.60s)
....(略去多个子任务解析过程，和上述类似)

word文件的确比pdf文件解析速度快很多，因此，如果想加快解析速度，可以预先通过其他方式，将pdf文件的文本信息摘取出来，转成其它格式。

文档批量解析

经过上述分析后，实际上可以通过两个解析接口+文件上传接口，实现文档的批量解析。

发现已有一个代码仓库实现了该功能：

仓库地址：https://github.com/Samge0/ragflow-upload

下面是具体操作步骤：

1.开启ragflow服务
需保持ragflow服务处于正常运行状态

2.克隆仓库代码

git clone https://github.com/Samge0/ragflow-upload.git

3.安装依赖

pip install -r requirements.txt

4.设置配置项
将ragflows/configs.demo.py改成ragflows/configs.py

配置文件主要修改以下几点：

• API_URL：ragflow的api地址，默认值：http://localhost:80/v1，如果是本机部署，无需修改

• AUTHORIZATION：ragflow的api鉴权token，可以从F12网站开发者工具，查看请求的标头获取

• DIFY_DOC_KB_ID：ragflow的知识库id，直接在知识库页面，查看url尾缀dataset?id的具体值获取

• KB_NAME：ragflow的知识库名称，设置为需要上传的知识库名称

• DOC_DIR：本地上传文件夹路径，待上传文件的存储位置，设置为需要上传的实际文件夹路径

5.启动脚本

运行命令

python -m ragflows.main

这个脚本的优势在于，它并不是多个文件批量解析，而是单个文件解析完之后，再执行下一个文件进行解析。这样可以有效避免多线程解析时，线程阻塞导致的文件解析过程中断。

拓展方向

1.进一步支持GPU解析

本文尝试了一下使用docker运行gpu环境，但发现文件解析时，并不能有效利用gpu设备。后续可对此进行进一步研究，以更好地利用gpu资源实现解析过程加速。

2.图像识别存储

目前文档解析仍然是针对文本信息，并未涉及图像信息的提取和关联，此点有待进一步研究。