当前位置：首页 > article >正文

RAG中对于PDF复杂格式文件的预处理的解决方案：MinerU

article 2026/2/3 9:56:54

RAG中对于PDF复杂格式文件的预处理的解决方案：MinerU

1. 场景

在RAG场景下，我们所遇到的文档格式可不仅仅局限于txt文件，而对于复杂的PDF文件，里面有图片格式的Excel、图片格式的文字、以及公式等等复杂的格式，我们很难用传统的方式去解析预处理成我们可以用的类似于TXT格式的纯文本。

2. 解决方案

你的PDF解析大杀器,让LLM更懂你的数据.

面临的挑战：

1、结构复杂：可以包含文本、图像、矢量图形、注释、表单、公式等各种内容，每种内容的表示方式都不一样.

2、布局复杂：PDF文件的文本并不是线性存储的，而是根据页面布局存储.这意味着解析器需要处理复杂的布局来重建文本的顺序.

3、字体和编码：PDF文件中的文本可以使用多种编码方式和字体.

4、结构信息缺乏：与HTML或XML等格式不同，PDF文件通常不包含明确的结构信息（如标签、段落、表格结构等）.

1. MinerU（极力推荐）

MinerU 是一款将 PDF 转换为机器可读格式（例如 markdown、JSON）的工具，可轻松提取为任何格式。MinerU 诞生于InternLM的预训练过程中。我们

RAG中对于PDF复杂格式文件的预处理的解决方案：MinerU

RAG中对于PDF复杂格式文件的预处理的解决方案：MinerU 1. 场景在RAG场景下，我们所遇到的文档格式可不仅仅局限于txt文件，而对于复杂的PDF文件，里面有图片格式的Excel、图片格式的文字、以及公式等等复杂的格式，我们很难用传统的方式去解析预处理成我们可以用的类似于TXT…...

编程日记 2025/8/25 7:46:38

手机中的type-C是如何防水的呢？

防水类型的type-C座子： 电子产品防水等级的区分： 这里的“IP”是国际防护标准等级；简而言之，IPXX中“XX”两位数字分别代表防尘和防水等级，其中防尘等级从0～6，防水等级则从0～8。第…...

编程日记 2026/1/31 11:32:22

[Redis]Redis学习开篇概述

欢迎来到啾啾的博客🐱。这是一个致力于构建完善 Java 程序员知识体系的博客📚。它记录学习点滴，分享工作思考和实用技巧，偶尔也分享一些杂谈💬。欢迎评论交流，感谢您的阅读😄。引言大家好…...

编程日记 2026/1/31 14:40:55

WordPress浮动广告插件+飘动效果客服插件

源码介绍 WordPress浮动广告插件飘动效果客服插件将源码上传到wordpress的插件根目录下，解压，然后后台启用即可截图源码免费获取 WordPress浮动广告插件飘动效果客服插件...

编程日记 2026/1/31 12:11:45

Java基础关键_034_网络编程

目录一、概述二、网络编程三要素 1.IP 地址 2.端口号 3.通信协议 （1）说明 （2）OSI 七层参考模型 （3）TCP/IP 四层参考模型三、网络编程基础类 1.InetAddress 2.URL （1&#xff09…...

编程日记 2026/1/28 7:22:21

Ubuntu交叉编译器工具链安装

声明本博客所记录的关于正点原子i.MX6ULL开发板的学习笔记，（内容参照正点原子I.MX6U嵌入式linux驱动开发指南，可在正点原子官方获取正点原子Linux开发板 — 正点原子资料下载中心 1.0.0 文档），旨在如实记录我在学校学…...

编程日记 2026/2/1 7:13:55

C# 操作 Redis

一、简介 C# 中通过 StackExchange.Redis 库可以方便地操作 Redis，实现高性能的数据缓存和存储。StackExchange.Redis 提供了强大的 API，允许开发者轻松连接、读取和写入 Redis 数据。通过使用 ConnectionMultiplexer 类，可以建立与 Redis 服…...

编程日记 2025/11/25 17:39:26

基于Python的招聘推荐数据可视化分析系统

【Python】基于Python的招聘推荐数据可视化分析系统（完整系统源码开发笔记详细部署教程）✅ 目录一、项目简介二、项目界面展示三、项目视频展示一、项目简介 🚀🌟 基于Python的招聘推荐数据可视化分析系统！&#x1…...

编程日记 2026/2/1 7:50:09

光谱相机在工业中的应用

光谱相机（多光谱、高光谱、超光谱成像技术）在工业领域通过捕捉物质的光谱特征（反射、透射、辐射等），结合化学计量学与人工智能算法，为工业检测、质量控制和工艺优化提供高精度、非接触式的解决方案。以下是…...

编程日记 2026/2/1 5:52:45

Nginx介绍及使用

1.Nginx介绍 Nginx是一款开源的、高性能的HTTP和反向代理服务器 1.正向代理和反向代理正向代理（代理客户端）是一种位于客户端和目标服务器之间的中间服务器。客户端通过正向代理服务器向目标服务器发送请求，代理服务器将请求转发给目标服…...

编程日记 2026/1/25 2:41:47

使用PyQt5绘制水波浪形的柱状显示流量—学习QTimer+QPainterPath

前言：进入学习Python开发上位机界面的第二阶段，学习如何开发自定义控件，从常用的控件入手学习，本期主要学习如何使用PyQt5绘制水波浪形的柱状显示流量。但是最后我放弃了，因为水波的效果达不到我想要的。 1. 明确想要…...

编程日记 2026/1/27 5:26:22

C++蓝桥杯实训篇（二）

片头嗨咯~小伙伴们！今天我们来一起学习算法和贪心思维，准备好了吗？咱们开始咯！ 第1题数位排序对于这道题，我们需要自己写一个排序算法，也就是自定义排序，按照数位从小到大进行排序。举一…...

编程日记 2026/1/30 19:31:59

如何将本地更改的README文件同步到自己的GitHub项目仓库

如何将本地更改的 README 文件同步到 GitHub 仓库在你 git clone 下来的工程目录下： 先使用 robocopy YOUR\SOURCE\CODE\DIR YOUR\GIT\CLONE\DIR /E /XD .git /DCOPY:T 将你的更改Copy到你git下来的工程中（上面的命令会自动处理，例如只会C…...

编程日记 2026/1/27 9:12:29

无人驾驶是自动化还是智能化？

这是一个由小米Su-7和人形机器人问题引起的思考：努力决定了下限，认知决定了上限。一、无人驾驶既涉及自动化，也涉及智能化，这两者在无人驾驶系统中应该是相互融合、相辅相成的1、自动化（Automation） 自动化…...

编程日记 2026/2/1 6:40:54

实操（不可重入函数、volatile、SIGCHLD、线程）Linux

1 不可重入函数为什么会导致节点丢失内存泄露？main函数在执行insert，但是没执行完就被信号中断了，又进了这个函数里，所以这个insert函数在不同的执行流中，同一个函数被重复进入，如果没有问题，…...

编程日记 2026/2/1 4:29:49

【Flask开发】嘿马文学web完整flask项目第2篇：2.用户认证,Json Web Token(JWT)【附代码文档】

教程总体简介：2. 目标 1.1产品与开发 1.2环境配置 1.3 运行方式 1.4目录说明 1.5数据库设计 2.用户认证 Json Web Token(JWT) 3.书架 4.1分类列表 5.搜索 5.3搜索-精准&高匹配&推荐 6.小说 6.4推荐-同类热门推荐 7.浏览记录 8.1配置-阅读偏好 8.配置 9.1项目…...

编程日记 2026/2/1 5:38:26

Ubuntu 下搭建 MCU 开发环境全流程指南（以 STM32 为例）

在嵌入式开发中，许多工程师都习惯于在 Windows 平台使用 Keil、IAR 等 IDE。然而，随着对自动化、可定制性以及开放工具链的需求增长，越来越多的开发者开始尝试在 Linux 环境下进行 MCU 开发。本篇文章将以 STM32F1 系列为例，手把手带你在 Ubuntu 下搭建一个完整的 MCU 开…...

编程日记 2026/2/1 6:14:40

Codecademy—— 交互式编程学习的乐园

一、网站概述 Codecademy 是一家美国在线学习编程知识的网站，它为编程学习者提供了一种全新的学习方式。在如今众多的编程学习平台中，Codecademy 凭借其独特的优势脱颖而出，吸引了全球数百万用户。其目标是帮助更多人轻松学习编程&#xff0…...

编程日记 2026/1/26 10:28:30

Python----计算机视觉处理（Opencv:道路检测之车道线拟合）

完整版： Python----计算机视觉处理（Opencv:道路检测完整版：透视变换，提取车道线，车道线拟合，车道线显示） 一、获取左右车道线的原始位置导入模块 import cv2 import numpy as np from matplot…...

编程日记 2026/2/1 4:34:54

OpenCV 图形API（13）用于执行两个矩阵（或图像）逐元素乘法操作的函数mul()

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 描述计算两个矩阵的每个元素的缩放乘积。 mul函数计算两个矩阵的逐元素乘积： dst ( I ) saturate ( scale ⋅ src1 ( I ) ⋅ src2 ( I ) ) …...

编程日记 2025/12/16 8:25:39

2025高频面试算法总结篇【二叉树】

文章目录直接刷题链接直达非递归实现求二叉树的深度非递归从左至右打印一颗二叉树中的所有路径判断平衡二叉树二叉搜索树中第K小的元素二叉树的完全性检验根据前&中序遍历结果重建二叉树二叉树的最近公共祖先二叉树的直径二叉树的遍历直接刷题链接直达非递归实现求二叉…...

编程日记 2026/1/5 0:06:32

如何理解神经网络中的“分段线性单元”，优雅解析前向和反向传播

什么是非线性非线性本质上指的是一个系统或函数中输入与输出之间的关系不呈现简单的比例关系，也就是说，输出不只是输入的线性组合 ( 比如 y k 1 x 1 k 2 x 2 b ) (比如yk1x1k2x2b) (比如yk1x1k2x2b)。下面详细解释这个概念： 缺乏叠加性…...

编程日记 2026/2/1 6:24:54

WVP-GB28181摄像头管理平台存在弱口令

免责声明：本号提供的网络安全信息仅供参考，不构成专业建议。作者不对任何由于使用本文信息而导致的直接或间接损害承担责任。如涉及侵权，请及时与我联系，我将尽快处理并删除相关内容。漏洞描述攻击者可利用漏洞获取当前系统管…...

编程日记 2026/2/2 20:03:20

开源身份和访问管理方案之keycloak（三）keycloak健康检查（k8s）

文章目录开源身份和访问管理方案之keycloak（三）keycloak健康检查启用运行状况检查健康检查使用Kubernetes下健康检查Dockerfile 中 HEALTHCHECK 指令健康检查Docker HEALTHCHECK 和 Kubernetes 探针开源身份和访问管理方案之keycloak（三&…...

编程日记 2026/1/18 3:50:19

STM32看门狗原理与应用详解：独立看门狗 vs 窗口看门狗（上） | 零基础入门STM32第九十四步

主题内容教学目的/扩展视频看门狗什么是看门狗，原理分析，启动喂狗方法，读标志位。熟悉在程序里用看门狗。师从洋桃电子，杜洋老师 📑文章目录一、看门狗核心原理1.1 工作原理图解1.2 经典水桶比喻二、STM32看门狗双雄…...

编程日记 2026/1/23 19:43:15

Android学习总结之service篇

引言在 Android 开发里，Service 与 IntentService 是非常关键的组件，它们能够让应用在后台开展长时间运行的操作。不过，很多开发者仅仅停留在使用这两个组件的层面，对其内部的源码实现了解甚少。本文将深入剖析 Service 和 Inte…...

编程日记 2026/1/19 9:36:21

网络安全的挑战与防护策略

随着互联网的高速发展，人们的生活、学习和工作已离不开网络。然而，便利的背后也潜藏着巨大的安全隐患。从数据泄露、账户被盗，到网络攻击、系统瘫痪，网络安全问题层出不穷，影响范围从个人用户到国家机构。网络安全&a…...

编程日记 2025/11/30 22:47:09

spring mvc异步请求 sse 大文件下载断点续传下载Range

学习连接异步Servlet3.0 Spring Boot 处理异步请求（DeferredResult 基础案例、DeferredResult 超时案例、DeferredResult 扩展案例、DeferredResult 方法汇总） spring.io mvc Asynchronous Requests 官网文档 spring.io webflux&webclient官网文…...

编程日记 2026/1/27 4:43:25

Opencv计算机视觉编程攻略-第十节估算图像之间的投影关系

目录 1. 计算图像对的基础矩阵 2. 用RANSAC 算法匹配图像 3. 计算两幅图像之间的单应矩阵 4. 检测图像中的平面目标图像通常是由数码相机拍摄的，它通过透镜投射光线成像，是三维场景在二维平面上的投影，这表明场景和它的图像之间以及同一…...

编程日记 2026/1/17 18:48:03

14.流程自动化工具：n8n和家庭自动化工具：node-red

n8n 安装 docker方式 https://docs.n8n.io/hosting/installation/docker/ #https://hub.docker.com/r/n8nio/n8n docker pull n8nio/n8n:latest docker rm -f n8n; docker run -it \ --network macvlan --hostname n8n \ -e TZ"Asia/Shanghai" \ -e GENERIC_TIME…...

编程日记 2026/1/22 16:59:41

RAG中对于PDF复杂格式文件的预处理的解决方案：MinerU

1. 场景

2. 解决方案

1. MinerU（极力推荐）

相关文章：