PDF 中图表的解析探究
PDF 中图表的解析探究
- 0. 引言
- 1. 开源方案探究
0. 引言
一直以来，对文档中的图片和表格处理都非常有挑战性。这篇文章记录一下最近工作上在这块的探究。图表分为图片和表格，这篇文章主要记录了对表格的探究。还有，我个人主要做日本项目，探究时主要是以日语为主。
1. 开源方案探究
RAGFlow出品的Deepdoc
面向中文，有一个开源方案非常不错，RAGFlow出品的Deepdoc，它的项目中有多个对不同文档的多个文档解析器，其中就有面向pdf的pdf_parser。
测试了一下日文的识别能力，结果并不理想，也解析了一部分代码，代码中有很多处理都是面向中文的。
所以，RAGFlow出品的Deepdoc并不适合日文的处理。
LangChain出品的PyMuPDFLoader
简单来说，就是读取文档中文字，无法保留文章中表格的信息。
NVIDIA出品的multimodal
没有key，测试不了。简单解析了下架构和代码，还是有很多参考性的。
unstructured项目
这个项目很有意思，使用partition函数，可以自动解释很多格式的文档，也包括pdf。
解析了部分代码后，发现这个项目有对pdf文章中表格的处理，也可以把pdf中表格数据转换成markdown和html，效果上也达到60-70分左右。
gptpdf项目
这个项目是将pdf文档的每一页都存成一张图片，并且通过画红框，将不同的区域区分出来，然后让多模态模型进行解析，表格时，返回markdown格式。
如果使用gpt-4o或者claude的话，效果很不错，即使token消耗比较大。
使用多模态模型处理这种表格数据，对token的消耗非常大。
综上所述，现在还没有完美方案，接下来，就尝试自己做一套吧。
自己做时，发现有很多细节需要考虑，
- 如果表格跨页了怎么处理
- 跨页后的表格是否有表头
- 跨页后的表格是否和上一页是同一行
- 等等
把基础的功能实现后，先试着突破了一下跨页问题，大部分问题已经基本解决。截图如下，
先写到这吧，后续继续探索。
Reference & Thanks:
- https://python.langchain.com/v0.2/docs/how_to/document_loader_pdf/
- https://github.com/infiniflow/ragflow/blob/main/deepdoc/README.md
- https://github.com/Unstructured-IO/unstructured
- https://github.com/CosmosShadow/gptpdf
- https://github.com/NVIDIA/GenerativeAIExamples/tree/main/experimental/multimodal_assistant
相关文章：
PDF 中图表的解析探究
PDF 中图表的解析探究 0. 引言1. 开源方案探究 0. 引言 一直以来，对文档中的图片和表格处理都非常有挑战性。这篇文章记录一下最近工作上在这块的探究。图表分为图片和表格，这篇文章主要记录了对表格的探究。还有，我个人主要做日本项目&…...
递推（C语言）
文章目录 1.斐波那契数列2.太波那契数列3.二维递推问题4.实战4.1 力扣509 斐波那契数4.2 力扣70 爬楼梯4.3 力扣119 杨辉三角|| 递推最通俗的理解就是数列，递推和数列的关系就好比 算法 和 数据结构 的关系，数列有点 像数据结构中的线性表(可以是顺序表&…...
安卓微信8.0之后如何利用缓存找回的三天之前不可见的朋友圈图片
安卓微信8.0之后如何利用缓存找回的三天之前不可见的朋友圈图片 复习了下安卓程序的知识，我们会了解到，安卓程序清楚数据的时候有两个选项 一个是清除全部数据一个是清除缓存。 清除全部数据表示清除应用数据缓存。 对于安卓微信8.0之后而言࿰…...
 总结（九）)
ES6 Class(类) 总结（九）
ES6 中的 class 是一种面向对象编程的语法糖，提供了一种简洁的方式来定义对象的结构和行为。 JavaScript 语言中，生成实例对象的传统方法是通过构造函数。下面是一个例子。 function Point(x, y) {this.x x;this.y y; } Point.prototype.toString fu…...
使用 Vue.js 和 Element Plus 实现自动完成搜索功能
使用 Vue.js 和 Element Plus 实现自动完成搜索功能 一、前言1.环境准备2.组件配置3.后端数据请求4.样式5.总结 一、前言 在前端开发中，实现自动完成（autocomplete）功能可以极大地提升用户体验，特别是在需要用户输入和选择内容的…...
SpringBoot自定义starter
SpringBoot自定义starter 1、SpringBoot之starter机制 1.1、什么是自定义starter SpringBoot中的starter是一种非常重要的机制(自动化配置)，能够抛弃以前繁杂的配置，将其统一集成进starter，应用者只需要在maven中引入starter依赖&#…...
深入探索大语言模型
深入探索大语言模型 引言 大语言模型（LLM）是现代人工智能领域中最为重要的突破之一。这些模型在自然语言处理（NLP）任务中展示了惊人的能力，从文本生成到问答系统，无所不包。本文将从多个角度全面介绍大语…...
)
querylist多线程采集curlMulti时，报错Curl error(60)
前言 在使用querylist多线程采集的时候，报错: Curl error(60)。测试了下用http时没有问题，https时有问题。其原因在于多线程采集库引用的另一个库有问题。需要手动更改。 解决 找到：vendor/ares333/php-curl/src/Curl.php 文件，…...
Python数据分析~~美食排行榜
目录 1.模块的导入和路径的选择 2.访问前面五行数据 3.按照条件进行筛选 4.获取店铺评分里面的最高分 5.打印对应的店铺的名字 1.模块的导入和路径的选择 # 导入pandas模块，简称为pd import pandas as pd # 使用read_csv()函数 # TODO 读取路径"/Users/fe…...
Linux下解压.tar.gz文件
.tar.gz 是一种常用的压缩包格式，尤其在Unix、Linux以及macOS系统中非常普遍。这个格式结合了两种不同的功能： Tar (.tar): “Tar” 是“Tape Archive”的缩写，最初是为了将数据备份到磁带上而设计的。Tar命令可以将多个文件和目录打包成一个…...
【电商选品干货】差异化卖点要这样打造，80%商家却做不到
今天就给大家说说，如何去挖掘产品的差异化卖点？我们要找差异化卖点，就是因为我们的产品转化率不足，通常有下面几点原因： 1、产品差异化卖点不足，商家占比30% 2、流量和产品卖点不匹配，商家占比…...
LabVIEW比例压力控制阀自动测试系统
开发了一套基于LabVIEW编程和PLC控制的比例控制阀自动测试系统。该系统能够实现共轨管稳定的超高压供给，自动完成比例压力控制阀的耐久测试、流量滞环测试及压力-流量测试。该系统操作简便，具有高精度和高可靠性，完全满足企业对自动化测试的需…...
运营商认证API在Java、Python、PHP中的使用教程
随着数字化浪潮的推进，实名认证已深入我们生活的方方面面，从线上购物到电子资金转移，手机号已成为注册账号的主要凭证。然而，这也带来了身份验证的难题和手机号被盗用注册账号的风险。在信息爆炸的时代背景下，确保每个…...
用虚拟机，可以在x86的电脑上虚拟出arm的电脑吗
1.用虚拟机，可以在x86的电脑上虚拟出arm的电脑吗 是的，可以在x86的电脑上使用虚拟机技术虚拟出ARM架构的电脑。以下是通过虚拟机实现x86电脑上虚拟ARM电脑的几个关键步骤： 选择合适的虚拟化软件：通常，你可以使用如QE…...
富格林：可信观念摆脱暗箱陷阱
富格林指出，投资者产生的暗箱亏损多半是由于被不可信观念的迷惑影响，以为真的可以毫不费力就能赚钱，最后发现连交易的本金都打水漂了。事实上，投资市场并不像大家想得那么简单。要想安全实现交易成功，避免暗箱陷阱&…...
WEB前端01-HTML5基础(01)
一.WEB相关概念 软件架构 C/S: Client/Server （客户端/服务器端）：在用户本地有一个客户端程序，在远程有一个服务器端程序 优点：用户体验好 缺点：开发、安装，部署，维护麻烦 B/S: Br…...
JUC-常见方法与线程的状态
常见方法 start()与run() 主线程直接调用某个线程t1的run()方法，run方法也会执行，但是并不会启动新的线程，而是有主线程调用的run方法，必须使用start才能启动新线程，但是start只能调用一次。 sleep()与yield() sle…...
如果你酿的酒是黄色，说明肯定是 “糊锅”了。
刚刚酿出的酒一般都是清澈见底的，如果你酿的酒是黄色，说明肯定是 “糊锅”了。这样的酒不仅颜色是黄的，而且还能闻到一股特别浓厚的 焦糊味。 这样的酒，米酒小哥是非常非常熟悉的，因为刚开始学习酿酒的那段时 间&#…...
国漫推荐07
玄幻、奇幻 1.侠岚系列 《侠岚》（第1至6季） 《画江湖之侠岚》（侠岚第7季） 2.《斗破苍穹》 三十年河东，三十年河西，莫欺少年穷！ 3.《武动乾坤》（第1至4季） 4.《妖神记》…...
力扣刷题35.搜索查找位置
给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。 请必须使用时间复杂度为 O(log n) 的算法。 示例 1: 输入: nums [1,3,5,6], target 5 输出: 2示例 2: 输入:…...
网络编程（Modbus进阶）
思维导图 Modbus RTU（先学一点理论） 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议，由 Modicon 公司（现施耐德电气）于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…...
Java 8 Stream API 入门到实践详解
一、告别 for 循环！ 传统痛点： Java 8 之前，集合操作离不开冗长的 for 循环和匿名类。例如，过滤列表中的偶数： List<Integer> list Arrays.asList(1, 2, 3, 4, 5); List<Integer> evens new ArrayList…...
安宝特方案丨XRSOP人员作业标准化管理平台：AR智慧点检验收套件
在选煤厂、化工厂、钢铁厂等过程生产型企业，其生产设备的运行效率和非计划停机对工业制造效益有较大影响。 随着企业自动化和智能化建设的推进，需提前预防假检、错检、漏检，推动智慧生产运维系统数据的流动和现场赋能应用。同时，…...
转转集团旗下首家二手多品类循环仓店“超级转转”开业
6月9日，国内领先的循环经济企业转转集团旗下首家二手多品类循环仓店“超级转转”正式开业。 转转集团创始人兼CEO黄炜、转转循环时尚发起人朱珠、转转集团COO兼红布林CEO胡伟琨、王府井集团副总裁祝捷等出席了开业剪彩仪式。 据「TMT星球」了解，“超级…...
postgresql|数据库|只读用户的创建和删除（备忘）
CREATE USER read_only WITH PASSWORD 密码 -- 连接到xxx数据库 \c xxx -- 授予对xxx数据库的只读权限 GRANT CONNECT ON DATABASE xxx TO read_only; GRANT USAGE ON SCHEMA public TO read_only; GRANT SELECT ON ALL TABLES IN SCHEMA public TO read_only; GRANT EXECUTE O…...
如何为服务器生成TLS证书
TLS（Transport Layer Security）证书是确保网络通信安全的重要手段，它通过加密技术保护传输的数据不被窃听和篡改。在服务器上配置TLS证书，可以使用户通过HTTPS协议安全地访问您的网站。本文将详细介绍如何在服务器上生成一个TLS证…...
vue3 定时器-定义全局方法 vue+ts
1.创建ts文件 路径：src/utils/timer.ts 完整代码： import { onUnmounted } from vuetype TimerCallback (...args: any[]) > voidexport function useGlobalTimer() {const timers: Map<number, NodeJS.Timeout> new Map()// 创建定时器con…...
听写流程自动化实践，轻量级教育辅助
随着智能教育工具的发展，越来越多的传统学习方式正在被数字化、自动化所优化。听写作为语文、英语等学科中重要的基础训练形式，也迎来了更高效的解决方案。 这是一款轻量但功能强大的听写辅助工具。它是基于本地词库与可选在线语音引擎构建，…...
NXP S32K146 T-Box 携手 SD NAND（贴片式TF卡）：驱动汽车智能革新的黄金组合
在汽车智能化的汹涌浪潮中，车辆不再仅仅是传统的交通工具，而是逐步演变为高度智能的移动终端。这一转变的核心支撑，来自于车内关键技术的深度融合与协同创新。车载远程信息处理盒（T-Box）方案：NXP S32K146 与…...
推荐 github 项目:GeminiImageApp(图片生成方向，可以做一定的素材)
推荐 github 项目:GeminiImageApp(图片生成方向，可以做一定的素材) 这个项目能干嘛? 使用 gemini 2.0 的 api 和 google 其他的 api 来做衍生处理 简化和优化了文生图和图生图的行为(我的最主要) 并且有一些目标检测和切割(我用不到) 视频和 imagefx 因为没 a…...