当前位置： 首页 > article >正文

【Ragflow】25.Ragflow-plus开发日志：excel文件解析新思路/公式解析适配

article 2025/6/5 17:47:41

引言

RagflowPlus v0.3.0 版本中，增加了对excel文件的解析支持，但收到反馈，说效果并不佳。

以下测试文件内容来自群友反馈提供，数据已脱敏处理。

示例数据节选

经系统解析后，分块效果如下：

v0.3.0版本解析效果

可以看到，由于该文件包含很多列信息，导致表格被截断，同一行信息完全错位，分散到了不同的chunk中。

表格解析新思路

其实问题就出在对表格文件的处理上，直接套用MinerU的文件处理管线，会先通过LibreOffice将文件转成pdf的形式，再进行表格区域识别。

其实，excel本身就是格式化的表格，这样的处理方式，就像是拿尼康八百定去拍人物写真，上重装备，还拍不好。

既然excel已经是格式化的文件，只需要用pandas去逐行读取就行了。

考虑一般表格都会有表头，每一行内容需要和表头关联，因此，每个chunk根据表头+当前行的形式划分即可，示例代码如下：

import pandas as pddef parse_excel(file_path):# 读取Excel文件df = pd.read_excel(file_path)# 获取表头headers = df.columns.tolist()blocks = []for _, row in df.iterrows():# 构建HTML表格html_table = "<html><body><table><tr>{}</tr><tr>{}</tr></table></body></html>".format("".join(f"<td>{col}</td>" for col in headers), "".join(f"<td>{row[col]}</td>" for col in headers))block = {"type": "table", "img_path": "", "table_caption": [], "table_footnote": [], "table_body": f"{html_table}", "page_idx": 0}blocks.append(block)return blocksif __name__ == "__main__":file_path = "test_excel.xls"parse_excel_result = parse_excel(file_path)print(parse_excel_result)

将这个解析逻辑融合进解析模块，再次解析，效果如下：

修正后的excel文件解析结果

关键词编辑技巧

虽然已经把表格格式处理好了，但进行检索测试，发现效果不好，关键词相似度为0。

直接检索的效果

上篇文章，已经详细分析过关键词相似度的计算方式。由于表格实际上是html格式的数据，这会间接导致原始关键词的提取存在问题。

实际上，ragflow原本就提供了一种为chunk块编辑关键词的方式。

双击chunk，可以对关键词进行自定义设置。

比如，我设定该chunk的关键词为某学员姓名，再次检索此关键词，关键词相似度就变成了100。

编辑完关键词后的检索效果

用对话模型进行测试，模型能正确检索回答。

公式解析适配

之前有群友问过：为什么解析文件时，会过滤公式的chunk。

我当时给出的回答是这样：公式都是由数学符号组成，本身和问题不会具备相似性。比如，正常问题通常会问xx公式，但不会把公式原本的形式当成问题去问。这就会导致将公式变成解析块会毫无意义，因为压根不会被检索出来。

但是利用关键词编辑，就可以让公式chunk具备实际意义，因此将公式chunk添加进解析结果。

以下是一个包含公式的文件解析结果：

以2-3公式(假设作为一个公式的具体名字)为测试文本进行检索，是得不到任何结果的。

利用关键词编辑，为其添加关键词：

再次检索，就可以顺利检索出来。

用问答模块测试，也可以正常显示。

总结

本文对表格和公式两类元素进行调优测试，不难发现，对于rag系统来说，检索是至关重要的环节。

想要效果好，就需要对每一个块进行精调。

因此，在进行对话测试前，检索测试是必要环节：如果检索不出来，那就要排查chunk块的类型和关键词设定；如果能检索到，模型回答不出来，那就是模型本身的性能问题。

相关文章：

【Ragflow】25.Ragflow-plus开发日志：excel文件解析新思路/公式解析适配

引言 RagflowPlus v0.3.0 版本中&#xff0c;增加了对excel文件的解析支持&#xff0c;但收到反馈&#xff0c;说效果并不佳。 以下测试文件内容来自群友反馈提供&#xff0c;数据已脱敏处理。 经系统解析后&#xff0c;分块效果如下&#xff1a; 可以看到&#xff0c;由于该…...

编程日记 2025/6/5 17:47:41

Python数据可视化科技图表绘制系列教程（一）

目录 创建多个坐标图形&#xff08;坐标系&#xff09; 图表的组成 创建图形与子图 创建子图1 创建子图2 创建子图3 创建子图4 创建子图5 添加图表元素 极坐标图1 极坐标图2 【声明】&#xff1a;未经版权人书面许可&#xff0c;任何单位或个人不得以任何形式复制、…...

编程日记 2025/6/5 11:27:32

移除3D对象的某些部分点云

1&#xff0c;目的 移除3D对象指定区域的点云。效果 2&#xff0c;原理。 通过投影剔除指定区域外的点云数据。 3&#xff0c;主要的算子。 3.1&#xff0c;gen_image_gray_ramp 是 Halcon 中用于生成‌线性灰度渐变图像‌的算子 功能概述‌ 数学原理‌ 生成的图像灰度值…...

编程日记 2025/6/5 16:35:23

阿里云为何，一个邮箱绑定了两个账号

阿里云“幽灵账号”之谜&#xff1a;同一个邮箱注销后仍有两个账号&#xff1f;深度揭秘成因与终极解决方案&#xff01; 你是否曾在阿里云上使用同一个邮箱注册过多个账号&#xff0c;明明已经**“彻底”注销了其中一个**&#xff0c;却惊愕地发现系统里依然**“幽灵般”挂着…...

编程日记 2025/6/5 10:38:21

高效视频倍速播放插件推荐

软件介绍 本文介绍一款名为Global Speed的视频速度控制插件&#xff0c;该插件在插件市场评分极高&#xff0c;被公认为目前最好用的视频倍速插件之一。 插件安装与基本功能 安装Global Speed插件后&#xff0c;用户只需点击插件图标即可选择播放倍数&#xff0c;最高支持16…...

编程日记 2025/6/5 19:46:35

无他相机：专业摄影，触手可及

在数字摄影时代&#xff0c;手机摄影已成为许多人记录生活、表达创意的重要方式。无他相机正是这样一款专为摄影爱好者设计的相机应用程序&#xff0c;它不仅提供了专业级摄影设备的大部分功能&#xff0c;还通过简洁直观的操作界面&#xff0c;让每一位用户都能轻松上手&#…...

编程日记 2025/6/5 14:59:41

基于贝叶斯优化神经网络的光伏功率预测综述

基于贝叶斯优化神经网络的光伏功率预测综述 一、贝叶斯优化的基本原理与核心组件 贝叶斯优化&#xff08;Bayesian Optimization, BO&#xff09;是一种基于概率模型的全局优化方法&#xff0c;特别适用于高成本评估的黑盒函数优化问题。其核心由代理模型和采集函数构成&…...

编程日记 2025/6/6 2:16:20

【C++11】折叠引用和完美转发

目录 一. 前言二. 引用折叠引用折叠的规则 三. 完美转发完美转发适用场景完美转发底层实现思考1思考2 一. 前言 在函数传参时&#xff0c;如果想保持某个参数的属性不改变&#xff0c;需要完美转发&#xff0c;而完美转发的实现需要折叠引用的帮助 二. 引用折叠 在语法上&am…...

编程日记 2025/6/5 9:40:23

数据结构：递归：自然数之和

目录 递归解法 &#x1f539;第一步&#xff1a;定义本质问题 &#x1f539;第二步&#xff1a;分解问题结构 &#x1f539;第三步&#xff1a;定义初始条件 &#x1f539;第四步&#xff1a;递归思想的自然生成 循环解法 &#x1f539;第 1 步&#xff1a;定义问题最小…...

编程日记 2025/6/5 22:48:39

网易 - 灵犀办公文档

一. 企业介绍 网易是中国领先的互联网技术公司&#xff0c;为用户提供免费邮箱、游戏、搜索引擎服务&#xff0c;通过开设新闻、娱乐、体育等30多个内容频道&#xff0c;以及博客、视频、论坛等互动交流&#xff0c;网聚人的力量。 为了给中小企业和个人打造一款综合性办公产…...

编程日记 2025/6/5 18:21:07

【C++】模板与特化技术全面教程（claude sonnet 4）

第一章&#xff1a;模板的基础概念 (Template Fundamentals) 1.1 什么是模板&#xff1f; 模板 (Template) 是C中的一种泛型编程 (Generic Programming) 机制&#xff0c;它允许我们编写与类型无关的代码。想象一下&#xff0c;如果我们要为不同的数据类型编写相同逻辑的函数&a…...

编程日记 2025/6/6 1:17:33

ABAP设计模式之---“高内聚，低耦合（High Cohesion Low Coupling）”

“高内聚、低耦合”是面向对象编程中非常重要的设计原则&#xff0c;它有助于提高代码的可维护性、扩展性和复用性。 1. 初衷&#xff1a;为什么会有这个原则&#xff1f; 在软件开发中&#xff0c;随着业务需求的复杂化&#xff0c;代码难免会变得越来越庞大。如果开发者将一…...

编程日记 2025/6/5 16:05:27

RagFlow优化代码解析(一)

引子 前文写到RagFlow的环境搭建&推理测试&#xff0c;感兴趣的童鞋可以移步&#xff08;RagFlow环境搭建&推理测试-CSDN博客&#xff09;。前文也写过RagFLow参数配置&测试的文档&#xff0c;详见&#xff08;&#xff09;。很少写关于具体代码的blog&#xff0c…...

编程日记 2025/6/5 22:03:54

【python与生活】用 Python 从视频中提取音轨：一个实用脚本的开发与应用

在当今数字化的时代&#xff0c;视频内容无处不在。无论是学习教程、会议记录、在线讲座还是娱乐视频&#xff0c;我们每天都会接触到大量的视频资源。有时候&#xff0c;我们可能只对视频中的音频部分感兴趣&#xff0c;比如提取讲座的音频用于后续收听&#xff0c;或者从电影…...

编程日记 2025/6/5 10:16:18

深度强化学习赋能城市消防优化，中科院团队提出DRL新方法破解设施配置难题

在城市建设与发展中&#xff0c;地理空间优化至关重要。从工业园区选址&#xff0c;到公共服务设施布局&#xff0c;它都发挥着关键作用。但传统求解方法存在诸多局限&#xff0c;如今&#xff0c;深度学习技术为其带来了新的转机。 近日&#xff0c;在中国地理学会地理模型与…...

编程日记 2025/6/6 5:32:40

云原生周刊：探索 Gateway API v1.3.0

开源项目推荐 WatchAlert WatchAlert 是一个轻量级、云原生的多数据源监控告警引擎&#xff0c;支持 AI 驱动的智能告警分析&#xff0c;旨在帮助升级您的监控系统架构。该项目基于 Go 和 React 开发&#xff0c;提供了现代化的前后端架构。后端使用 Go 语言&#xff0c;结合…...

编程日记 2025/6/6 4:57:25

008房屋租赁系统技术揭秘：构建智能租赁服务生态

房屋租赁系统技术揭秘&#xff1a;构建智能租赁服务生态 在房地产租赁市场日益活跃的当下&#xff0c;房屋租赁系统成为连接房东与租客的重要数字化桥梁。该系统集成用户管理、房屋信息等多个核心模块&#xff0c;面向管理员、房东和用户三类角色&#xff0c;通过前台展示与后…...

编程日记 2025/6/5 18:58:06

Python训练打卡Day41

简单CNN 知识回顾 数据增强卷积神经网络定义的写法batch归一化&#xff1a;调整一个批次的分布&#xff0c;常用与图像数据特征图&#xff1a;只有卷积操作输出的才叫特征图调度器&#xff1a;直接修改基础学习率 卷积操作常见流程如下&#xff1a; 1. 输入 → 卷积层 → Batch…...

编程日记 2025/6/6 2:09:45

spring-boot-admin实现对微服务监控

spring-boot-admin可以对微服务的状态进行监控&#xff0c;步骤如下&#xff1a; 1、添加spring-boot-admin和nacos依赖 <!-- nacos注册中心 --> <dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-starter-alibaba-n…...

编程日记 2025/6/5 12:42:15

Linux 权限管理入门：从基础到实践

文章目录 引言一、Linux 权限管理概述二、文件权限值的表示方法三、文件访问权限的设置&#xff08;chmod&#xff09;四、file指令&#xff1a;快速识别文件类型五、目录的权限六、普通文件的权限七、权限总结八、粘滞位 引言 在 Linux 系统中&#xff0c;权限管理是确保多用…...

编程日记 2025/6/5 19:09:11

Mycat的监控

参考资料&#xff1a; 参考视频 参考博客 Mysql分库分表&#xff08;基于Mycat&#xff09;的基本部署 MySQL垂直分库&#xff08;基于MyCat&#xff09; Mysql水平分表&#xff08;基于Mycat&#xff09;及常用分片规则 视频参考资料及安装包&#xff1a; https://pan.b…...

编程日记 2025/6/6 4:13:38

Glide源码解析

前言 Glide是一款专为Android设计的开源图片加载库。有以下特点&#xff1a;1.支持高效加载网络、本地及资源图片&#xff1b;2.具备良好的缓存策略及生命周期管理策略&#xff1b;3.提供了简易的API和强大的功能。本文将对其源码进行剖析。 基本使用 dependencies {compile …...

编程日记 2025/6/5 19:33:21

7.RV1126-OPENCV cvtColor 和 putText

一.cvtColor 1.作用 cvtColor 是 OPENCV 里面颜色转换的转换函数。能够实现 RGB 图像转换成灰度图、灰度图转换成 RGB 图像、RGB 转换成 HSV 等等 2.API CV_EXPORTS_W void cvtColor( InputArray src, OutputArray dst, int code, int dstCn 0 ); 第一个参数&#xff1a;…...

编程日记 2025/6/6 0:20:18

Android 之 kotlin 语言学习笔记二（编码样式）

参考官方文档&#xff1a;https://developer.android.google.cn/kotlin/style-guide?hlzh-cn#whitespace 1、源文件命名 所有源文件都必须编码为 UTF-8。如果源文件只包含一个顶级类&#xff0c;则文件名应为该类的名称&#xff08;区分大小写&#xff09;加上 .kt 扩展名。…...

编程日记 2025/6/5 17:45:41

Redisson单机模式

redisson调用unlock的过程 Redisson 是一个基于 Redis 的 Java 驻内存数据网格&#xff08;In-Memory Data Grid&#xff09;框架&#xff0c;提供了分布式和可扩展的数据结构和服务。Redisson 的 unlock 方法用于释放锁。下面是 unlock 方法的调用过程&#xff1a; 获取锁的状…...

编程日记 2025/6/5 16:02:44

数据结构第6章 图（竟成）

第 6 章 图 【考纲内容】 1.图的基本概念 2.图的存储及基本操作&#xff1a;(1) 邻接矩阵法&#xff1b;(2) 邻接表法&#xff1b;(3) 邻接多重表、十字链表 3.图的遍历&#xff1a;(1) 深度优先搜索&#xff1b;(2) 广度优先搜索 4.图的基本应用&#xff1a;(1) 最小 (代价) 生…...

编程日记 2025/6/6 1:09:28

机器人现可完全破解验证码：未来安全技术何去何从？

引言 随着计算机视觉技术的飞速发展&#xff0c;机器学习模型现已能够100%可靠地解决Google的视觉reCAPTCHAv2验证码。这标志着一个时代的结束——自2000年代初以来&#xff0c;CAPTCHA&#xff08;"全自动区分计算机与人类的图灵测试"的缩写&#xff09;一直是区分…...

编程日记 2025/6/5 16:57:54

CppCon 2014 学习:(Costless)Software Abstractions for Parallel Architectures

硬件和科学计算的演变关系&#xff1a; 几十年来的硬件进步&#xff1a;计算机硬件不断快速发展&#xff0c;从提升单核速度&#xff0c;到多核并行。科学计算的驱动力&#xff1a;科学计算需求推动硬件创新&#xff0c;比如需要更多计算能力、更高性能。当前的解决方案是并行…...

编程日记 2025/6/5 12:21:33

网络爬虫 - App爬虫及代理的使用（十一）

App爬虫及代理的使用 一、App抓包1. App爬虫原理2. reqable的安装与配置1. reqable安装教程2. reqable的配置3. 模拟器的安装与配置1. 夜神模拟器的安装2. 夜神模拟器的配置4. 内联调试及注意事项1. 软件启动顺序2. 开启抓包功能3. reqable面板功能4. 夜神模拟器设置项5. 注意事…...

编程日记 2025/6/5 23:02:27

Kafka集群部署（docker容器方式）SASL认证（zookeeper)

一、服务器环境 序号 部署版本 版本 1 操作系统 CentOS Linux release 7.9.2009 (Core) 2 docker Docker version 20.10.6 3 docker-compose docker-compose version 1.28.2 二、服务规划 序号 服务 名称 端口 1 zookeeper zookeeper 2181,2888,3888 2 ka…...

编程日记 2025/6/5 22:16:55