当前位置： 首页 > news >正文

Langchain CharacterTextSplitter无法分割文档问题

news 文章来源：https://blog.csdn.net/huoshanshaohui/article/details/142964609 2025/5/1 3:33:50

在使用Langchain的文档分割器时，使用CharacterTextSplitter拆分文档是，发现返回的文档根本没有变化，即使设置了chunk_size，返回的大小也不符合参数设置。
在这里插入图片描述
CharacterTextSplitter设置了150，但是根本没有处理，长度减少单纯是因为去掉了一些开头和末尾的空格。

点进CharacterTextSplitter看一看，只重写了split_text方法。
在这里插入图片描述
再点进去TextSplitter看一眼

首先是把文档拆开，内容单词放在列表里，是一个存放字符串的列表。
在这里插入图片描述
然后使用create_documents来处理拆分工作。
在这里插入图片描述
这里使用了CharacterTextSplitter内重写的拆分方法，我们看一看他是怎么拆分的
在这里插入图片描述
就是根据选择的拆分字符，拆分成小块后，然后组合到chunk_size那么大，所以如果一开始的拆分就比chunk_size大，那这个拆分根本就不会起作用！

我的建议是使用RecursiveCharacterTextSplitter，可以正确地拆分较大的文档，拆分成预先定义的大小以及重合方式。
在这里插入图片描述

相关文章：

Langchain CharacterTextSplitter无法分割文档问题

在使用Langchain的文档分割器时，使用CharacterTextSplitter拆分文档是，发现返回的文档根本没有变化，即使设置了chunk_size，返回的大小也不符合参数设置。 CharacterTextSplitter设置了150，但是根本没有处理&#xff0…...

编程日记 2024/10/16 9:01:36

ros service不走是为什么

在ROS（Robot Operating System）中，如果ROS服务（Service）没有正常工作，可能有多种原因。你可以检查以下几点来排查问题： 服务是否正确启动 首先，确保服务节点已经启动并注册了相应的…...

编程日记 2024/10/16 9:00:35

量子计算机的原理与物理实现

量子计算机的原理与物理实现很复杂 指导性原则 首先思考制备一台量子计算机需要些什么？ 需要量子比特——二能级量子系统。除了量子计算机需要满足一些物理特性，它还必须要把量子比特绘制到某种初态上，以及测量系统的输出态。 而实验上的挑战…...

编程日记 2024/10/16 8:59:34

SQL Server 常用关键词语法汇总

一、函数 1.1 CAST CAST ( expression AS data_type [ ( length ) ] )expression: 这是你想要转换的数据或表达式。data_type: 目标数据类型，比如 INT, VARCHAR, DATE 等等。(length): 对于某些数据类型（如 CHAR, VARCHAR, BINARY, VARBINARY&#xff…...

编程日记 2024/10/16 8:58:33

软件测试工程师面试整理 —— 操作系统与网络基础！

在软件测试中，了解操作系统和网络基础知识对于有效地进行测试工作至关重要。无论是在配置测试环境、调试网络问题，还是在进行性能测试和安全测试时，这些知识都是不可或缺的。 1. 操作系统基础 操作系统（Operating System, OS&am…...

编程日记 2024/10/16 8:57:32

网络安全防御策略：通过限制IP访问提升服务器安全性

标题：网络安全防御策略：通过限制IP访问提升服务器安全性 摘要： 在网络安全领域，服务器被入侵是一场严重的事故。一旦发生这种情况，除了立即采取措施恢复系统外，还需要加强后续的安全防护措施。本文将探讨为…...

编程日记 2024/10/16 8:56:29

Multiprocessing出错没有提示was skipped without notice in python

这个问题可以通过打印返回结果解决。 解决方法 比如 Pool.apply_async(csdnKuangXiaoHU, args=(p, DestFile))改成 Result = Pool.apply_async(csdnKuangXiaoHU, args=...

编程日记 2024/10/16 8:55:28

调整应用窗口透明度

朋友问我有没有软件透明得，一开始没理解，他给我发一个，我一看原来时调整窗口透明度得，想着python应该也可以实现，就写了一个。 效果图如下： 源码如下： import sys import ctypes from PySid…...

编程日记 2024/10/16 8:53:23

启智畅想集装箱号码智能识别原理，OCR识别应用

集装箱号码用途： 集装箱号码在填写托运单时是必填项，用于标识和跟踪货物运输过程中的集装箱。它有助于海关管理和物流跟踪，确保货物能够顺利通过海关检查并按时送达目的地。 集装箱号码智能识别原理： 在深入探讨集装箱号码OCR&…...

编程日记 2024/10/16 8:52:21

React基础知识

说明：react版本为 18.3.1 React是什么 React由Meta公司研发，是一个用于构建Web和原生交互界面的库。（开发基于浏览器的web应用和基于mac和android的移动应用）React的优势 1.相较于传统基于DOM开发的优势：组件化的开…...

编程日记 2024/10/16 8:49:18

Java基础：面向对象编程3

1 Java可变长参数 1.1 概述 Java 的可变长参数（Varargs）是在 Java 1.5 中引入的功能，允许方法接受任意数量的相同类型的参数。可变参数的语法是在参数类型后面加上三个点（...），例如 int... numbers。 1.…...

编程日记 2024/10/16 8:47:16

实验kubernetes的CPU绑定策略

CPU 管理配置 CPU 管理策略通过 kubelet 参数 --cpu-manager-policy 或 KubeletConfiguration 中的 cpuManagerPolicy 字段来指定。 支持两种策略： none：默认策略。static：允许为节点上具有某些资源特征的 Pod 赋予增强的 CPU 亲和性和独占…...

编程日记 2024/10/16 8:46:14

Zsh 安装与配置

目录 1 环境配置 1.1 基本工具安装 1.2 安装 oh-my-zsh 1.3 从.bashrc中迁移配置（可选） 2 主题配置 2.1 内置主题 2.2 自定义主题 2.2.1 推荐主题 3 插件安装 3.1 推荐插件 3.1.1 zsh -autosuggestions 3.1.2 zsh-syntax-highlighting 3.2 启…...

编程日记 2024/10/16 8:45:13

Redis可视化工具Redis Desktop Manager（附安装包）

前言 redis工具，我相信每个开发都需要，如果每次查都去client执行指令，我怕查完之后，老大就要发版咯。我之前一直用的Redis可视化工具RedisDesktopManager，总觉得差点意思，直到同事推荐了个新的&#xff0c…...

编程日记 2024/10/16 8:44:11

sql server删除过期备份文件脚本

一、通过脚本查看过期文件，时间可以自己设定 for /f "delims" %i in (dir /b /a-d "E:\mybak_file\*.bak" ^| findstr /i "backup" ^| findstr /v /i "no_backup") do if "%~ti" LSS "2024/09/29 16:50&qu…...

编程日记 2024/10/16 8:42:09

【Docker系列】Docker查看镜像架构

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...

编程日记 2024/10/16 8:41:08

Python案例 | 测试网络的下载速度上传速度和 ping 延迟

使用了 speedtest 库来测试网络的下载速度上传速度和 ping 延迟 注意，这里需要先卸载speedtest，再安装speedtest-cli pip uninstall speedtest pip install speedtest-cli其次运行代码： # 使用了 speedtest 库来测试网络的下载速度上传速度…...

编程日记 2024/10/16 8:38:05

一键找回，2024四大固态硬盘数据恢复工具推荐！

虽然固态硬盘（SSD）因其读写速度快、功耗低等特点受到广泛欢迎，但它并非无懈可击，数据丢失的问题依然存在。如果你也遇到了固态硬盘数据丢失的问题，那么一下的这几款软件可以一试！ 福昕数据恢复 直达链接&…...

编程日记 2024/10/16 8:37:03

数据结构~AVL树

文章目录 一、AVL树的概念二、AVL树的定义三、AVL树的插入四、AVL树的平衡五、AVL树的验证六、AVL树的删除七、完整代码八、总结 一、AVL树的概念 AVL树是最先发明的自平衡二叉查找树，AVL是⼀颗空树，或者具备下列性质的二叉搜索树：它的左右子…...

编程日记 2024/10/16 8:36:01

ffmpeg面向对象——rtsp拉流探索（1）

目录 0.avformat_open_input的rtsp流程程纯净版1.rtsp拉流流程图2.rtsp拉流对象图 标准rtsp协议的基石是tcp，本节探索下ffmpeg的rtsp拉流协议tcp的创建及rtsp协商过程。 0.avformat_open_input的rtsp流程程纯净版 ffmpeg拉流，从avformat_open_input接口…...

编程日记 2024/10/16 8:35:00

【启明智显分享】ZX7981PM WIFI6 5G-CPE：2.5G WAN口，2.4G/5G双频段自动调速

昨天，我们向大家展现了ZX7981PG WIFI6 5G-CPE，它强大的性能也引起了一波关注，与此同时，我们了解到部分用户对更高容量与更高速网口的需求。没关系！启明智显早就预料到了！ZX7981PM满足你的需求！ …...

编程日记 2024/10/16 8:33:59

openresty“热部署“lua

一、前言 频繁reload 或者restart影响测试使用nginx，修改lua脚本后要实际查看效果值，使用关闭lua代码缓存，可以实现实时查看代码效果。 每次请求都会从磁盘中加载lua脚本，生产上面不要开启，影响响应速度 二、修改ngin…...

编程日记 2024/10/16 8:32:56

基于SpringBoot+Vue+MySQL的企业招聘管理系统

系统展示 用户前台界面 管理员后台界面 企业后台界面 系统背景 在当今数字化转型的大潮中，企业对于高效、智能化的人力资源管理系统的需求日益增长。招聘作为人力资源管理的首要环节，其效率与效果直接影响到企业的人才储备与竞争力。传统的招聘方式不仅耗…...

编程日记 2024/10/16 8:31:54

vue3之defineComponent

defineComponent 是 Vue 3 中提供的一个辅助函数，用于定义组件。它可以帮助你更好地利用 TypeScript 的类型推断和 IDE 的自动补全功能。defineComponent 主要用于组合式 API（Composition API）和单文件组件（SFC）。 使…...

编程日记 2024/10/16 8:28:52

springboot+vue家政服务管理平台

作者：计算机学长阿伟 开发技术：SpringBoot、SSM、Vue、MySQL、ElementUI等，“文末源码”。 系统展示 【2024最新】基于JavaSpringBootVueMySQL的，前后端分离。 开发语言：Java数据库：MySQL技术：…...

编程日记 2024/10/16 8:23:39

python pip安装requirements.txt依赖与国内镜像

python pip安装requirements.txt依赖与国内镜像 如果网络通畅，直接pip安装依赖： pip install -r requirements.txt 如果需要国内的镜像，可以考虑使用阿里的，在后面加上： -i http://mirrors.aliyun.com/pypi/simple --…...

编程日记 2024/10/16 8:22:38

解决Qt的QWidget设计师编辑UI后和软件运行显示不一致

解决方法，只需要在main.cpp中加入下面一段代码 if (QT_VERSION > QT_VERSION_CHECK(5, 6, 0))QCoreApplication::setAttribute(Qt::AA_EnableHighDpiScaling,true); 完整的代码如下 int main(int argc, char *argv[]) { if (QT_VERSION > QT_VERSION_C…...

编程日记 2024/10/16 8:21:37

交易所开发：构建安全、高效、可靠的数字资产交易平台

数字资产交易平台是加密市场中连接用户与数字货币的重要枢纽。开发一个安全、高效、可靠的交易所，不仅需要综合考虑技术架构、安全策略、用户体验等方面，还需严格遵循法规要求以确保合规性。本文总结了交易所开发的关键要素，包括其类型、核心…...

编程日记 2024/10/16 8:20:34

【Next.js 入门教程系列】09-优化技巧

原文链接 CSDN 的排版/样式可能有问题，去我的博客查看原文系列吧，觉得有用的话， 给我的库点个star，关注一下吧 上一篇【Next.js 入门教程系列】08-发送邮件 优化技巧 本篇包括以下内容: Optimizing imagesUsing third-party JS…...

编程日记 2024/10/16 8:18:32

Windows 11 开发详解：工具与高级用法

1. 引言 Windows 11 是微软最新的操作系统，它不仅带来了全新的用户界面和设计理念，还为开发者提供了强大的开发工具和平台支持。在过去的几年中，开发工具和技术栈发生了巨大的变化，Windows 11 通过其集成的开发环境、虚拟化技术、…...

编程日记 2024/10/16 8:17:31