当前位置： 首页 > news >正文

Langchain CharacterTextSplitter无法分割文档问题

news 2026/2/10 3:24:23

在使用Langchain的文档分割器时，使用CharacterTextSplitter拆分文档是，发现返回的文档根本没有变化，即使设置了chunk_size，返回的大小也不符合参数设置。
在这里插入图片描述
CharacterTextSplitter设置了150，但是根本没有处理，长度减少单纯是因为去掉了一些开头和末尾的空格。

点进CharacterTextSplitter看一看，只重写了split_text方法。
在这里插入图片描述
再点进去TextSplitter看一眼

首先是把文档拆开，内容单词放在列表里，是一个存放字符串的列表。
在这里插入图片描述
然后使用create_documents来处理拆分工作。
在这里插入图片描述
这里使用了CharacterTextSplitter内重写的拆分方法，我们看一看他是怎么拆分的
在这里插入图片描述
就是根据选择的拆分字符，拆分成小块后，然后组合到chunk_size那么大，所以如果一开始的拆分就比chunk_size大，那这个拆分根本就不会起作用！

我的建议是使用RecursiveCharacterTextSplitter，可以正确地拆分较大的文档，拆分成预先定义的大小以及重合方式。
在这里插入图片描述

相关文章：

Langchain CharacterTextSplitter无法分割文档问题

在使用Langchain的文档分割器时，使用CharacterTextSplitter拆分文档是，发现返回的文档根本没有变化，即使设置了chunk_size，返回的大小也不符合参数设置。 CharacterTextSplitter设置了150，但是根本没有处理&#xff0…...

编程日记 2024/10/16 9:01:36

ros service不走是为什么

在ROS（Robot Operating System）中，如果ROS服务（Service）没有正常工作，可能有多种原因。你可以检查以下几点来排查问题： 服务是否正确启动 首先，确保服务节点已经启动并注册了相应的…...

编程日记 2024/10/16 9:00:35

量子计算机的原理与物理实现

量子计算机的原理与物理实现很复杂 指导性原则 首先思考制备一台量子计算机需要些什么？ 需要量子比特——二能级量子系统。除了量子计算机需要满足一些物理特性，它还必须要把量子比特绘制到某种初态上，以及测量系统的输出态。 而实验上的挑战…...

编程日记 2024/10/16 8:59:34

SQL Server 常用关键词语法汇总

一、函数 1.1 CAST CAST ( expression AS data_type [ ( length ) ] )expression: 这是你想要转换的数据或表达式。data_type: 目标数据类型，比如 INT, VARCHAR, DATE 等等。(length): 对于某些数据类型（如 CHAR, VARCHAR, BINARY, VARBINARY&#xff…...

编程日记 2024/10/16 8:58:33

软件测试工程师面试整理 —— 操作系统与网络基础！

在软件测试中，了解操作系统和网络基础知识对于有效地进行测试工作至关重要。无论是在配置测试环境、调试网络问题，还是在进行性能测试和安全测试时，这些知识都是不可或缺的。 1. 操作系统基础 操作系统（Operating System, OS&am…...

编程日记 2024/10/16 8:57:32

网络安全防御策略：通过限制IP访问提升服务器安全性

标题：网络安全防御策略：通过限制IP访问提升服务器安全性 摘要： 在网络安全领域，服务器被入侵是一场严重的事故。一旦发生这种情况，除了立即采取措施恢复系统外，还需要加强后续的安全防护措施。本文将探讨为…...

编程日记 2024/10/16 8:56:29

Multiprocessing出错没有提示was skipped without notice in python

这个问题可以通过打印返回结果解决。 解决方法 比如 Pool.apply_async(csdnKuangXiaoHU, args=(p, DestFile))改成 Result = Pool.apply_async(csdnKuangXiaoHU, args=...

编程日记 2024/10/16 8:55:28

调整应用窗口透明度

朋友问我有没有软件透明得，一开始没理解，他给我发一个，我一看原来时调整窗口透明度得，想着python应该也可以实现，就写了一个。 效果图如下： 源码如下： import sys import ctypes from PySid…...

编程日记 2024/10/16 8:53:23

启智畅想集装箱号码智能识别原理，OCR识别应用

集装箱号码用途： 集装箱号码在填写托运单时是必填项，用于标识和跟踪货物运输过程中的集装箱。它有助于海关管理和物流跟踪，确保货物能够顺利通过海关检查并按时送达目的地。 集装箱号码智能识别原理： 在深入探讨集装箱号码OCR&…...

编程日记 2024/10/16 8:52:21

React基础知识

说明：react版本为 18.3.1 React是什么 React由Meta公司研发，是一个用于构建Web和原生交互界面的库。（开发基于浏览器的web应用和基于mac和android的移动应用）React的优势 1.相较于传统基于DOM开发的优势：组件化的开…...

编程日记 2024/10/16 8:49:18

Java基础：面向对象编程3

1 Java可变长参数 1.1 概述 Java 的可变长参数（Varargs）是在 Java 1.5 中引入的功能，允许方法接受任意数量的相同类型的参数。可变参数的语法是在参数类型后面加上三个点（...），例如 int... numbers。 1.…...

编程日记 2024/10/16 8:47:16

实验kubernetes的CPU绑定策略

CPU 管理配置 CPU 管理策略通过 kubelet 参数 --cpu-manager-policy 或 KubeletConfiguration 中的 cpuManagerPolicy 字段来指定。 支持两种策略： none：默认策略。static：允许为节点上具有某些资源特征的 Pod 赋予增强的 CPU 亲和性和独占…...

编程日记 2024/10/16 8:46:14

Zsh 安装与配置

目录 1 环境配置 1.1 基本工具安装 1.2 安装 oh-my-zsh 1.3 从.bashrc中迁移配置（可选） 2 主题配置 2.1 内置主题 2.2 自定义主题 2.2.1 推荐主题 3 插件安装 3.1 推荐插件 3.1.1 zsh -autosuggestions 3.1.2 zsh-syntax-highlighting 3.2 启…...

编程日记 2024/10/16 8:45:13

Redis可视化工具Redis Desktop Manager（附安装包）

前言 redis工具，我相信每个开发都需要，如果每次查都去client执行指令，我怕查完之后，老大就要发版咯。我之前一直用的Redis可视化工具RedisDesktopManager，总觉得差点意思，直到同事推荐了个新的&#xff0c…...

编程日记 2024/10/16 8:44:11

sql server删除过期备份文件脚本

一、通过脚本查看过期文件，时间可以自己设定 for /f "delims" %i in (dir /b /a-d "E:\mybak_file\*.bak" ^| findstr /i "backup" ^| findstr /v /i "no_backup") do if "%~ti" LSS "2024/09/29 16:50&qu…...

编程日记 2024/10/16 8:42:09

【Docker系列】Docker查看镜像架构

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...

编程日记 2024/10/16 8:41:08

Python案例 | 测试网络的下载速度上传速度和 ping 延迟

使用了 speedtest 库来测试网络的下载速度上传速度和 ping 延迟 注意，这里需要先卸载speedtest，再安装speedtest-cli pip uninstall speedtest pip install speedtest-cli其次运行代码： # 使用了 speedtest 库来测试网络的下载速度上传速度…...

编程日记 2024/10/16 8:38:05

一键找回，2024四大固态硬盘数据恢复工具推荐！

虽然固态硬盘（SSD）因其读写速度快、功耗低等特点受到广泛欢迎，但它并非无懈可击，数据丢失的问题依然存在。如果你也遇到了固态硬盘数据丢失的问题，那么一下的这几款软件可以一试！ 福昕数据恢复 直达链接&…...

编程日记 2024/10/16 8:37:03

数据结构~AVL树

文章目录 一、AVL树的概念二、AVL树的定义三、AVL树的插入四、AVL树的平衡五、AVL树的验证六、AVL树的删除七、完整代码八、总结 一、AVL树的概念 AVL树是最先发明的自平衡二叉查找树，AVL是⼀颗空树，或者具备下列性质的二叉搜索树：它的左右子…...

编程日记 2024/10/16 8:36:01

ffmpeg面向对象——rtsp拉流探索（1）

目录 0.avformat_open_input的rtsp流程程纯净版1.rtsp拉流流程图2.rtsp拉流对象图 标准rtsp协议的基石是tcp，本节探索下ffmpeg的rtsp拉流协议tcp的创建及rtsp协商过程。 0.avformat_open_input的rtsp流程程纯净版 ffmpeg拉流，从avformat_open_input接口…...

编程日记 2024/10/16 8:35:00

多模态2025：技术路线“神仙打架”，视频生成冲上云霄

文｜魏琳华 编｜王一粟 一场大会，聚集了中国多模态大模型的“半壁江山”。 智源大会2025为期两天的论坛中，汇集了学界、创业公司和大厂等三方的热门选手，关于多模态的集中讨论达到了前所未有的热度。其中，…...

编程新知 2026/2/8 20:43:00

vscode（仍待补充）

写于2025 6.9 主包将加入vscode这个更权威的圈子 vscode的基本使用 侧边栏 vscode还能连接ssh？ debug时使用的launch文件 1.task.json {"tasks": [{"type": "cppbuild","label": "C/C: gcc.exe 生成活动文件"…...

编程新知 2026/1/24 13:04:10

Nginx server_name 配置说明

Nginx 是一个高性能的反向代理和负载均衡服务器，其核心配置之一是 server 块中的 server_name 指令。server_name 决定了 Nginx 如何根据客户端请求的 Host 头匹配对应的虚拟主机（Virtual Host）。 1. 简介 Nginx 使用 server_name 指令来确定…...

编程新知 2025/9/6 16:47:17

【HTTP三个基础问题】

面试官您好！HTTP是超文本传输协议，是互联网上客户端和服务器之间传输超文本数据（比如文字、图片、音频、视频等）的核心协议，当前互联网应用最广泛的版本是HTTP1.1，它基于经典的C/S模型，也就是客…...

编程新知 2025/12/10 6:18:55

网络编程（UDP编程）

思维导图 UDP基础编程（单播） 1.流程图 服务器：短信的接收方 创建套接字 (socket)-----------------------------------------》有手机指定网络信息-----------------------------------------------》有号码绑定套接字 (bind)--------------…...

编程新知 2026/2/4 17:31:44

如何理解 IP 数据报中的 TTL？

目录 前言理解 前言 面试灵魂一问：说说对 IP 数据报中 TTL 的理解？我们都知道，IP 数据报由首部和数据两部分组成，首部又分为两部分：固定部分和可变部分，共占 20 字节，而即将讨论的 TTL 就位于首…...

编程新知 2026/2/4 18:09:49

技术栈RabbitMq的介绍和使用

目录 1. 什么是消息队列？2. 消息队列的优点3. RabbitMQ 消息队列概述4. RabbitMQ 安装5. Exchange 四种类型5.1 direct 精准匹配5.2 fanout 广播5.3 topic 正则匹配 6. RabbitMQ 队列模式6.1 简单队列模式6.2 工作队列模式6.3 发布/订阅模式6.4 路由模式6.5 主题模式…...

编程新知 2026/1/23 10:10:53

【7色560页】职场可视化逻辑图高级数据分析PPT模版

7种色调职场工作汇报PPT，橙蓝、黑红、红蓝、蓝橙灰、浅蓝、浅绿、深蓝七种色调模版 【7色560页】职场可视化逻辑图高级数据分析PPT模版：职场可视化逻辑图分析PPT模版https://pan.quark.cn/s/78aeabbd92d1...

编程新知 2026/1/23 12:22:14

智能AI电话机器人系统的识别能力现状与发展水平

一、引言 随着人工智能技术的飞速发展，AI电话机器人系统已经从简单的自动应答工具演变为具备复杂交互能力的智能助手。这类系统结合了语音识别、自然语言处理、情感计算和机器学习等多项前沿技术，在客户服务、营销推广、信息查询等领域发挥着越来越重要…...

编程新知 2025/6/11 3:05:02

【C++特殊工具与技术】优化内存分配(一)：C++中的内存分配

目录 一、C 内存的基本概念​ 1.1 内存的物理与逻辑结构​ 1.2 C 程序的内存区域划分​ 二、栈内存分配​ 2.1 栈内存的特点​ 2.2 栈内存分配示例​ 三、堆内存分配​ 3.1 new和delete操作符​ 4.2 内存泄漏与悬空指针问题​ 4.3 new和delete的重载​ 四、智能指针…...

编程新知 2026/1/31 6:12:22