当前位置： 首页 > news >正文

Langchain CharacterTextSplitter无法分割文档问题

news 2026/2/10 6:14:50

在使用Langchain的文档分割器时，使用CharacterTextSplitter拆分文档是，发现返回的文档根本没有变化，即使设置了chunk_size，返回的大小也不符合参数设置。
在这里插入图片描述
CharacterTextSplitter设置了150，但是根本没有处理，长度减少单纯是因为去掉了一些开头和末尾的空格。

点进CharacterTextSplitter看一看，只重写了split_text方法。
在这里插入图片描述
再点进去TextSplitter看一眼

首先是把文档拆开，内容单词放在列表里，是一个存放字符串的列表。
在这里插入图片描述
然后使用create_documents来处理拆分工作。
在这里插入图片描述
这里使用了CharacterTextSplitter内重写的拆分方法，我们看一看他是怎么拆分的
在这里插入图片描述
就是根据选择的拆分字符，拆分成小块后，然后组合到chunk_size那么大，所以如果一开始的拆分就比chunk_size大，那这个拆分根本就不会起作用！

我的建议是使用RecursiveCharacterTextSplitter，可以正确地拆分较大的文档，拆分成预先定义的大小以及重合方式。
在这里插入图片描述

相关文章：

Langchain CharacterTextSplitter无法分割文档问题

在使用Langchain的文档分割器时，使用CharacterTextSplitter拆分文档是，发现返回的文档根本没有变化，即使设置了chunk_size，返回的大小也不符合参数设置。 CharacterTextSplitter设置了150，但是根本没有处理&#xff0…...

编程日记 2024/10/16 9:01:36

ros service不走是为什么

在ROS（Robot Operating System）中，如果ROS服务（Service）没有正常工作，可能有多种原因。你可以检查以下几点来排查问题： 服务是否正确启动 首先，确保服务节点已经启动并注册了相应的…...

编程日记 2024/10/16 9:00:35

量子计算机的原理与物理实现

量子计算机的原理与物理实现很复杂 指导性原则 首先思考制备一台量子计算机需要些什么？ 需要量子比特——二能级量子系统。除了量子计算机需要满足一些物理特性，它还必须要把量子比特绘制到某种初态上，以及测量系统的输出态。 而实验上的挑战…...

编程日记 2024/10/16 8:59:34

SQL Server 常用关键词语法汇总

一、函数 1.1 CAST CAST ( expression AS data_type [ ( length ) ] )expression: 这是你想要转换的数据或表达式。data_type: 目标数据类型，比如 INT, VARCHAR, DATE 等等。(length): 对于某些数据类型（如 CHAR, VARCHAR, BINARY, VARBINARY&#xff…...

编程日记 2024/10/16 8:58:33

软件测试工程师面试整理 —— 操作系统与网络基础！

在软件测试中，了解操作系统和网络基础知识对于有效地进行测试工作至关重要。无论是在配置测试环境、调试网络问题，还是在进行性能测试和安全测试时，这些知识都是不可或缺的。 1. 操作系统基础 操作系统（Operating System, OS&am…...

编程日记 2024/10/16 8:57:32

网络安全防御策略：通过限制IP访问提升服务器安全性

标题：网络安全防御策略：通过限制IP访问提升服务器安全性 摘要： 在网络安全领域，服务器被入侵是一场严重的事故。一旦发生这种情况，除了立即采取措施恢复系统外，还需要加强后续的安全防护措施。本文将探讨为…...

编程日记 2024/10/16 8:56:29

Multiprocessing出错没有提示was skipped without notice in python

这个问题可以通过打印返回结果解决。 解决方法 比如 Pool.apply_async(csdnKuangXiaoHU, args=(p, DestFile))改成 Result = Pool.apply_async(csdnKuangXiaoHU, args=...

编程日记 2024/10/16 8:55:28

调整应用窗口透明度

朋友问我有没有软件透明得，一开始没理解，他给我发一个，我一看原来时调整窗口透明度得，想着python应该也可以实现，就写了一个。 效果图如下： 源码如下： import sys import ctypes from PySid…...

编程日记 2024/10/16 8:53:23

启智畅想集装箱号码智能识别原理，OCR识别应用

集装箱号码用途： 集装箱号码在填写托运单时是必填项，用于标识和跟踪货物运输过程中的集装箱。它有助于海关管理和物流跟踪，确保货物能够顺利通过海关检查并按时送达目的地。 集装箱号码智能识别原理： 在深入探讨集装箱号码OCR&…...

编程日记 2024/10/16 8:52:21

React基础知识

说明：react版本为 18.3.1 React是什么 React由Meta公司研发，是一个用于构建Web和原生交互界面的库。（开发基于浏览器的web应用和基于mac和android的移动应用）React的优势 1.相较于传统基于DOM开发的优势：组件化的开…...

编程日记 2024/10/16 8:49:18

Java基础：面向对象编程3

1 Java可变长参数 1.1 概述 Java 的可变长参数（Varargs）是在 Java 1.5 中引入的功能，允许方法接受任意数量的相同类型的参数。可变参数的语法是在参数类型后面加上三个点（...），例如 int... numbers。 1.…...

编程日记 2024/10/16 8:47:16

实验kubernetes的CPU绑定策略

CPU 管理配置 CPU 管理策略通过 kubelet 参数 --cpu-manager-policy 或 KubeletConfiguration 中的 cpuManagerPolicy 字段来指定。 支持两种策略： none：默认策略。static：允许为节点上具有某些资源特征的 Pod 赋予增强的 CPU 亲和性和独占…...

编程日记 2024/10/16 8:46:14

Zsh 安装与配置

目录 1 环境配置 1.1 基本工具安装 1.2 安装 oh-my-zsh 1.3 从.bashrc中迁移配置（可选） 2 主题配置 2.1 内置主题 2.2 自定义主题 2.2.1 推荐主题 3 插件安装 3.1 推荐插件 3.1.1 zsh -autosuggestions 3.1.2 zsh-syntax-highlighting 3.2 启…...

编程日记 2024/10/16 8:45:13

Redis可视化工具Redis Desktop Manager（附安装包）

前言 redis工具，我相信每个开发都需要，如果每次查都去client执行指令，我怕查完之后，老大就要发版咯。我之前一直用的Redis可视化工具RedisDesktopManager，总觉得差点意思，直到同事推荐了个新的&#xff0c…...

编程日记 2024/10/16 8:44:11

sql server删除过期备份文件脚本

一、通过脚本查看过期文件，时间可以自己设定 for /f "delims" %i in (dir /b /a-d "E:\mybak_file\*.bak" ^| findstr /i "backup" ^| findstr /v /i "no_backup") do if "%~ti" LSS "2024/09/29 16:50&qu…...

编程日记 2024/10/16 8:42:09

【Docker系列】Docker查看镜像架构

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...

编程日记 2024/10/16 8:41:08

Python案例 | 测试网络的下载速度上传速度和 ping 延迟

使用了 speedtest 库来测试网络的下载速度上传速度和 ping 延迟 注意，这里需要先卸载speedtest，再安装speedtest-cli pip uninstall speedtest pip install speedtest-cli其次运行代码： # 使用了 speedtest 库来测试网络的下载速度上传速度…...

编程日记 2024/10/16 8:38:05

一键找回，2024四大固态硬盘数据恢复工具推荐！

虽然固态硬盘（SSD）因其读写速度快、功耗低等特点受到广泛欢迎，但它并非无懈可击，数据丢失的问题依然存在。如果你也遇到了固态硬盘数据丢失的问题，那么一下的这几款软件可以一试！ 福昕数据恢复 直达链接&…...

编程日记 2024/10/16 8:37:03

数据结构~AVL树

文章目录 一、AVL树的概念二、AVL树的定义三、AVL树的插入四、AVL树的平衡五、AVL树的验证六、AVL树的删除七、完整代码八、总结 一、AVL树的概念 AVL树是最先发明的自平衡二叉查找树，AVL是⼀颗空树，或者具备下列性质的二叉搜索树：它的左右子…...

编程日记 2024/10/16 8:36:01

ffmpeg面向对象——rtsp拉流探索（1）

目录 0.avformat_open_input的rtsp流程程纯净版1.rtsp拉流流程图2.rtsp拉流对象图 标准rtsp协议的基石是tcp，本节探索下ffmpeg的rtsp拉流协议tcp的创建及rtsp协商过程。 0.avformat_open_input的rtsp流程程纯净版 ffmpeg拉流，从avformat_open_input接口…...

编程日记 2024/10/16 8:35:00

【网络】每天掌握一个Linux命令 - iftop

在Linux系统中，iftop是网络管理的得力助手，能实时监控网络流量、连接情况等，帮助排查网络异常。接下来从多方面详细介绍它。 目录 【网络】每天掌握一个Linux命令 - iftop工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景…...

编程新知 2025/10/10 17:03:53

使用分级同态加密防御梯度泄漏

抽象 联邦学习 （FL） 支持跨分布式客户端进行协作模型训练，而无需共享原始数据，这使其成为在互联和自动驾驶汽车 （CAV） 等领域保护隐私的机器学习的一种很有前途的方法。然而，最近的研究表明&…...

编程新知 2026/1/24 6:22:43

【网络安全产品大调研系列】2. 体验漏洞扫描

前言 2023 年漏洞扫描服务市场规模预计为 3.06（十亿美元）。漏洞扫描服务市场行业预计将从 2024 年的 3.48（十亿美元）增长到 2032 年的 9.54（十亿美元）。预测期内漏洞扫描服务市场 CAGR（增长率&…...

编程新知 2026/2/4 12:43:08

YSYX学习记录（八）

C语言&#xff0c;练习0&#xff1a; 先创建一个文件夹&#xff0c;我用的是物理机&#xff1a; 安装build-essential 练习1&#xff1a; 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件&#xff0c;随机修改或删除一部分&#xff0c;之后…...

编程新知 2026/1/24 14:31:01

[ICLR 2022]How Much Can CLIP Benefit Vision-and-Language Tasks?

论文网址&#xff1a;pdf 英文是纯手打的&#xff01;论文原文的summarizing and paraphrasing。可能会出现难以避免的拼写错误和语法错误&#xff0c;若有发现欢迎评论指正&#xff01;文章偏向于笔记&#xff0c;谨慎食用 目录 1. 心得 2. 论文逐段精读 2.1. Abstract 2…...

编程新知 2026/2/6 14:42:11

ip子接口配置及删除

配置永久生效的子接口&#xff0c;2个IP 都可以登录你这一台服务器。重启不失效。 永久的 [应用] vi /etc/sysconfig/network-scripts/ifcfg-eth0修改文件内内容 TYPE"Ethernet" BOOTPROTO"none" NAME"eth0" DEVICE"eth0" ONBOOT&q…...

编程新知 2025/10/26 5:04:25

LeetCode - 199. 二叉树的右视图

题目 199. 二叉树的右视图 - 力扣&#xff08;LeetCode&#xff09; 思路 右视图是指从树的右侧看&#xff0c;对于每一层&#xff0c;只能看到该层最右边的节点。实现思路是&#xff1a; 使用深度优先搜索(DFS)按照"根-右-左"的顺序遍历树记录每个节点的深度对于…...

编程新知 2025/9/13 20:07:18

R语言速释制剂QBD解决方案之三

本文是《Quality by Design for ANDAs: An Example for Immediate-Release Dosage Forms》第一个处方的R语言解决方案。 第一个处方研究评估原料药粒径分布、MCC/Lactose比例、崩解剂用量对制剂CQAs的影响。 第二处方研究用于理解颗粒外加硬脂酸镁和滑石粉对片剂质量和可生产…...

编程新知 2026/2/9 2:43:24

【分享】推荐一些办公小工具

1、PDF 在线转换 https://smallpdf.com/cn/pdf-tools 推荐理由&#xff1a;大部分的转换软件需要收费&#xff0c;要么功能不齐全&#xff0c;而开会员又用不了几次浪费钱&#xff0c;借用别人的又不安全。 这个网站它不需要登录或下载安装。而且提供的免费功能就能满足日常…...

编程新知 2026/1/25 14:40:59

Python Ovito统计金刚石结构数量

大家好，我是小马老师。 本文介绍python ovito方法统计金刚石结构的方法。 Ovito Identify diamond structure命令可以识别和统计金刚石结构，但是无法直接输出结构的变化情况。 本文使用python调用ovito包的方法，可以持续统计各步的金刚石结构，具体代码如下： from ovito…...

编程新知 2026/1/26 5:39:08