当前位置： 首页 > news >正文

Langchain CharacterTextSplitter无法分割文档问题

news 2026/3/28 7:25:59

在使用Langchain的文档分割器时，使用CharacterTextSplitter拆分文档是，发现返回的文档根本没有变化，即使设置了chunk_size，返回的大小也不符合参数设置。
在这里插入图片描述
CharacterTextSplitter设置了150，但是根本没有处理，长度减少单纯是因为去掉了一些开头和末尾的空格。

点进CharacterTextSplitter看一看，只重写了split_text方法。
在这里插入图片描述
再点进去TextSplitter看一眼

首先是把文档拆开，内容单词放在列表里，是一个存放字符串的列表。
在这里插入图片描述
然后使用create_documents来处理拆分工作。
在这里插入图片描述
这里使用了CharacterTextSplitter内重写的拆分方法，我们看一看他是怎么拆分的
在这里插入图片描述
就是根据选择的拆分字符，拆分成小块后，然后组合到chunk_size那么大，所以如果一开始的拆分就比chunk_size大，那这个拆分根本就不会起作用！

我的建议是使用RecursiveCharacterTextSplitter，可以正确地拆分较大的文档，拆分成预先定义的大小以及重合方式。
在这里插入图片描述

相关文章：

Langchain CharacterTextSplitter无法分割文档问题

在使用Langchain的文档分割器时，使用CharacterTextSplitter拆分文档是，发现返回的文档根本没有变化，即使设置了chunk_size，返回的大小也不符合参数设置。 CharacterTextSplitter设置了150，但是根本没有处理&#xff0…...

编程日记 2024/10/16 9:01:36

ros service不走是为什么

在ROS（Robot Operating System）中，如果ROS服务（Service）没有正常工作，可能有多种原因。你可以检查以下几点来排查问题： 服务是否正确启动 首先，确保服务节点已经启动并注册了相应的…...

编程日记 2024/10/16 9:00:35

量子计算机的原理与物理实现

量子计算机的原理与物理实现很复杂 指导性原则 首先思考制备一台量子计算机需要些什么？ 需要量子比特——二能级量子系统。除了量子计算机需要满足一些物理特性，它还必须要把量子比特绘制到某种初态上，以及测量系统的输出态。 而实验上的挑战…...

编程日记 2024/10/16 8:59:34

SQL Server 常用关键词语法汇总

一、函数 1.1 CAST CAST ( expression AS data_type [ ( length ) ] )expression: 这是你想要转换的数据或表达式。data_type: 目标数据类型，比如 INT, VARCHAR, DATE 等等。(length): 对于某些数据类型（如 CHAR, VARCHAR, BINARY, VARBINARY&#xff…...

编程日记 2024/10/16 8:58:33

软件测试工程师面试整理 —— 操作系统与网络基础！

在软件测试中，了解操作系统和网络基础知识对于有效地进行测试工作至关重要。无论是在配置测试环境、调试网络问题，还是在进行性能测试和安全测试时，这些知识都是不可或缺的。 1. 操作系统基础 操作系统（Operating System, OS&am…...

编程日记 2024/10/16 8:57:32

网络安全防御策略：通过限制IP访问提升服务器安全性

标题：网络安全防御策略：通过限制IP访问提升服务器安全性 摘要： 在网络安全领域，服务器被入侵是一场严重的事故。一旦发生这种情况，除了立即采取措施恢复系统外，还需要加强后续的安全防护措施。本文将探讨为…...

编程日记 2024/10/16 8:56:29

Multiprocessing出错没有提示was skipped without notice in python

这个问题可以通过打印返回结果解决。 解决方法 比如 Pool.apply_async(csdnKuangXiaoHU, args=(p, DestFile))改成 Result = Pool.apply_async(csdnKuangXiaoHU, args=...

编程日记 2024/10/16 8:55:28

调整应用窗口透明度

朋友问我有没有软件透明得，一开始没理解，他给我发一个，我一看原来时调整窗口透明度得，想着python应该也可以实现，就写了一个。 效果图如下： 源码如下： import sys import ctypes from PySid…...

编程日记 2024/10/16 8:53:23

启智畅想集装箱号码智能识别原理，OCR识别应用

集装箱号码用途： 集装箱号码在填写托运单时是必填项，用于标识和跟踪货物运输过程中的集装箱。它有助于海关管理和物流跟踪，确保货物能够顺利通过海关检查并按时送达目的地。 集装箱号码智能识别原理： 在深入探讨集装箱号码OCR&…...

编程日记 2024/10/16 8:52:21

React基础知识

说明：react版本为 18.3.1 React是什么 React由Meta公司研发，是一个用于构建Web和原生交互界面的库。（开发基于浏览器的web应用和基于mac和android的移动应用）React的优势 1.相较于传统基于DOM开发的优势：组件化的开…...

编程日记 2024/10/16 8:49:18

Java基础：面向对象编程3

1 Java可变长参数 1.1 概述 Java 的可变长参数（Varargs）是在 Java 1.5 中引入的功能，允许方法接受任意数量的相同类型的参数。可变参数的语法是在参数类型后面加上三个点（...），例如 int... numbers。 1.…...

编程日记 2024/10/16 8:47:16

实验kubernetes的CPU绑定策略

CPU 管理配置 CPU 管理策略通过 kubelet 参数 --cpu-manager-policy 或 KubeletConfiguration 中的 cpuManagerPolicy 字段来指定。 支持两种策略： none：默认策略。static：允许为节点上具有某些资源特征的 Pod 赋予增强的 CPU 亲和性和独占…...

编程日记 2024/10/16 8:46:14

Zsh 安装与配置

目录 1 环境配置 1.1 基本工具安装 1.2 安装 oh-my-zsh 1.3 从.bashrc中迁移配置（可选） 2 主题配置 2.1 内置主题 2.2 自定义主题 2.2.1 推荐主题 3 插件安装 3.1 推荐插件 3.1.1 zsh -autosuggestions 3.1.2 zsh-syntax-highlighting 3.2 启…...

编程日记 2024/10/16 8:45:13

Redis可视化工具Redis Desktop Manager（附安装包）

前言 redis工具，我相信每个开发都需要，如果每次查都去client执行指令，我怕查完之后，老大就要发版咯。我之前一直用的Redis可视化工具RedisDesktopManager，总觉得差点意思，直到同事推荐了个新的&#xff0c…...

编程日记 2024/10/16 8:44:11

sql server删除过期备份文件脚本

一、通过脚本查看过期文件，时间可以自己设定 for /f "delims" %i in (dir /b /a-d "E:\mybak_file\*.bak" ^| findstr /i "backup" ^| findstr /v /i "no_backup") do if "%~ti" LSS "2024/09/29 16:50&qu…...

编程日记 2024/10/16 8:42:09

【Docker系列】Docker查看镜像架构

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...

编程日记 2024/10/16 8:41:08

Python案例 | 测试网络的下载速度上传速度和 ping 延迟

使用了 speedtest 库来测试网络的下载速度上传速度和 ping 延迟 注意，这里需要先卸载speedtest，再安装speedtest-cli pip uninstall speedtest pip install speedtest-cli其次运行代码： # 使用了 speedtest 库来测试网络的下载速度上传速度…...

编程日记 2024/10/16 8:38:05

一键找回，2024四大固态硬盘数据恢复工具推荐！

虽然固态硬盘（SSD）因其读写速度快、功耗低等特点受到广泛欢迎，但它并非无懈可击，数据丢失的问题依然存在。如果你也遇到了固态硬盘数据丢失的问题，那么一下的这几款软件可以一试！ 福昕数据恢复 直达链接&…...

编程日记 2024/10/16 8:37:03

数据结构~AVL树

文章目录 一、AVL树的概念二、AVL树的定义三、AVL树的插入四、AVL树的平衡五、AVL树的验证六、AVL树的删除七、完整代码八、总结 一、AVL树的概念 AVL树是最先发明的自平衡二叉查找树，AVL是⼀颗空树，或者具备下列性质的二叉搜索树：它的左右子…...

编程日记 2024/10/16 8:36:01

ffmpeg面向对象——rtsp拉流探索（1）

目录 0.avformat_open_input的rtsp流程程纯净版1.rtsp拉流流程图2.rtsp拉流对象图 标准rtsp协议的基石是tcp，本节探索下ffmpeg的rtsp拉流协议tcp的创建及rtsp协商过程。 0.avformat_open_input的rtsp流程程纯净版 ffmpeg拉流，从avformat_open_input接口…...

编程日记 2024/10/16 8:35:00

问题解决：AI股票分析师启动失败？自查脚本与Ollama服务加载

问题解决：AI股票分析师启动失败？自查脚本与Ollama服务加载 1. 引言 你满怀期待地部署了那个“AI股票分析师”镜像，点击启动，然后……页面一片空白，或者提示服务不可用。这种感觉就像准备大展拳脚时，发现工…...

编程新知 2026/3/28 7:17:00

别再只升级OpenSSH了！一次搞懂Linux离线环境下的依赖包管理与编译安装避坑指南

离线环境下的Linux软件编译：从OpenSSH升级到通用依赖管理方法论 当你面对一台无法连接互联网的Linux服务器时，软件升级和安装往往会变成一场噩梦。想象一下：你下载了最新版OpenSSH的源码包，满怀希望地执行./configure，…...

编程新知 2026/3/28 7:00:53

深度解析Mi-Create：开源智能手表表盘编辑器的完整实践指南

深度解析Mi-Create：开源智能手表表盘编辑器的完整实践指南 【免费下载链接】Mi-Create Unofficial watchface creator for Xiaomi wearables ~2021 and above 项目地址: https://gitcode.com/gh_mirrors/mi/Mi-Create 项目愿景与定位 在智能穿戴设备快速发展…...

编程新知 2026/3/28 3:07:13

OpenClaw技能扩展指南：为百川2-13B添加公众号发布模块

OpenClaw技能扩展指南：为百川2-13B添加公众号发布模块 1. 为什么需要公众号发布技能 上周我正忙着准备一篇技术分享文章，突然意识到一个痛点：每次写完Markdown文档后，手动复制到公众号编辑器、调整格式、上传封面、设置摘要的过…...

编程新知 2026/3/28 2:37:03

全向轮底盘运动控制：嵌入式PID与逆运动学实现

1. 全向轮底盘控制库（omni_wheel）技术解析与工程实践1.1 项目背景与工程定位omni_wheel是为B团队自主移动机器人开发的底层运动控制模块，最初版本发布于2018年7月10日。从其原始README描述“PIDかけて一方向に進むだけのプログラムでござんす…...

编程新知 2026/3/28 2:06:19

Mojo+Python混合部署案例深度拆解（从Jupyter到生产环境的无缝迁移全路径）

第一章：MojoPython混合部署案例深度拆解（从Jupyter到生产环境的无缝迁移全路径）Mojo 作为新兴的系统级编程语言，与 Python 生态天然兼容，为机器学习模型从探索性开发（Jupyter Notebook）迈向高吞…...

编程新知 2026/3/28 1:19:39

医药行业用友 YonSuite 一体化管理方案

医保新规 4 月 1 日落地｜医药企业破局：数智化 合规 精细化，活下去且活得好2026 年 4 月 1 日，医保新规全面执行，集采深化、价格严控、全链路监管，医药行业正式告别高毛利、粗放式、渠道为王的旧时代&…...

编程新知 2026/3/28 1:09:38

【LAMMPS实战】从文献到模拟：精准定位与获取ReaxFF反应力场参数文件

1. 初识ReaxFF反应力场：为什么我们需要它？ 第一次接触分子动力学模拟时，我完全被各种力场搞晕了。直到遇到需要模拟化学反应的情况，才发现普通的力场根本不够用。这时候ReaxFF反应力场就像救命稻草一样出现了。简单来说&#xff0…...

编程新知 2026/3/28 1:03:35

Windows ❀ 高效端口检测工具tcping的安装与实战技巧

1. 为什么你需要tcping这个神器？ 做运维的朋友应该都遇到过这种情况：服务器明明能ping通，但服务就是访问不了。这时候传统的ping命令就束手无策了，因为它只能检测网络层是否连通，而无法判断具体端口是否开放。这就是tc…...

编程新知 2026/3/27 23:50:55

如何实现Flomo到Obsidian的高效迁移与无缝衔接？一站式数据迁移工具全解析

如何实现Flomo到Obsidian的高效迁移与无缝衔接？一站式数据迁移工具全解析 【免费下载链接】flomo-to-obsidian Make Flomo Memos to Obsidian Notes 项目地址: https://gitcode.com/gh_mirrors/fl/flomo-to-obsidian 当你需要将积累已久的Flomo笔记迁移到Obs…...

编程新知 2026/3/27 23:28:39