当前位置： 首页 > article >正文

深度学习-139-RAG技术之Agentic Chunking分块技术的工作原理及简单实现

article 2026/3/24 14:26:16

文章目录

  • 1 传统分块的问题
  • 2 Agentic Chunking的工作原理
  • 3 Agentic Chunking怎么实现
    • 3.1 Propositioning文本
      • 3.1.1 大语言模型
      • 3.1.2 官方提示词模板
      • 3.1.3 抽取链
    • 3.2 使用LLM Agent创建文本块
      • 3.2.1 创建新文本块
      • 3.2.2 将proposition添加到文本块
      • 3.2.3 将proposition推送到合适的文本块
    • 3.3 实测效果
    • 3.4 总结
  • 4 参考附录

1 传统分块的问题

在RAG模型的构建里，文本分块是打头阵且超关键的环节。

(1)就拿常见的递归字符分割来说，它操作简单，按照固定的token长度一刀切。但这也带来了大麻烦，一个完整的主题常常被拆得七零八落，分到不同文本块中，上下文连贯不起来，就像拼图被打乱了顺序，根本没法看。

(2)还有语义分割法，听起来好像聪明点，它根据句子间语义变化来分割。但遇到文档话题频繁切换时，还是会 “翻车”，把相关内容分到不同块，信息又断了。

举个例子：“小明介绍了Transformer 架构… （中间插入 5 段其他内容）… 最后他强调，Transformer的核心是自注意力机制。” 用传统方法处理，要么把这两句话拆到不同区块，要么被中间内容干扰，导致语义断裂。

(3)但要是人工分块，我们肯定会把它们归到 “模型原理” 这一组。这种跨越文本距离的关联性问题，正是Agentic Chunking(自主分块)要解决的。

2 Agentic Chunking的工作原理

Agentic Chunking的核心思想是让大语言模型（LLM）主动评估每一句话，并将其

相关文章：

深度学习-139-RAG技术之Agentic Chunking分块技术的工作原理及简单实现

文章目录 1 传统分块的问题2 Agentic Chunking的工作原理3 Agentic Chunking怎么实现3.1 Propositioning文本3.1.1 大语言模型3.1.2 官方提示词模板3.1.3 抽取链3.2 使用LLM Agent创建文本块3.2.1 创建新文本块3.2.2 将proposition添加到文本块3.2.3 将proposition推送到合适的…...

编程日记 2026/1/22 5:55:18

BambuStudio学习笔记：Flow 类

Flow 类文档 概述 Flow 类用于管理3D打印过程中的挤出流程参数计算，包括挤出宽度、间距、流量等核心参数。支持桥梁模式、不同流程角色配置，提供多种流量计算方式。 头文件 #ifndef slic3r_Flow_hpp_ #define slic3r_Flow_hpp_ // ... #endif枚举类型…...

编程日记 2026/1/24 19:52:08

标签的ref属性 vue中为什么不用id标记标签

标签的ref属性 vue中为什么不用id标记标签 假设有一对父子组件，如果父组件和子组件中存在id相同的标签，会产生冲突。通过id获取标签会获取到先加载那个标签。 标签的ref属性的用法 在父组件App中，引入了子组件Person。 并使用ref标记了Pe…...

编程日记 2026/3/23 19:20:06

7.1.1 计算机网络的组成

文章目录 物理组成功能组成工作方式完整导图 物理组成 计算机网络是将分布在不同地域的计算机组织成系统，便于相互之间资源共享、传递信息。 计算机网络的物理组成包括硬件和软件。硬件中包含主机、前端处理器、连接设备、通信线路。软件中包含协议和应用软件。 功…...

编程日记 2026/3/5 13:40:33

IDEA 接入 Deepseek

在本篇文章中，我们将详细介绍如何在 JetBrains IDEA 中使用 Continue 插件接入 DeepSeek，让你的 AI 编程助手更智能，提高开发效率。 一、前置准备 在开始之前，请确保你已经具备以下条件： 安装了 JetBrains IDEA&…...

编程日记 2026/3/14 4:37:43

mapbox基础，使用点类型geojson加载symbol符号图层，用于标注文字

👨‍⚕️ 主页： gis分享者 👨‍⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏：mapbox 从入门到精通 文章目录 一、🍀前言1.1 ☘️mapboxgl.Map 地图对象1.2 ☘️mapboxgl.Map style属性1.3 ☘️symbol符号图层样式二、🍀使用点类型…...

编程日记 2026/3/5 14:07:26

STM32---FreeRTOS中断管理试验

一、实验 实验目的：学会使用FreeRTOS的中断管理 创建两个定时器，一个优先级为4，另一个优先级为6；注意：系统所管理的优先级范围 ：5~15 现象：两个定时器每1s，打印一段字符串&#x…...

编程日记 2026/3/15 5:27:03

Python 网络爬虫教程与案例详解

Python 网络爬虫教程与案例详解 在当今数字化时代，数据的价值愈发凸显。Python 作为一门强大的编程语言，在数据获取领域有着广泛的应用，其中网络爬虫便是一项重要的技术。网络爬虫能够自动从网页中提取所需数据，极大地提高了数据…...

编程日记 2026/2/1 4:45:30

HTTP 状态代码 501 502 问题

问题 单个客户端有时会出现 报错 501 或 502 如下： System.Net.Http.HttpRequestException: Response status code does not indicate success: 501 (Not Implemented) 分析 可以排除 服务器无法处理的问题（测试发现 一个客户端报错，不会影响…...

编程日记 2026/3/23 14:00:46

React 之 Redux 第二十八节 学习目标与规划大纲及概要讲述

接下来 开始Redux 全面详细的文档输出，主要基于一下几个方面，欢迎大家补充指正 一、Redux 基础概念 为什么需要 Redux？ 前端状态管理的挑战（组件间通信、状态共享） Redux 解决的问题：集中式、可预测的状态…...

编程日记 2025/11/14 15:18:26

visual studio 2022 手工写一个简单的MFC程序

书籍：《Visual C 2017从入门到精通》的2.1.2 MFC方式中2.手工写一个简单的MFC程序 环境：visual studio 2022 内容：手工写一个简单的MFC程序 1.文件->新建->项目 2.根据以下步骤选择Windows桌面向导 3.输入项目名，选择保…...

编程日记 2026/3/19 15:09:22

GaussDB自带诊断工具实战指南

一、引言 GaussDB是一种分布式的关系型数据库。在数据库运维中，快速定位性能瓶颈、诊断故障是保障业务连续性的关键。GaussDB内置了多种诊断工具，结合日志分析、执行计划解析和实时监控功能，帮助开发者与运维人员高效解决问题。本文深入讲解…...

编程日记 2026/1/28 2:17:17

python GUI之实现一个自定义的范围滑块控件：QRangeSlider

在图形用户界面（GUI）开发中，滑块控件是一种常用于选择数值范围的交互元素。然而，很多时候默认的滑块控件无法满足复杂的交互需求，例如同时选择一个范围的起始值和结束值。为此，实现了一个自定义的范围滑块控…...

编程日记 2026/1/22 11:50:42

测试用例总结

一、通用测试用例八要素 　 1、用例编号； 　　 2、测试项目； 　 3、测试标题； 4、重要级别； 　　 5、预置条件； 　　 6、测试输入； 　　 7、操作步骤； 　　 8、预期输出 二、具体分析通…...

编程日记 2026/3/17 13:50:43

深度学习之图像学习知识点

数据增广： 数据增广是深度学习中常用的技巧之一，主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力，目前数据增广主要包括：水平/垂直翻转，旋转，缩放…...

编程日记 2026/1/27 19:41:03

vulnhub靶场之【digitalworld.local系列】的development靶机

前言 靶机：digitalworld.local-devt-improved，IP地址为192.168.10.10 攻击：kali，IP地址为192.168.10.6 kali采用VMware虚拟机，靶机选择使用VMware打开文件，都选择桥接网络 这里官方给的有两种方式&…...

编程日记 2026/3/17 3:57:50

C语言---猜数字游戏

猜数字游戏代码 #include <stdio.h> #include <time.h> #include <stdlib.h>void meun() {printf("**********************\n");printf("******* 1.play *******\n");printf("******* 0.quit *******\n");printf("*****…...

编程日记 2026/3/22 4:52:47

C#中泛型的协变和逆变

协变&#xff1a; 在泛型接口中&#xff0c;使用out关键字可以声明协变。这意味着接口的泛型参数只能作为返回类型出现&#xff0c;而不能作为方法的参数类型。 示例&#xff1a;泛型接口中的协变 假设我们有一个基类Animal和一个派生类Dog&#xff1a; csharp复制 public…...

编程日记 2025/11/28 6:50:51

Select 下拉菜单选项分组

使用<select>元素创建下拉菜单&#xff0c;并使用 <optgroup> 元素对选项进行分组。<optgroup> 元素允许你将相关的 <option> 元素分组在一起&#xff0c;并为每个分组添加一个标签。 <form action"#" method"post"><la…...

编程日记 2026/3/17 13:51:30

文件上传漏洞详细利用流程

一、了解基本术语 1、后门 像房子一样&#xff0c;前门后门都可以进出房子&#xff0c;而较之前门&#xff0c;后门更具有隐蔽性。电脑技术中的后门是抽象概念&#xff0c;意指隐蔽性高或不常用的&#xff0c;区别于常规操作所使用的一种出入口。现金网络后门形形色色&#x…...

编程日记 2026/3/17 13:51:17

蓝桥与力扣刷题（蓝桥 旋转）

题目&#xff1a;图片旋转是对图片最简单的处理方式之一&#xff0c;在本题中&#xff0c;你需要对图片顺时针旋转 90 度。 我们用一个 nm的二维数组来表示一个图片&#xff0c;例如下面给出一个 34 的 图片的例子&#xff1a; 1 3 5 7 9 8 7 6 3 5 9 7 这个图片顺时针旋转…...

编程日记 2026/3/19 22:40:17

transformer架构解析{掩码，（自）注意力机制，多头（自）注意力机制}(含代码)-3

目录 前言 掩码张量 什么是掩码张量 掩码张量的作用 生成掩码张量实现 注意力机制 学习目标 注意力计算规则 注意力和自注意力 注意力机制 注意力机制计算规则的代码实现 多头注意力机制 学习目标 什么是多头注意力机制 多头注意力计算机制的作用 多头注意力机…...

编程日记 2026/3/17 13:50:35

使用DiskGenius工具来实现物理机多硬盘虚拟化迁移

使用DiskGenius工具来实现物理机多硬盘虚拟化迁移 概述准备工作注意事项实操过程记录1、Win7虚拟机&#xff0c;安装有两个硬盘&#xff08;硬盘0和硬盘1&#xff09;&#xff0c;各分了一个区&#xff0c;磁盘2是一块未使用的磁盘2、运行DiskGenius程序&#xff0c;记录现有各…...

编程日记 2026/3/17 13:50:40

iOS安全和逆向系列教程 第5篇 iOS基础开发知识速览 - 理解你要逆向的目标

iOS安全和逆向系列教程 第5篇 iOS基础开发知识速览 - 理解你要逆向的目标 正如上一篇文章结尾所预告的&#xff0c;在完成环境搭建后&#xff0c;我们需要了解iOS开发的基础知识。这不是要求你成为一名iOS开发者&#xff0c;而是为了让你在逆向分析过程中能够理解应用的代码结…...

编程日记 2026/3/7 15:13:02

计算机常用单词

文章目录 计算机单词1-100101-200201-300301-400401-500501-600601-700701-800801-900901-10001001-11001101-12001201-13001301-14001401-15001501-16001601-1695 计算机单词 参考 1-100 1. file [英faɪl 美faɪl] n. 文件&#xff1b;v. 保存文件 2. command [英kəˈmɑ…...

编程日记 2026/2/15 16:40:05

TS的接口 泛型 自定义类型 在接口中定义一个非必须的属性

TS的接口 泛型 自定义类型 接口 新建一个ts文件&#xff0c;在里面定义一个接口 export interface PersonInter{id:string,name:string,age:number }在vue文件中引入这个ts文件 <script lang"ts" setup name"Person">import {type PersonInter} …...

编程日记 2026/2/15 20:37:30

76.读取计时器运行时间 C#例子 WPF例子

TimerManager&#xff1a;一个增强的定时器类&#xff0c;带时间管理功能 在使用定时器时&#xff0c;我们常常需要知道定时器的运行状态&#xff0c;比如它已经运行了多久&#xff0c;或者还剩下多少时间。然而&#xff0c;.NET 的 System.Timers.Timer 类本身并没有直接提供…...

编程日记 2026/3/20 0:46:44

React封装通用Table组件，支持搜索(多条件)、筛选、自动序号、数据量统计等功能。未采用二次封装调整灵活，包含使用文档

封装通用组件 一、封装思想二、react代码三、css代码四、实现效果五、使用文档 BasicTableModal 表格模态框组件1.组件简介2.功能特点3.使用方法基础用法宽度控制示例带筛选功能搜索功能示例自定义单元格渲染 4.API 说明PropsColumn 配置项Filter 配置项 5.注意事项 一、封装思…...

编程日记 2026/3/17 13:51:28

【JavaEE】-- 多线程（初阶）4

文章目录 8.多线程案例8.1 单例模式8.1.1 饿汉模式8.1.2 懒汉模式 8.2 阻塞队列8.2.1 什么是阻塞队列8.2.2 生产者消费者模型8.2.3 标准库中的阻塞队列8.2.4 阻塞队列的应用场景8.2.4.1 消息队列 8.2.5 异步操作8.2.5 自定义实现阻塞队列8.2.6 阻塞队列--生产者消费者模型 8.3 …...

编程日记 2026/3/17 13:51:24

WP 高级摘要插件：助力 WordPress 文章摘要精准自定义显示

wordpress插件介绍 “WP高级摘要插件”功能丰富&#xff0c;它允许用户在WordPress后台自定义文章摘要。 可设置摘要长度&#xff0c;灵活调整展示字数&#xff1b;设定摘要最后的显示字符&#xff0c; 如常用的省略号等以提示内容未完整展示&#xff1b;指定允许在摘要中显示…...

编程日记 2026/3/20 18:27:54