当前位置：首页 > news >正文

Text2SQL之Vanna优化

news 2025/10/31 11:55:40

文章目录

前言
一、优化方向
二、干就完了
- 一次性生成多个Question-SQL对
- 先生成一个问题，再根据DDL和业务数据生成SQL
总结

前言

前阵子写了篇Text2SQL的简单介绍，发现其也是RAG只会，写下了Text2SQL之不装了，我也是RAG

最近也一直在做Text2SQL的优化，于是把自己的一些心得，总结于这篇文章。

一、优化方向

既然本质是RAG，那顺着RAG的优化方向走，准没错。

文档增强：
- 对文档进行摘要：先对摘要进行检索，如果有必要，才深入文档细节
- 对文档进行QA生成：同时检索文档和生成的QA
- 数据清洗，去除文档中存在的特殊字符或不相关信息
元数据过滤：例如对query和文档分类，对应类别的query只查找对应类别的文档，能有效提升检索效率和召回率
混合检索：语义检索 + 关键词检索
query改写：让LLM对query改写，在嵌入空间中，看似相同的两个问题并不一定很相似
- 同义词替换：例如，将“LLM”、“大语言模型”和“大模型”标准化为通用术语。
- 缩写替换
query分解：将复杂query分解成多个子问题，逐个进行匹配，然后汇总文档，生成答案
HyDE: 用LLM直接生成query的回答，将生成的答案与query 拼接，再进行RAG
文档分块优化：
- 内容重叠分块&

Text2SQL之Vanna优化

文章目录前言一、优化方向二、干就完了一次性生成多个Question-SQL对先生成一个问题，再根据DDL和业务数据生成SQL总结前言前阵子写了篇Text2SQL的简单介绍，发现其也是RAG只会，写下了Text2SQL之不装了，我也是RAG 最近也一直在做Text2SQL的优化，于是把自己的一些心得，总…...

编程日记 2024/6/18 2:55:58

船舶行业信息安全解决方案介绍

船舶行业信息安全背景： 近年来随着经济复苏、疫情与国际形势影响国内外船舶海运业务蓬勃发展，在业务量激增的背景下出现多类信息安全事件。其中2017年，马士基集团遭到勒索软件攻击，内部业务系统和码头操作系统均受到严重影响&…...

编程日记 2024/6/18 2:54:57

Typora—适用于 Mac 和 Win 系统的优秀 Markdown 文本编辑器

Typora 是一款适用于 Mac 和 Win 系统的优秀 Markdown 文本编辑器，它以其简洁易用的界面和强大的功能受到了众多用户的喜爱。首先，Typora 的界面设计非常简洁直观，没有过多繁杂的菜单和按钮，让用户能够专注于写作本身。它采用实时…...

编程日记 2024/6/18 2:53:56

产品经理的未来在哪里？

【同学聚会】医生说：你生病的话可以找我。老师说：你孩子成绩不好时找你辅导。律师说：你遇上官司时我帮你。程序员说：你电脑坏了时我帮你修理。产品经理说：我……好像无一技之长。（瞬间开始怀疑人…...

编程日记 2024/6/18 2:51:49

火车头采集怎么使用GPT等AI原创文章

火车头采集官方并没有GPT、百度文心一言AI、阿里通义千问AI、Kimi大模型等AI功能，但支持接入插件，可以编写相应人工智能AI原创文章插件（火车头采集支持PHP和c#这2种语言的插件编写），或者导入第三方封装好的GPT等AI原创…...

编程日记 2024/6/18 2:50:48

多元多项式的特征列与零点的关系定理

下面这个定理来自《计算机代数》6.1三角列与特征列（王东明、夏壁灿著） 【定理】设 C [ C 1 , … , C r ] \mathbb{C }\left\lbrack C_{1},\ldots,C_{r} \right\rbrack C[C1,…,Cr]为多项式组 P ⊂ K [ x ] \mathbb{P \subset}\mathcal{K\lbrack}\…...

编程日记 2024/6/18 2:48:46

git - LFS 使用方法

安装Git LFS 访问 Git LFS官网下载适用于您操作系统的版本。 Linux用户，解压缩下载的.tar.gz文件，并通过终端运行安装脚本。 tar -xvf git-lfs-linux-amd64-vX.Y.Z.tar.gz cd git-lfs-X.Y.Z sudo ./install.sh 初始化Git LFS # 全局启用 git lfs i…...

编程日记 2024/6/18 2:47:44

提高磁盘可靠性的技术：保障数据安全的四大方法

目录 1. 第一级容错技术磁盘镜像（Mirroring） 工作原理 RAID 1 工作原理优点缺点适用场景示例 2. 第二级容错技术概述 RAID 5 RAID 6 优点缺点适用场景 3. 基于集群系统的容错技术概述 Hadoop HDFS Ceph 优点缺点适用场…...

编程日记 2024/6/18 2:46:43

CesiumJS【Basic】- #006 浏览器控制台查看位置角度

文章目录浏览器控制台查看位置角度1 目标浏览器控制台查看位置角度 1 目标浏览器控制台查看位置角度...

编程日记 2024/6/18 2:45:42

Mac 终端报错 zsh: command not found: brew 解决方案

Homebrew安装 /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"安装成功后，在终端输入下面命令 brew -v如果成功输出brew版本，则安装成功关闭终端重新打开终端，报错zsh: comm…...

编程日记 2024/6/18 2:44:41

详解 HBase 的常用 API

一、环境准备创建一个 Maven 工程并引入依赖 <dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-server</artifactId><version>1.3.1</version> </dependency> <dependency><groupId>org.apach…...

编程日记 2024/6/18 2:43:40

JSR303校验

校验的需求前端请求后端接口传输参数，需要校验参数。在controller中需要校验参数的合法性，包括：必填项校验、数据格式校验等在service中需要校验业务规则，比如：课程已经审核过了，所以提交失败。 servi…...

编程日记 2024/6/18 2:38:34

04 远程访问及控制

1、SSH远程管理 SSH是一种安全通道协议，主要用来实现字符界面的远程登录、远程复制等功能。 SSH协议对通信双方的数据传输进行了加密处理（包括用户登陆时输入得用户口令）。终端：接收用户的指令 TTY终端不能远程，它…...

编程日记 2024/6/18 2:37:33

[晕事]今天做了件晕事38 shell里的source 点号

今天碰到一个问题脚本里使用点号引入某个文件形式如下： . /tmp/abc但是脚本运行出现错误，一开始还以为是/tmp没有可执行权限（https://mzhan017.blog.csdn.net/article/details/112178736#t16），导致abc运行不了。后来…...

编程日记 2024/6/18 2:35:31

java如何分割字符串

java要实现对字符串的分割，需要用到split语句语法格式是 str.split(分隔符) 其中 str是字符串示例代码如下 public class Stringsplit {public static void main(String[] args) {String a"蒸羊羔，蒸熊掌，蒸鹿尾，烧花…...

编程日记 2024/6/18 2:34:30

胡说八道(24.6.12)——数字电子技术以及Modelsim

上回书说到数电中的最常用的表达式——逻辑表达式(由布尔代数组成)以及常用的两种图表——真值表(真值表表示的是所有的输入可能的线性组合以及输出)和卡诺图(卡诺图则是一种化简工具，排除冗余项，合并可合并项)。今天，先来看看昨天说的基本逻…...

编程日记 2024/6/18 2:33:28

【Android面试八股文】AsyncTask中的任务是串行的还是并行的

文章目录串行执行并行执行示例代码串行执行（默认）并行执行总结AsyncTask 的任务执行方式可以是串行的，也可以是并行的，这取决于使用的执行器 ( Executor)。串行执行默认情况下，AsyncTask 使用的是 SERIAL_EXECUTOR，即任务按顺序一个接一个地执行。这意味着下一个任务…...

编程日记 2024/6/18 2:29:23

无人机RTMP推流EasyDSS直播平台推流成功，不显示直播按钮是什么原因？

互联网视频云平台/视频点播直播/视频推拉流EasyDSS支持HTTP、HLS、RTMP等播出协议，并且兼容多终端，如Windows、Android、iOS、Mac等。为了便于用户集成与二次开发，我们也提供了API接口供用户调用和集成。在无人机场景上，可以通过E…...

编程日记 2024/6/18 2:28:22

经验分享，xps格式转成pdf格式

XPS 是一种电子文档格式、后台打印文件格式和页面描述语言。有时候微软默认打印机保存的是xps格式，我们如何转换为pdf格式呢，这里分享一个免费好用的网站，可以实现。网站：https://xpstopdf.com/zh/ 截图：...

编程日记 2024/6/18 2:27:20

基于51单片机的音乐彩灯设计

基于51单片机的音乐彩灯设计 （程序＋原理图＋设计报告） 功能介绍具体功能： 由STC单片机ADC0809模块LM386功放模块喇叭音频接口发光二极管电源构成 1.通过音频线输入可以播放电脑、手机、MP3里面的音乐。 2.AD对音频…...

编程日记 2024/6/18 2:26:18

19c补丁后oracle属主变化，导致不能识别磁盘组

补丁后服务器重启，数据库再次无法启动 ORA01017: invalid username/password; logon denied Oracle 19c 在打上 19.23 或以上补丁版本后，存在与用户组权限相关的问题。具体表现为，Oracle 实例的运行用户（oracle）和集…...

编程新知 2025/10/30 10:46:50

JavaScript 中的 ES|QL：利用 Apache Arrow 工具

作者：来自 Elastic Jeffrey Rengifo 学习如何将 ES|QL 与 JavaScript 的 Apache Arrow 客户端工具一起使用。想获得 Elastic 认证吗？了解下一期 Elasticsearch Engineer 培训的时间吧！ Elasticsearch 拥有众多新功能，助你为自己…...

编程新知 2025/10/27 20:21:44

React Native在HarmonyOS 5.0阅读类应用开发中的实践

一、技术选型背景随着HarmonyOS 5.0对Web兼容层的增强，React Native作为跨平台框架可通过重新编译ArkTS组件实现85%以上的代码复用率。阅读类应用具有UI复杂度低、数据流清晰的特点。二、核心实现方案 1. 环境配置 （1）使用React Native…...

编程新知 2025/8/19 2:57:37

STM32标准库-DMA直接存储器存取

文章目录一、DMA1.1简介1.2存储器映像1.3DMA框图1.4DMA基本结构1.5DMA请求1.6数据宽度与对齐1.7数据转运DMA1.8ADC扫描模式DMA 二、数据转运DMA2.1接线图2.2代码2.3相关API 一、DMA 1.1简介 DMA（Direct Memory Access）直接存储器存取 DMA可以提供外设…...

编程新知 2025/10/19 13:26:36

Web 架构之 CDN 加速原理与落地实践

文章目录一、思维导图二、正文内容（一）CDN 基础概念1. 定义2. 组成部分 （二）CDN 加速原理1. 请求路由2. 内容缓存3. 内容更新 （三）CDN 落地实践1. 选择 CDN 服务商2. 配置 CDN3. 集成到 Web 架构 &#xf…...

编程新知 2025/9/13 16:17:01

2025年渗透测试面试题总结-腾讯[实习]科恩实验室-安全工程师（题目+回答）

安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。目录腾讯[实习]科恩实验室-安全工程师一、网络与协议 1. TCP三次握手 2. SYN扫描原理 3. HTTPS证书机制二…...

编程新知 2025/10/28 11:52:32

【C++进阶篇】智能指针

C内存管理终极指南：智能指针从入门到源码剖析一. 智能指针1.1 auto_ptr1.2 unique_ptr1.3 shared_ptr1.4 make_shared 二. 原理三. shared_ptr循环引用问题三. 线程安全问题四. 内存泄漏4.1 什么是内存泄漏4.2 危害4.3 避免内存泄漏五. 最后一. 智能指针智能指…...

编程新知 2025/10/30 3:15:16