当前位置：首页 > news >正文

09 mysql fetchSize 所影响的服务器和客户端的交互

news 2025/12/15 14:44:56

前言

这是一个之前使用 spark 的时候记一次 spark 读取大数据表 OOM OutOfMemoryError: GC overhead limit exceeded 因为一个 OOM 的问题, 当时使用了 fetchSize 的参数

应用服务 hang 住, 导致服务 503 Service Unavailable 在这个问题的地方, 出现了一个查询 32w 的数据, 呵呵这里又看了一下 fetchSize 的相关, 需要梳理一下 fetchSize 这块的东西

但是当时不知道这个 fetchSize 所影响的客户端和服务器之间交互的具体的处理

这里来看一下

测试用例

需要体现是否使用 fetchSize 的差异, 只需要切换 getDataSource 的 url, 有 "useCursorFetch=true" 为使用 fetchSize

/*** Test25MysqlFetchSize** @author Jerry.X.He <970655147@qq.com>* @version 1.0* @date 2022-10-15 14:03*/
public class Test25MysqlFetchSize {// Test25MysqlFetchSizepublic static void main(String[] args) {String[] authInfo = {"127.0.0.1", "3306", "test", "postgres", "postgres"};DataSource ds = getDataSource(authInfo[0], Integer.parseInt(authInfo[1]), authInfo[2], authInfo[3], authInfo[4]);JdbcTemplate jdbcTemplate = new JdbcTemplate(ds);jdbcTemplate.setFetchSize(2);String sql = "select * from `user`;";List<Map<String, Object>> list = jdbcTemplate.queryForList(sql);for(Map<String, Object> entity : list) {System.out.println(JSON.toJSONString(entity));}}/*** 根据给定的连接信息 获取数据源** @param ip       ip* @param port     port* @param dbName   dbName* @param username username* @param password password* @return java.sql.Connection* @author Jerry.X.He* @date 2019-08-15 11:50*/public static DataSource getDataSource(String ip, int port, String dbName, String username, String password) {
//    String url = String.format("jdbc:mysql://%s:%d/%s?useUnicode=true&characterEncoding=UTF8&useCursorFetch=true&defaultFetchSize=100", ip, port, dbName);String url = String.format("jdbc:mysql://%s:%d/%s?useUnicode=true&characterEncoding=UTF8", ip, port, dbName);try {return new SimpleDriverDataSource(new Driver(), url, username, password);} catch (Exception e) {return null;}}}

不使用 fetchSize 的场景

客户端发送一个请求, 然后服务器将所有的数据响应给客户端

使用 fetchSize 的场景

可以看到的是发送了一个 sql, 以及十多条 fetch 的命令到 mysql 服务器

第一条 fetch 命令, 前 0-100 条数据

第二条 fetch 命令, 前 100-200 条数据

...

第N条 fetch 命令, 前 (N-1)*100 - N * 100 条数据

fetchSize 为 100, 总共数据量为 1216, 然后客户端合计发送了 13 条 fetch 的请求

4792	4.403080	127.0.0.1	127.0.0.1	MySQL	82	Request Prepare Statement
4795	4.404626	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1207 Ack=1482 Win=406784 Len=0 TSval=966581250 TSecr=966581250
4802	4.407809	127.0.0.1	127.0.0.1	MySQL	71	Request Execute Statement
4805	4.411114	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1222 Ack=1684 Win=406592 Len=0 TSval=966581255 TSecr=966581255
4852	4.424561	127.0.0.1	127.0.0.1	MySQL	69	Request Fetch Data
4855	4.426304	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1235 Ack=4795 Win=403456 Len=0 TSval=966581267 TSecr=966581267
4872	4.436417	127.0.0.1	127.0.0.1	MySQL	69	Request Fetch Data
4875	4.438114	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1248 Ack=7906 Win=400384 Len=0 TSval=966581277 TSecr=966581277
4876	4.441996	127.0.0.1	127.0.0.1	MySQL	69	Request Fetch Data
4879	4.443469	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1261 Ack=11017 Win=397248 Len=0 TSval=966581281 TSecr=966581281
4880	4.446411	127.0.0.1	127.0.0.1	MySQL	69	Request Fetch Data
4883	4.447904	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1274 Ack=14128 Win=394112 Len=0 TSval=966581284 TSecr=966581284
4884	4.450804	127.0.0.1	127.0.0.1	MySQL	69	Request Fetch Data
4887	4.452125	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1287 Ack=17239 Win=391040 Len=0 TSval=966581287 TSecr=966581287
4888	4.454689	127.0.0.1	127.0.0.1	MySQL	69	Request Fetch Data
4891	4.456075	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1300 Ack=20350 Win=387904 Len=0 TSval=966581290 TSecr=966581290
4892	4.458345	127.0.0.1	127.0.0.1	MySQL	69	Request Fetch Data
4895	4.459971	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1313 Ack=23461 Win=384832 Len=0 TSval=966581293 TSecr=966581293
4896	4.462152	127.0.0.1	127.0.0.1	MySQL	69	Request Fetch Data
4899	4.463530	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1326 Ack=26572 Win=381696 Len=0 TSval=966581296 TSecr=966581296
4900	4.465897	127.0.0.1	127.0.0.1	MySQL	69	Request Fetch Data
4903	4.468078	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1339 Ack=29683 Win=378560 Len=0 TSval=966581300 TSecr=966581300
4904	4.469424	127.0.0.1	127.0.0.1	MySQL	69	Request Fetch Data
4907	4.471176	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1352 Ack=32794 Win=375488 Len=0 TSval=966581302 TSecr=966581302
4908	4.473213	127.0.0.1	127.0.0.1	MySQL	69	Request Fetch Data
4911	4.474650	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1365 Ack=35905 Win=372352 Len=0 TSval=966581304 TSecr=966581304
4912	4.476087	127.0.0.1	127.0.0.1	MySQL	69	Request Fetch Data
4915	4.477380	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1378 Ack=39016 Win=369280 Len=0 TSval=966581306 TSecr=966581306
4916	4.478625	127.0.0.1	127.0.0.1	MySQL	69	Request Fetch Data
4919	4.480168	127.0.0.1	127.0.0.1	TCP	56	54350 → 3306 [ACK] Seq=1391 Ack=39523 Win=368768 Len=0 TSval=966581308 TSecr=966581308
4920	4.480690	127.0.0.1	127.0.0.1	MySQL	65	Request Close Statement

driver 层面 fetchSize 的处理

堆栈信息大致如下

应用通过 resultSet.next 向后迭代

resultSet 中 ResultsetRowsCursor 不断向后迭代当前批次的数据, 如果当前批次的数据已经迭代完毕, 重新向 mysql 服务器发送 fetch 命令, 获取下一批次的数据

如果应用不强行引用, 内内存中常驻的记录数量为 fetchSize 条记录, 进而缩小需要占用的内存开销

完

09 mysql fetchSize 所影响的服务器和客户端的交互

前言这是一个之前使用 spark 的时候记一次 spark 读取大数据表 OOM OutOfMemoryError: GC overhead limit exceeded 因为一个 OOM 的问题, 当时使用了 fetchSize 的参数应用服务 hang 住, 导致服务 503 Service Unavailable 在这个问题的地方, 出现了一个查询 32w 的数据…...

编程日记 2023/9/4 13:50:51

DevEco Studio 配置

首先,打开deveco studio 进入首页 …我知道你们想说什么,我也想说汉化配置没办法,老样子,先汉化吧,毕竟母语看起来舒服首先,点击软件左下角的configure,在配置菜单里选择plugins 进入到插件页面, 输入chinese,找到汉化插件,(有一说一写到这我心里真是很不舒服) 然后点击o…...

编程日记 2023/9/4 13:49:51

Nginx自动探活后端服务状态自动转发，nginx_upstream_check_module的使用

一、三种方案 nginx对后端节点健康检查的方式主要有3种 1. gx_http_proxy_module 模块和ngx_http_upstream_module模块（自带）官网地址：http://nginx.org/cn/docs/http/ng … proxy_next_upstream 严格来说，nginx自带是没有针对负载均衡后端节点的健康检查的，但是可以通…...

编程日记 2023/9/4 13:48:49

CSS 一个好玩的卡片“开卡效果”

文章目录一、用到的一些CSS技术二、实现效果三、代码一、用到的一些CSS技术渐变 conic-gradientbox-shadowclip-path变换、过渡 transform、transition动画 animation keyframes伪类、伪元素 :hover、::before、::after …绝对布局。。。 clip-path 生成网站 https://techb…...

编程日记 2023/9/4 13:47:47

lintcode 667 · 最长的回文序列【中等递归到动态规划】

题目 https://www.lintcode.com/problem/667/ 给一字符串 s, 找出在 s 中的最长回文子序列的长度. 你可以假设 s 的最大长度为 1000.样例样例1输入： "bbbab" 输出： 4 解释： 一个可能的最长回文序列为 "bbbb" 样例2输入…...

编程日记 2023/9/4 13:46:45

oracle sql语言模糊查询

在Where子句中，可以对datetime、char、varchar字段类型的列用Like子句配合通配符选取那些“很像...”的数据记录，以下是可使用的通配符： % 零或者多个字符 _ 单一任何字符（下划线） / 特殊字符 [] 在某一范…...

编程日记 2023/9/4 13:45:44

【Ubuntu】解决ubuntu虚拟机和物理机之间复制粘贴问题（无需桌面工具）

解决Ubuntu虚拟机和物理机之间复制粘贴问题第一步先删除原来的vmware tools（如果有的话） sudo apt-get autoremove open-vm-tools第二步安装软件包，一般都是用的desktop版本（如果是server换一下） sudo apt-get …...

编程日记 2023/9/4 13:44:42

解决ubuntu文件系统变成只读的方法

所欲文件变成只读，这种情况一般是程序执行发生错误，磁盘的一种保护措施使用fsck修复方法一： # 切换root sudo su # 修复磁盘错误 fsck -t ext4 -v /dev/sdb6 方法二： fsck.ext4 -y /dev/sdb6 重新用读写挂载上面两种方法&…...

编程日记 2023/9/4 13:43:40

高数刷题笔记

常见等价无穷小注意讨论第二个等价无穷小夹逼定理！！！ 递归数列可以尝试用关系式法通常用到夹逼定理的时候都会用到放缩构造出一大一小两个函数，将原函数夹在中间，然后使得两端函数极限相同则可推出原函数的极限&am…...

编程日记 2023/9/4 13:42:39

参考：https://www.learncpp.com/cpp-tutorial/ When you finish, you will not only know how to program in C, you will know how NOT to program in C, which is arguably as important. Tired or unhappy programmers make mistakes, and debugging code tends…...

编程日记 2023/9/4 13:41:38

2023年项目进度管理平台排行榜

项目进度管理是项目管理学科中的一门重要课程，通过合理的项目计划，有效控制项目进度，保障项目能够按时交付。不过，项目进度管理并不是一件简单的工作，不仅需要面对项目过程中各种突发情况，还需要做好团队协…...

编程日记 2023/9/4 13:40:36

【设计模式】面向对象设计八大原则

（1）依赖倒置原则（DIP） 高层模块（稳定）不应该依赖于低层模块（变化），二者都应该依赖于抽象（稳定）。抽象（稳定）不应该依赖于…...

编程日记 2023/9/4 13:39:35

python数分实战探索霍尔特法之销售预测python代码实现以及预测图绘制

探索霍尔特法：时间序列预测中的线性趋势捕捉时间序列分析是统计学和数据分析中的一个核心领域。无论是预测股票市场的走势，还是预测未来的销售量，一个精确和可靠的预测模型都是至关重要的。在众多的时间序列预测方法中，霍尔特法（Holts method）脱颖而出，特别是当我们面…...

编程日记 2023/9/4 13:38:33

java线程状态

图形说明: Thread.State源码注释: public enum State {/*** 新生状态：线程对象创建，但是还未start()*/NEW,/*** 线程处于可运行状态，但是这个可运行状态并不代表线程一定在虚拟机中执行。* 需要等待从操作系统获取到资源(比如处理器时间片…...

编程日记 2023/9/4 13:37:31

编译问题：error: ‘printf’ was not declared in this scope

这个错误提示意味着编译器在当前作用域内无法找到 printf 函数的声明。这通常是因为没有包含 <stdio.h> 头文件导致的。解决方法是在程序中添加 #include <stdio.h> 这一行代码。这个头文件中包含了 printf 函数的声明，告诉编译器如何处理该函数。...

编程日记 2023/9/4 13:36:31

改变C++中私有变量成员的值

1、没有引用的情况： #include <iostream> #include <queue> using namespace std; class Person { public:queue<int>que; public:queue<int> getQueue(){return que;}void push(int a){que.push(a);}void pop(){que.pop();} };int main()…...

编程日记 2023/9/4 13:35:29

线程唯一的单例

经典设计模式的单例模式是指进程唯一的对象实例，实现code如下： package cun.zheng.weng.design.sinstnce;import java.util.concurrent.CountDownLatch; import java.util.concurrent.LinkedBlockingQueue; import java.util.concurrent.ThreadPoolExec…...

编程日记 2023/9/4 13:34:25

明厨亮灶监控实施方案 opencv

明厨亮灶监控实施方案通过pythonopencv网络模型图像识别算法，一旦发现现场人员没有正确佩戴厨师帽或厨师服，及时发现明火离岗、不戴口罩、厨房抽烟、老鼠出没以及陌生人进入后厨等问题生成告警信息并进行提示。OpenCV是一个基于Apache2.0许可&#xff08…...

编程日记 2023/9/4 13:33:24

14 mysql bit/json/enum/set 的数据存储

前言这里主要是由于之前的一个 datetime 存储的时间导致的问题的衍生出来的探究探究的主要内容为 int 类类型的存储, 浮点类类型的存储, char 类类型的存储, blob 类类型的存储, enum/json/set/bit 类类型的存储本文主要的相关内容是 bit/json/enum/set 类类型的相关…...

编程日记 2023/9/4 13:32:22