看看人家的MyBatis批量插入数据优化，从120s到2.5s,那叫一个优雅！

• 粗略的实验

• 最后

 

最近在压测一批接口的时候，我发现接口处理速度比我们预期的要慢。这让我感到有点奇怪，因为我们之前已经对这些接口进行了优化。但是，当我们进行排查时，发现问题出在数据库批量保存这块。

我们的项目使用了 mybatis-plus 这个工具，而批量保存我们是直接使用的 mybatis-plus 提供的 saveBatch 方法。在仔细研究了这个方法后，我发现它并没有对批量插入进行优化，而是直接循环插入数据。

我点进去看了下源码，感觉有点不太对劲：

我继续追踪了下，从这个代码来看，确实是 for 循环一条一条执行了 sqlSession.insert，下面的 consumer 执行的就是上面的 sqlSession.insert: 

然后累计一定数量后，一批 flush。

从这点来看，这个 saveBach 的性能肯定比直接一条一条 insert 快。

我直接进行一个粗略的实验，简单创建了一张表来对比一波！

粗略的实验

1000条数据，一条一条插入

 

可以看到，执行一批 1000 条数的批量保存，耗费的时间是 121011 毫秒。

1000条数据用 mybatis-plus 自带的 saveBatch 插入

 

耗费的时间是 59927 毫秒，比一条一条插入快了一倍，从这点来看，效率还是可以的。

然后常见的还有一种利用拼接 sql 方式来实现批量插入，我们也来对比试试看性能如何。

1000条数据用手动拼接 sql 方式插入

搞个手动拼接：

 来跑跑下性能如何：

耗时只有 2275 毫秒，性能比 mybatis-plus 自带的 saveBatch 好了 26 倍！

这时，我又突然回想起以前直接用 JDBC 批量保存的接口，那都到这份上了，顺带也跑跑看！

1000条数据用 JDBC executeBatch 插入

耗时是 55663 毫秒，所以 JDBC executeBatch 的性能跟 mybatis-plus 的 saveBatch 一样（底层一样）。

综上所述，拼接 sql 的方式实现批量保存效率最佳。

但是我又不太甘心，总感觉应该有什么别的法子，然后我就继续跟着 mybatis-plus 的源码 debug 了一下，跟到了 mysql 的驱动，突然发现有个 if 里面的条件有点显眼：

 

 

就是这个叫 rewriteBatchedStatements 的玩意，从名字来看是要重写批操作的 Statement，前面batchHasPlainStatements 已经是 false，取反肯定是 true，所以只要这参数是 true 就会进行一波操作。

我看了下默认是 false。

同时我也上网查了下 rewriteBatchedStatements 参数，好家伙，好像有用！我直接将 jdbcurl 加上了这个参数： 

 

然后继续跑了下 mybatis-plus 自带的 saveBatch，果然性能大大提高，跟拼接 SQL 差不多！ 

顺带我也跑了下 JDBC 的 executeBatch ，果然也提高了。 

然后我继续 debug ，来探探 rewriteBatchedStatements 究竟是怎么 rewrite 的！

如果这个参数是 true，则会执行下面的方法且直接返回：

看下 executeBatchedInserts 究竟干了什么： 

看到上面我圈出来的代码没，好像已经有点感觉了，继续往下 debug。

果然！sql 语句被 rewrite了：

对插入而言，所谓的 rewrite 其实就是将一批插入拼接成 insert into xxx values (a),(b),(c)...这样一条语句的形式然后执行，这样一来跟拼接 sql 的效果是一样的。

那为什么默认不给这个参数设置为 true 呢？

原来是这样的：

1. 如果批量语句中的某些语句失败，则默认重写会导致所有语句都失败。

2. 批量语句的某些语句参数不一样，则默认重写会使得查询缓存未命中。

看起来影响不大，所以我给我的项目设置上了这个参数！

 

最后

稍微总结下我粗略的对比（虽然粗略，但实验结果符合原理层面的理解），如果你想更准确地实验，可以使用JMH，并且测试更多组数（如 5000，10000等）的情况。

 

在处理 JDBC 的批量操作时，有两个性能方面的关键点。首先，需要注意将 rewriteBatchedStatements 设置为 true，以提高性能。其次，如果你倾向于手动拼接 SQL 语句，你需要注意一次拼接的数量并进行分批处理。此外，你也可以通过优化 SQL 查询语句的方式来提高性能。例如，使用索引、避免使用 select * 等操作，可以减少查询所需的时间和资源。还可以使用连接池来缓存数据库连接，减少每次建立连接的时间和成本。总之，通过细致地调整和优化你的数据库操作，你可以显著提高应用程序的性能和稳定性。