? 由于之前一个同事问我mybatisPlus的IService层的saveBatch(Collection entityList)方法批量插入速度实在是太慢了，能否优化下？我过去跟他看了下具体的需求是这样的，一张业务表中有30多万的业务数据，表里的一个字段是一个json的数据字段，要把30多万的数据查出来针对这个json字段解析之后存入另外一张表中，后面他使用了mybatisPlus的IService层的saveBatch发现好慢好慢,，去重是把分页查询出来插入数据的最后一条数据的id存入redis中，每次分页查询数据排序之后id比上一次处理的最后一条数据的id大的数据，如果比该条数据的id小则忽略，后面我给他看了下使用saveBatch插入一批数据1000条大概要好几十分钟的，之前他使用的for循环里面insert每一条处理好的数据，这种是真的非常的慢，慢到你怀疑人生，这个insert方法我在下面的demo中准备数据，往一个表里插入30万条数据的时候使用了下实在是太慢了，后面我使用了一个mybatisPlus的sql注入器的一个批量的方法：

? 使用了该方法之后，在一个测试方法中使用主线程插入模拟的30万数据到一个user的表中只用了：23.209105秒，然后使用多线程异步插入用了：12.1030808秒，这个时间跟机器的性能和网路有关，所以每一次执行这个时间会有所不同的，由于我们使用的数据库是云数据库，所以插入需要走网络，没有使用本地的安装的mysql数据库，使用这个sql批量插入的注入器给那个同事优化了一波之后，他原来使用insertr处理要10个小时后面使用saveBatch也要在2个小时以上，后面优化之后大概估计只要20分钟不到就完了，但是我后面使用这个demo用30万数据，解析一个json字段入库到一张表中是非常快的，就花了10多秒~30多秒的时间就干完了，所以说他那个需求还有优化的空间，后面数据全部跑完之后就不用了，不是我搞所以就能用就行，比原来的效率也是提升了一大截。

? 查询可以使用mybatis的原生sql查询，需要写一个批量插入的方法insert标签中使用foreach遍历一个list然后插入逐条插入数据即可，但是这种需要写大量的代码，还要处理每个插入的字段为空的判断处理，不然遇到插入字段为null就会报错，让人很头疼，所以还是使用mybatisPlus的sql批量注入器基本不需要写啥代码即可实现批量插入操作，而且性能和效率还是杠杆的。

? mybatisPlus的IService层的saveBatch为啥慢？看了下它的源码发现底层封装还是比较深，本质上底层还是一条一条的去插入数据，所以才会慢。

? mybatisPlus的sql注入器有一下几个可以给我们扩展使用的类：

? 项目中批量sql注入器的使用如下：

? 新增一个 MySqlInjector类：

? 将MySqlInjector交给Spring容器管理：新增一个MybatisPlusConfig类如下：

? UserMapper接口中加入insertBatchSomeColumn方法：

? 准备了两张表：user,user_json_data,user表中有个json_data的字段是一个存json格式数据的字段，然后准备30万的数据，向user表中插入30万条构造的数据，SpringBootDemoApplicationTests中代码如下：

? 测试用例的方法：

? UserServiceImpl类中的方法：

? 自定义单例线程池ThreadPoolService：

* IO 密集型：核心线程数 = CPU核数 * 2 *

* 注意：IO密集型 （某大厂实战经验） * 核心线程数 = CPU核数 / (1 - 阻塞系数) * 例如阻塞系数为0.8 ,CPU核数为 4 ，则核心线程数为 20 */ private static final int DEFAULT_CORE_SIZE = Runtime.getRuntime().availableProcessors() * 2; private static final int MAX_QUEUE_SIZE = 100; private static final int QUEUE_INIT_MAX_SIZE = 200; private volatile static ThreadPoolExecutor executor; private ThreadPoolService() { } // 获取单例的线程池对象 public static ThreadPoolExecutor getInstance() { if (executor == null) { synchronized (ThreadPoolService.class) { if (executor == null) { executor = new ThreadPoolExecutor(DEFAULT_CORE_SIZE,// 核心线程数 MAX_QUEUE_SIZE, // 最大线程数 Integer.MAX_VALUE, // 闲置线程存活时间 TimeUnit.MILLISECONDS,// 时间单位 new LinkedBlockingDeque(QUEUE_INIT_MAX_SIZE),// 线程队列 Executors.defaultThreadFactory()// 线程工厂 ); } } } return executor; } public void execute(Runnable runnable) { if (runnable == null) { return; } executor.execute(runnable); } // 从线程队列中移除对象 public void cancel(Runnable runnable) { if (executor != null) { executor.getQueue().remove(runnable); } } }

? 生产者代码：

? 消费者代码：

? 阻塞队列在UserJsonDataServiceImpl类中：

? 这种方式如果数据量太大了阻塞队列中的存储了太多的数据，有可能OOM，30万数据本地跑一点压力都没有，轻轻松松就搞定了，但是数据量太大就需要JVM调下优了，这种方式不用管是spring的事务管理，如果使用mysql数据spring的事务传播级别是：ISOLATION_REPEATABLE_READ，可重复读：可以防止脏读和不可重复读，但是幻读仍可能发生，如果使用oracle数据库spring的事务传播级别是：ISOLATION_READ_COMMITTED，读已提交，可防止脏读，幻读和不可重复读仍可能发生，所以事务默认即可。

? 测试用例：

? UserServiceImpl类中的方法：

? 查询user表中的数据可以按照时间段查询，可以根据年、月查询，然后多线程查询出一批数据之后根据原始数据创建一个ES的索引，将各个时间段的数据存放在各自的索引中，这样根据时间段划分数据到对应的索引上，在多线程往ES各自时间段的索引中写入数据的时候就可以并发并行的去操作各自的索引，而不是去并发的去操作一个索引，这是需要特别注意的一点，使用ES要特别注意：有事务场景下不要使用ES，要控制好并发，不要并发的去操作一个索引，这种一定会翻车的。将数据写入到ES各自的索引后，可以根据时间段去从各自的索引中查数据，这种极大的提高了效率和性能，有兴趣的可以去尝试下这个方案。

? 查询数据量小的情况下可以将查询结果的List分片多线程处理每一个分片的数据

? 切分数据的两个方法：

? 原来我使用多线程写入遇到了事务问题，导致插入到表中的数据每次执行都会少了，后面才知道是myBatis使用的是DefaultSqlSession获取会话的这个类是不安全，所以我才使用mybatis-Spring包下面的的这个SqlSessionTemplate的类提供的方法，自己写了一个原生的mybatis的批量更新的方法，Dao层的Mapper没有集成myBatisPlus的BaseMapper，批量方法就是要处理全部的字段，然后有插入的实体中空的字段没有做判断的就会报错，所以需要判空：

然后调用可以成功的插入:

? 这个是有查询和写入多线程环境下都查询和修改到同一条数据的情况就会出问题，最莫名奇妙的问题就是使用mybaitsPlus的save方法还是saveBatch方法在多线程环境下读写数据会出现报错，单线批量后的数据变少了，原因就是mybaitsPlus使用的DefaultSqlSession，这个类是不安全的，使用使用mybatis-Spring包下面的的这个SqlSessionTemplate的类session是安全的，原因是每次去获取session都加了jvm的（synchronized）锁，保证了获取session不出现并发操作，使用这个类之后在使用多线程来跑就会直接报错，错误就是提示：有的线程没有获取到session而导致调用方法报错，所以使用mybatis-Spring包下面的的这个SqlSessionTemplate写批量更新不能使用多线程操作，这个也是我之前遇到的坑，希望对大家有帮助，请关注点赞加收藏，一键三连哦。