JDBC批量处理数据

您所在的位置:网站首页 jdbc批处理的步骤 JDBC批量处理数据

JDBC批量处理数据

2023-12-14 03:49| 来源: 网络整理| 查看: 265

JDBC使用MySQL处理大数据的时候,自然而然的想到要使用批处理,

普通的执行过程是:每处理一条数据,就访问一次数据库;

而批处理是:累积到一定数量,再一次性提交到数据库,减少了与数据库的交互次数,所以效率会大大提高

至于事务:事务指逻辑上的一组操作,组成这组操作的各个单元,要不全部成功,要不全部不成功,默认是关闭事务的。

              更多事务的资料,请参考这里:http://blog.csdn.net/caomiao2006/article/details/22412755

 

1. PreparedStatement使用批处理 executeBatch()        1.1. 不使用executeBatch(),而使用executeUpdate()

          代码如下:  

         Class.forName("com.mysql.jdbc.Driver");          Connection conn = DriverManager.getConnection(dbUrl, user, password);          PreparedStatement pstmt = conn.prepareStatement("update content set introtext=? where id=?");

         for(int i=0; i              pstmt.setString(1, "abc"+i);              pstmt.setInt(2, id);              pstmt.addBatch();//添加到同一个批处理中          }

         pstmt.executeBatch();//执行批处理

 

         注意:1. 如果使用了 addBatch() -> executeBatch() 还是很慢,那就得使用到这个参数了

                      rewriteBatchedStatements=true (启动批处理操作)

                      在数据库连接URL后面加上这个参数:      

                          String dbUrl =  "jdbc:mysql://localhost:3306/User? rewriteBatchedStatements=true";

                      2. 在代码中,pstmt的位置不能乱放,

                          //必须放在循环体外

                     pstmt = conn.prepareStatement("update content set introtext=? where id=?");

                     for(int i=0; i                pstmt.setString(1, tempintrotext);                pstmt.setInt(2, id);                pstmt.addBatch();

               //每500条执行一次,避免内存不够的情况,可参考,Eclipse设置JVM的内存参数

               if(i>0 && i%500==0){                     pstmt.executeBatch();

                    //如果不想出错后,完全没保留数据,则可以每执行一次提交一次,但得保证数据不会重复

                    conn.commit();

                }

         }           pstmt.executeBatch();//执行最后剩下不够500条的           pstmt.close();

          conn.commit();//执行完后,手动提交事务          conn.setAutoCommit(true);//再把自动提交打开,避免影响其他需要自动提交的操作           conn.close();

 较完整的代码:

 View Code

运行结果:

   分别是: 不用批处理,不用事务;

               只用批处理,不用事务;

               只用事务,不用批处理;

               既用事务,也用批处理;(很明显,这个最快,所以建议在处理大批量的数据时,同时使用批处理和事务)

 



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3