Hibernate批量处理海量数据的方法

您所在的位置：网站首页 › hibernate保存数据的方法 › Hibernate批量处理海量数据的方法

Hibernate批量处理海量数据的方法

2023-11-11 11:40| 来源: 网络整理| 查看: 265

本文实例讲述了Hibernate批量处理海量数据的方法。分享给大家供大家参考，具体如下：

Hibernate批量处理海量其实从性能上考虑，它是很不可取的，浪费了很大的内存。从它的机制上讲，Hibernate它是先把符合条件的数据查出来，放到内存当中，然后再进行操作。实际使用下来性能非常不理想，在笔者的实际使用中采用下面的第三种优化方案的数据是：100000条数据插入数据库，需要约30分钟，呵呵，晕倒。(本人10分钟插入1000000条数据(字段比较小))

总结下来有三种来处理以解决性能问题：

　　1：绕过Hibernate API ，直接通过 JDBC API 来做，这个方法性能上是比较好的。也是最快的。

　　2：运用存储过程。

　　3：还是用Hibernate API 来进行常规的批量处理，可以也有变，变就变在，我们可以在查找出一定的量的时候，及时的将这些数据做完操作就删掉，session.flush();session.evict(XX对象集); 这样也可以挽救一点性能损失。这个"一定的量"要就要根据实际情况做定量参考了。一般为30-60左右，但效果仍然不理想。

　　1：绕过Hibernate API ，直接通过 JDBC API 来做，这个方法性能上是比较好的，也是最快的。(实例为更新操作)

1 Transaction tx=session.beginTransaction(); //注意用的是hibernate事务处理边界 2 Connection conn=session.connection(); 3 PreparedStatement stmt=conn.preparedStatement("update CUSTOMER as C set C.sarlary=c.sarlary+1 where c.sarlary>1000"); 4 stmt.excuteUpdate(); 5 tx.commit(); //注意用的是hibernate事务处理边界

　　这小程序中，采用的是直接调用JDBC 的API 来访问数据库，效率很高。避免了Hibernate 先查询出来加载到内存，再进行操作引发的性能问题。　　2：运用存储过程。但这种方式考虑到易植和程序部署的方便性，不建议使用。(实例为更新操作)

如果底层数据库(如Oracle)支持存储过程，也可以通过存储过程来执行批量更新。存储过程直接在数据库中运行，速度更加快。在Oracle数据库中可以定义一个名为batchUpdateCustomer()的存储过程，代码如下：

1 create or replace procedure batchUpdateCustomer(p_age in number) as begin update CUSTOMERS set AGE=AGE+1 where AGE>p_age;end;

　　以上存储过程有一个参数p_age，代表客户的年龄，应用程序可按照以下方式调用存储过程：

1 tx = session.beginTransaction(); 2 Connection con=session.connection(); 3 String procedure = "{call batchUpdateCustomer(？) }"; 4 CallableStatement cstmt = con.prepareCall(procedure); 5 cstmt.setInt(1，0); //把年龄参数设为0 6 cstmt.executeUpdate(); 7 tx.commit();

　　从上面程序看出，应用程序也必须绕过Hibernate API，直接通过JDBC API来调用存储过程。

　　3：还是用Hibernate API 来进行常规的批量处理，可以也有变，变就变在，我们可以在查找出一定的量的时候，及时的将这些数据做完操作就删掉，session.flush();session.evict(XX对象集); 这样也可以挽救一点性能损失。这个"一定的量"要就要根据实际情况做定量参考了……　　(实例为保存操作)

　　业务逻辑为：我们要想数据库插入10 0000 条数据

1 tx=session.beginTransaction(); 2 for(int i=0;ia; 4 end; 1 Transaction tx=session.beginSession(); 2 Connection conn=session.connection(); 3 String pd="……{call batchUpdateStudent(？)}"; 4 CallableStatement cstmt=conn.PrepareCall(pd); 5 cstmt.setInt(1，20); //把年龄这个参数设为20 6 tx.commit();

　　观察上面的代码，也是绕过Hibernate API，使用 JDBC API来调用存储过程，使用的还是Hibernate的事务边界。存储过程无疑是提高批量处理性能的一个好方法，直接运行与数据库端，某种程度上讲把批处理的压力转接给了数据库。

　　参考博客：http://www.jb51.net/article/81436.htm

【本文地址】

Hibernate批量处理海量数据的方法

Hibernate批量处理海量数据的方法

今日新闻

推荐新闻