项目里要完成个补录数据的功能。因为历史数据太多,一下要保存大量数据到数据库。没做二级缓存清理的时候,跑着跑着系统就down掉了。只有做了下优化,效率提高了很多。
1,分次把一定数量的更新数据保存到list里,传递到DAO层
2,在DAO层要及时清除缓存,即每插入一定量的数据后及时把它们从内部缓存中清除掉,释放占用的内存。
// 每处理50条清空缓存 session.save(myObject); if (i/50 == 0) {session.flush();session.clear(); }// 在我的项目中写法如下: if (i/50 == 0) {this.getHibernateTemplate().flush();this.getHibernateTemplate().clear(); }
3,还有效率更高的做法是绕开Hibernate API,使用JDBC API来做批量插入
setAutoCommit 手动提交事务
addBatch() 添加处理语句
executeBatch() 一次提交sql语句
String insertSql = "insert into user(name,address) values(?,?)"; Session session = getHibernateTemplate().getSessionFactory().openSession(); Connection conn = session.connection(); PrepareStatement stmt = conn.prepareStatement(insertSql);// 方式1:自动提交 conn.setAutoCommit(true); for(int i = 0; i++; i<10000) {stmt.setString(1, "testName");stmt.setString(2, "testAddress");stmt.execute(); }// 方式2:批量提交 conn.setAutoCommit(false); for(int i = 0; i++; i<10000) {stmt.setString(1, "testName");stmt.setString(2, "testAddress");stmt.addBatch();if (i % 100 == 0) {stmt.executeBatch();conn.commit();} } stmt.executeBatch(); conn.commit();// 关闭session session.close();