正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java hea

标签: 正确 mysql jdbc | 发表时间:2015-05-16 01:21 | 作者:一笑_奈何
出处:http://www.iteye.com
昨天在项目中需要对日志的查询结果进行导出功能。

日志导出功能的实现是这样的,输入查询条件,然后对查询结果进行导出。由于日志数据量比较大。多的时候,有上亿条记录。

之前的解决方案都是多次查询,然后使用limit 限制每次查询的条数。然后导出。这样的结果是效率比较低效。

那么能不能一次查询就把所有结果倒出来了?于是我就使用一次查询,不使用limit分页。结果出现 java.lang.OutOfMemoryError: Java heap space问题。

看来是DB服务器端将一次将查询到的结果集全部发送到Java端保存在内存中。由于结果集比较大,所以出现OOM问题。

首先我想到的是游标功能。那么是不是可以使用游标,一次从服务器端慢慢的取呢?上网查询了一下,大家都说MySQL不支持游标功能等等。

后来就去看JDBC代码。找到了setFetchSize()方法,结果设置以后,却不能生效,还是出现OOM问题。
我的设置如下
[java] view plaincopy
ps=conn.con.prepareStatement("select * from bigTable"); 
ps.setFetchSize(1000); 


后来老大在MySQL看到了这样的方法:
[java] view plaincopy
ps = (PreparedStatement) con.prepareStatement("select * from bigTable", 
                ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); 
        ps.setFetchSize(Integer.MIN_VALUE); 
        ps.setFetchDirection(ResultSet.FETCH_REVERSE); 

对此解释是:MySQL JDBC默认客户端数据接收方式为如下:

默认为从服务器一次取出所有数据放在客户端内存中,fetch size参数不起作用,当一条SQL返回数据量较大时可能会出现JVM OOM。
要一条SQL从服务器读取大量数据,不发生JVM OOM,可以采用以下方法之一:

1、当statement设置以下属性时,采用的是流数据接收方式,每次只从服务器接收部份数据,直到所有数据处理完毕,不会发生JVM OOM。
          setResultSetType(ResultSet.TYPE_FORWARD_ONLY);
          setFetchSize(Integer.MIN_VALUE);

2、调用statement的enableStreamingResults方法,实际上enableStreamingResults方法内部封装的就是第1种方式。
3、设置连接属性useCursorFetch=true (5.0版驱动开始支持),statement以TYPE_FORWARD_ONLY打开,再设置fetch size参数,表示采用服务器端游标,每次从服务器取fetch_size条数据。

设置以后,果然可以解决我的问题。
附上代码:
[java] view plaincopy
package com.seven.dbTools.DBTools; 
 
import java.sql.Connection; 
import java.sql.DriverManager; 
import java.sql.PreparedStatement; 
import java.sql.ResultSet; 
import java.sql.SQLException; 
import java.sql.Statement; 
import java.util.ArrayList; 
 
public class JdbcHandleMySQLBigResultSet { 
 
    public static long importData(String sql){ 
        String url = "jdbc:mysql://ipaddress:3306/test?user=username&password=password"; 
        try { 
            Class.forName("com.mysql.jdbc.Driver"); 
        } catch (ClassNotFoundException e1) { 
            e1.printStackTrace(); 
        } 
        long allStart = System.currentTimeMillis(); 
        long count =0; 
 
        Connection con = null; 
        PreparedStatement ps = null; 
        Statement st = null; 
        ResultSet rs = null; 
        try { 
            con = DriverManager.getConnection(url); 
             
            ps = (PreparedStatement) con.prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY, 
                      ResultSet.CONCUR_READ_ONLY); 
                       
            ps.setFetchSize(Integer.MIN_VALUE); 
             
            ps.setFetchDirection(ResultSet.FETCH_REVERSE); 
 
            rs = ps.executeQuery(); 
 
 
            while (rs.next()) { 
                 
                //此处处理业务逻辑 
                count++; 
                if(count%600000==0){ 
                    System.out.println(" 写入到第  "+(count/600000)+" 个文件中!"); 
                    long end = System.currentTimeMillis(); 
                } 
                 
            } 
            System.out.println("取回数据量为  "+count+" 行!"); 
        } catch (SQLException e) { 
            e.printStackTrace(); 
        } finally { 
            try { 
                if(rs!=null){ 
                    rs.close(); 
                } 
            } catch (SQLException e) { 
                e.printStackTrace(); 
            } 
            try { 
                if(ps!=null){ 
                    ps.close(); 
                } 
            } catch (SQLException e) { 
                e.printStackTrace(); 
            } 
            try { 
                if(con!=null){ 
                    con.close(); 
                } 
            } catch (SQLException e) { 
                e.printStackTrace(); 
            } 
        } 
        return count; 
 
    } 
 
    public static void main(String[] args) throws InterruptedException { 
 
        String sql = "select * from test.bigTable "; 
        importData(sql); 
 
    } 
 




最近对JDBC有了进一步的了解。关于JDBC,推荐我的另一篇文章,用于解决不写文件,从Java IO流中直接导入数据到MySQL:

已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [正确 mysql jdbc] 推荐:

正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java hea

- - Java - 编程语言 - ITeye博客
昨天在项目中需要对日志的查询结果进行导出功能. 日志导出功能的实现是这样的,输入查询条件,然后对查询结果进行导出. 之前的解决方案都是多次查询,然后使用limit 限制每次查询的条数. 那么能不能一次查询就把所有结果倒出来了. 于是我就使用一次查询,不使用limit分页. 结果出现 java.lang.OutOfMemoryError: Java heap space问题.

MySQL中关于JDBC URL几个重要参数说明

- - ITeye博客
  常用的有两个,一个是gjt(Giant Java Tree)组织提供的mysql驱动,其JDBC Driver名称(JAVA类名)为:org.gjt.mm.mysql.Driver.   详情请参见网站:http://www.gjt.org/.   或在本网站下载mysql JDBC Driver(mm.jar).

jdbc测试mysql数据库sql预解析(绑定变量)

- - CSDN博客推荐文章
jdbc测试mysql数据库sql预解析(绑定变量).         用习惯了oracle,学习mysql,想测试一下mysql绑定变量的效果. 以前看网上介绍大部份都说mysql没有sql共享池的概念,所以也不存在sql预解析或绑定变量的说法.         今天测试了一下(通过网络抓包和看服务器端sql日志的方法),发现mysql还是有sql预解析的实现.

MYSQL JDBC的批处理操作三种方式

- - 数据库 - ITeye博客
SQL批处理是JDBC性能优化的重要武器,经本人研究总结,批处理的用法有三种. * JDBC的批量操作三种方式 .          * 批量执行预定义模式的SQL .                         pstmt.addBatch();                     //添加一次预定义参数 .

HA-JDBC -

- -
The state manager component is responsible for storing the active status of each database in the cluster, as well as any durability state.

mysql错误编号和jdbc对应的sql编号对应一览

- - CSDN博客研发管理推荐文章
作者:lzq123_1 发表于2014-11-12 13:29:10 原文链接. 阅读:82 评论:0 查看评论.

正确重置MySQL密码

- xxg - 火丁笔记
谁都不想弄丢家门钥匙,但不管多么小心,时间长了,这样的事情总会发生几次. MySQL密码也是一样,把它写在文档上不太安全,记在脑子里又难免会忘记. 如果你忘记了MySQL密码,如何重置它呢. 首先停止MySQL服务,然后使用skip-grant-tables参数启动它:. 此时无需授权就可以进入到MySQL命令行,使用SQL重置MySQL密码:.

JDBC性能小贴

- - 开源软件 - ITeye博客
本文收集了一些用于提升JDBC性能的方法. Java应用或者JavaEE Web应用的性能是很重要的,尤其是数据库后端对应用的性能影响. 不知你是否经历过Java、JavaEE web应用非常慢的案例没有(处理一个简单的请求都要花上好几秒的时间用于数据库访问,分页、排序等). 下面这些贴士也许能提升Java应用的性能.

oracle的jdbc驱动

- - Oracle - 数据库 - ITeye博客
oracle的jdbc驱动主要有下面三类:.   1、JDBC OCI: oci是oracle call interface的缩写,此驱动类似于传统的ODBC 驱动. 因为它需要Oracle Call Interface and Net8,所以它需要在运行使用此驱动的JAVA程序的机器上安装客户端软件,其实主要是用到orcale客户端里以dll方式提供的oci和服务器配置.

jdbc日志,Log4jbdc-remix使用

- - 企业架构 - ITeye博客
   做项目的时候给jdbc做日志,只打印出代. 由是看看有没有给jdbc做日志的框架. 找到了log4jdbc,但是觉得还不是很理想,由是又看了看,还有一个护展插件log4jdbc-remix. 先不扯这么多,先来教大家怎么使用吧. 使用这个插件依赖4个类:log4j,slf4j-log4j,slf4j-api,log4j-remix.