大家好，我是云枫，今天给大家分享我最近困扰我许久的一个问题，大数据量场景下需要把一张表的数据全部查询出来处理加工然后入库另外一张表

遇到问题

对于这样的场景其实就类似于ETL工具处理数据抽取，数据加工，数据加载这样的操作但是自己写代码如何实现内，刚开始我思考这个问题的时候 立马考虑就是用分页去实现，然后就开始自己动手写分页查询开始处理了，直接用500W数据做实验得到的结果就是分页查询到120W左右的时候分页查询效率就极低，一页数据2000条查询时间大概在一分钟左右完全接受不。

分页查询

public void pageQuery() {
    @Cleanup Connection con = dataSource.getConnection();
    @Cleanup Statement stmt = con.createStatement();
    long start = System.currentTimeMillis();
    long offset = 0;
    int size = 100;
    while (true) {
        String sql = String.format("SELECT * FROM YOU_TABLE LIMIT %s, %s", offset, size);
        @Cleanup ResultSet rs = stmt.executeQuery(sql);
        long count = loopResultSet(rs);
        if (count == 0) break;
        offset += size;
    }
    log.info("   分页查询耗时 :: {} ", System.currentTimeMillis() - start);

解决方案

流式查

如果你的查询结果java内存无法承载时，这时候就可以考虑使用ResultSet流式查询来帮你解决数据量大的问题了，流式查询有一点需要注意：必须先读取（或关闭）结果集中的所有行，然后才能对连接发出任何其他查询，否则将引发异常

直接上代码

@Slf4j
@RestController
public class TestController {

    @Autowired
    DataSource dataSource;

    @RequestMapping("/test")
    public String testControler() throws Exception {
        System.out.println("测试成功");
        @Cleanup Connection conn = dataSource.getConnection();
        @Cleanup Statement stmt = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
        stmt.setFetchSize(Integer.MIN_VALUE);
        long start = System.currentTimeMillis();
        @Cleanup ResultSet rs = stmt.executeQuery("SELECT * FROM qcms_book");
        loopResultSet(rs);
        log.info("   流式查询耗时 :: {} ", (System.currentTimeMillis() - start) / 1000);
        return "测试成功";
    }



    @SneakyThrows
    private Long loopResultSet(ResultSet rs) {
        int i =0;
        while (rs.next()) {
            // 业务操作
//            String book_name = rs.getString("book_name");
//            log.info(book_name);
            i++;
            if(i%10000==0){
                log.info(i+"");
            }
        }
        return 1L;
    }
}

测试结果

492W数据花了568秒

对这个结果还是很满意的，主要是通过JDBC的方式实现，如果换个数据库支持JDBC协议应该都支持流式处理不过时间有限我只测试了我项目中使用的Mysql

结束语

1. 几个简单的代码，就能创造出未来
2. 几个简单的算法，便能解决多难的问题
3. 一个编辑器，就能让你编写出惊人的程序
4. 一颗灵感的种子，便能开出创新的花朵
5. 创作不止是热情，更是耐心和毅力的积累
6. 编程不仅是一种技能，更是一种艺术
7. 感谢所有支持我的人，让我在技术路上走得更远更好