Java项目中大批量数据查询导致OOM的解决
作者：逆流°只是风景-bjhxcc
本文主要介绍了Java项目中大批量数据查询导致OOM的解决，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
背景
项目中有时候一次性将大批量数据都查出来到内存中导致内存占用过多很可能会导致内存溢出
内存溢出的具体原因
在JVM内存结构中分为以下几个模块
- 程序计数器
- 虚拟机栈
- 本地方法栈
- 堆内存
- 方法区
程序中的实例对象包括从数据库读取的数据是存在堆内存中的。所以这里的OutOfMemoryError是因为数据量过大超过了堆内存中设置的最大内存，一次性读取的数据太多导致内存容纳不下，抛出了内存异常
错误模拟
如果堆的内存大小超过 -Xmx 设定的最大内存， 就会抛出 OutOfMemoryError 异常，先准备好数据在启动项目时把堆内存的最大值设置小一点就可以进行模拟内存溢出的异常
搭建一个本地项目。需求描述：查询表call_task中待拨打的数据进行拨打，call_task中一次可能会有大批量数据需要处理。本次准备了1万条数据
/**
* 查询数据执行拨打
**/
@Override
public void waitingCall() {
List<CallTask> waitingTaskList = list(Wrappers.<CallTask>lambdaQuery()
.eq(CallTask::getCallStatus, "WAITING")
.le(CallTask::getReqTime, new Date())
);
if (CollUtil.isEmpty(waitingTaskList)) {
return;
}
call(waitingTaskList);
}
/**
* 模拟执行具体拨打数据
**/
private void call(List<CallTask> waitingTaskList) {
try {
TimeUnit.SECONDS.sleep(5);
} catch (InterruptedException e) {
throw new RuntimeException(e);
}
}启动项目时将JVM堆内存的大小调整到合适数值（可以造成内存溢出的情况）。本次最大设置的20m，最小设置的10m
- -Xmx用来表示堆的最大内存
- -Xms用来表示堆的最小内存
idea设置方式, 选择 run/debug configurations 设置 VM options
问题复现
启动程序执行方法，程序出现错误 java.lang.OutOfMemoryError: Java heap space
解决办法
既然是数据量过大导致的问题，我们可以减少每次查询的数据来解决这个问题
使用分页查询，避免一次性查询所有的数据，分批次处理
public void methodOne() {
long page = 1;
long limit = 500;
long total;
do {
Page<CallTask> taskPage = new Page<>(page, limit);
Page<CallTask> pagResult = page(taskPage,
Wrappers.<CallTask>lambdaQuery()
.eq(CallTask::getCallStatus, "WAITING")
.le(CallTask::getReqTime, new Date()));
total = pagResult.getTotal();
List<CallTask> records = pagResult.getRecords();
if (CollUtil.isEmpty(records)) {
break;
}
call(records);
page++;
} while (page * limit < total);
}使用流式查询
public void methodTwo() {
Date reqDate = new Date();
LambdaQueryWrapper<CallTask> wrapper = Wrappers.<CallTask>lambdaQuery()
.eq(CallTask::getCallStatus, "WAITING")
.le(CallTask::getReqTime, reqDate);
int batchSize = 1000;
int offset = 0;
while (true) {
List<CallTask> taskList = list(wrapper.last("limit " + offset + "," + batchSize));
if (CollUtil.isEmpty(taskList)) {
break;
}
offset += batchSize;
call(taskList);
}
}流式查询和分页查询的使用场景
分页查询通常用于展示数据，如在网页上显示数据列表，需要分页展示。而流式查询通常用于数据处理，如在数据清洗、数据分析等场景中
查询数据的建议
减少查询字段，避免 select *
到此这篇关于Java项目中大批量数据查询导致OOM的解决的文章就介绍到这了,更多相关Java数据查询导致OOM内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！