java

关注公众号 jb51net

关闭
首页 > 软件编程 > java > springbatch使用

springbatch使用过程详解

作者:nu11cat

Spring Batch 是一个功能强大且可扩展的批量处理框架,旨在帮助开发者高效地处理大量数据的任务,本文给大家介绍springbatch使用过程详解,感兴趣的朋友一起看看吧

什么是 Spring Batch?

Spring Batch 是一个功能强大且可扩展的批量处理框架,旨在帮助开发者高效地处理大量数据的任务。它提供了一系列与批处理相关的功能,比如批量数据读取、处理、写入、事务管理、作业执行和监控等。Spring Batch 适用于需要在后台处理大规模数据或定时任务的应用,广泛应用于数据迁移、数据处理、批量报表生成等场景。

定义与特点

常见应用场景

背景:并发抽取接口数据。通过ai生成后调试了老半天才能使,记录一下

主要是处理器Processor, 读取器Reader和写库用的Writer

使用了框架的Shell功能,挺强大的。

如果要对接口读取的数据做过滤,可以增加执行参数,如:–skip-filter

public class ExamReportItemProcessor implements ItemProcessor<ExamReportDto, ExamReportEntity> {
    @Autowired
    private InpatientValidationService inpatientValidationService;
    private static final DateTimeFormatter DATE_TIME_FORMATTER = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss");
    private boolean skipFilter = false;
    @BeforeStep
    public void beforeStep(StepExecution stepExecution) {
        JobParameters jobParameters = stepExecution.getJobParameters();
        String skipFilterStr = jobParameters.getString("skipFilter");
        this.skipFilter = "true".equalsIgnoreCase(skipFilterStr);
    }

还要注意:并发执行命令需要用到注解@StepScope,否则会陷入分批次拉数据却只调用一次的尴尬, 调了许久

# 这是在BatchConfig.java中的配置
@Bean
@StepScope
 public ExamReportItemReader examReportItemReader() {
     return new ExamReportItemReader();
 }
 @Bean
 @StepScope
 public ExamReportItemProcessor examReportItemProcessor() {
     return new ExamReportItemProcessor();
 }

另外我是用cursor的auto模式调试的,出现问题就将问题和输入的命令进行反馈,经历了4-5次才能跑通了

放个私有的gitee地址

过程记录

# 使用curl检测接口,使用的POST格式,(接口每次只返回一页数据和总页数.为了方便,直接全部保存)
curl -X POST “http:xxxx“ -H "Content-Type: application/json" -d '{"StartTime": "2025-01-01 00:00:00"....}'
# 使用json_pp美化json语句,挺方便,没有额外安装工具
echo '{"name":"john","age":30}' | json_pp!74

到此这篇关于springbatch使用过程详解的文章就介绍到这了,更多相关springbatch使用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

您可能感兴趣的文章:
阅读全文