Spring batch 재시도

Spring batch 재시도

1. 개요

기본적으로 Spring 배치 작업은 실행 중에 발생한 오류로 인해 실패합니다. 그러나 때때로 간헐적 장애를 처리하기 위해 응용 프로그램의 복원력을 향상시킬 수 있습니다.

이 빠른 튜토리얼에서는 Spring Batch 프레임 워크에서 재시도 로직을 구성하는 방법을 살펴 봅니다 .

2. 사용 사례의 예

입력 CSV 파일을 읽는 배치 작업이 있다고 가정 해 봅시다.

username, userid, transaction_date, transaction_amount
sammy, 1234, 31/10/2015, 10000
john, 9999, 3/12/2015, 12321

그런 다음 REST 엔드 포인트에 도달하여 사용자의 연령 및 postCode 속성 을 페치하여 각 레코드를 처리 합니다.

public class RetryItemProcessor implements ItemProcessor<Transaction, Transaction> {

    @Override
    public Transaction process(Transaction transaction) throws IOException {
        log.info("RetryItemProcessor, attempting to process: {}", transaction);
        HttpResponse response = fetchMoreUserDetails(transaction.getUserId());
        //parse user's age and postCode from response and update transaction
        ...
        return transaction;
    }
    ...
}

마지막으로 통합 출력 XML을 생성합니다 .

<transactionRecord>
    <transactionRecord>
        <amount>10000.0</amount>
        <transactionDate>2015-10-31 00:00:00</transactionDate>
        <userId>1234</userId>
        <username>sammy</username>
        <age>10</age>
        <postCode>430222</postCode>
    </transactionRecord>
    ...
</transactionRecord>

3. ItemProcessor에 재시도 추가

이제 네트워크 속도 저하로 인해 REST 엔드 포인트에 대한 연결 시간이 초과되면 어떻게됩니까? 그렇다면 배치 작업이 실패합니다.

이러한 경우 실패한 항목 처리를 두 번 다시 시도하는 것이 좋습니다. 따라서 실패시 최대 3 번의 재 시도를 수행하도록 배치 작업을 구성 해 보겠습니다 .

@Bean
public Step retryStep(
  ItemProcessor<Transaction, Transaction> processor,
  ItemWriter<Transaction> writer) throws ParseException {
    return stepBuilderFactory
      .get("retryStep")
      .<Transaction, Transaction>chunk(10)
      .reader(itemReader(inputCsv))
      .processor(processor)
      .writer(writer)
      .faultTolerant()
      .retryLimit(3)
      .retry(ConnectTimeoutException.class)
      .retry(DeadlockLoserDataAccessException.class)
      .build();
}

재시도 기능을 활성화 하기 위해 faultTolerant () 를 호출했습니다 . 또한, 우리는 사용 재시도 및 retryLimit을 재 시도 최대 재시도 횟수에 대한 자격 예외 정의하기 위해 각각의 항목에 대한합니다.

4. 재시도 테스트

REST 엔드 포인트 리턴 에이지 와 postCode 가 잠시 동안 다운 된 테스트 시나리오를 보자 . 이 테스트 시나리오에서는 처음 두 API 호출에 대해서만 ConnectTimeoutException이 발생 하고 세 번째 호출은 성공합니다.

@Test
public void whenEndpointFailsTwicePasses3rdTime_thenSuccess() throws Exception {
    FileSystemResource expectedResult = new FileSystemResource(EXPECTED_OUTPUT);
    FileSystemResource actualResult = new FileSystemResource(TEST_OUTPUT);

    when(httpResponse.getEntity())
      .thenReturn(new StringEntity("{ \"age\":10, \"postCode\":\"430222\" }"));

    //fails for first two calls and passes third time onwards
    when(httpClient.execute(any()))
      .thenThrow(new ConnectTimeoutException("Timeout count 1"))
      .thenThrow(new ConnectTimeoutException("Timeout count 2"))
      .thenReturn(httpResponse);

    JobExecution jobExecution = jobLauncherTestUtils
      .launchJob(defaultJobParameters());
    JobInstance actualJobInstance = jobExecution.getJobInstance();
    ExitStatus actualJobExitStatus = jobExecution.getExitStatus();

    assertThat(actualJobInstance.getJobName(), is("retryBatchJob"));
    assertThat(actualJobExitStatus.getExitCode(), is("COMPLETED"));
    AssertFile.assertFileEquals(expectedResult, actualResult);
}

여기에서 우리의 일은 성공적으로 완료되었습니다. 또한 로그에서 id = 1234 인 첫 번째 레코드 가 두 번 실패하고 세 번째 재 시도에 성공한 것이 분명합니다 .

19:06:57.742 [main] INFO  o.s.batch.core.job.SimpleStepHandler - Executing step: [retryStep]
19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=1234
19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=1234
19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=1234
19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=9999
19:06:57.773 [main] INFO  o.s.batch.core.step.AbstractStep - Step: [retryStep] executed in 31ms

마찬가지로, 모든 재 시도가 소진되면 어떻게되는지 확인하기위한 또 다른 테스트 사례를 보도록하겠습니다 .

@Test
public void whenEndpointAlwaysFail_thenJobFails() throws Exception {
    when(httpClient.execute(any()))
      .thenThrow(new ConnectTimeoutException("Endpoint is down"));

    JobExecution jobExecution = jobLauncherTestUtils
      .launchJob(defaultJobParameters());
    JobInstance actualJobInstance = jobExecution.getJobInstance();
    ExitStatus actualJobExitStatus = jobExecution.getExitStatus();

    assertThat(actualJobInstance.getJobName(), is("retryBatchJob"));
    assertThat(actualJobExitStatus.getExitCode(), is("FAILED"));
    assertThat(actualJobExitStatus.getExitDescription(),
      containsString("org.apache.http.conn.ConnectTimeoutException"));
}

이 경우, ConnectTimeoutException 으로 인해 작업이 마지막으로 실패하기 전에 첫 번째 레코드에 대해 세 번의 재 시도가 시도되었습니다 .

5. XML을 사용하여 재시도 구성

마지막으로 위 구성과 동등한 XML을 살펴 보자.

<batch:job id="retryBatchJob">
    <batch:step id="retryStep">
        <batch:tasklet>
            <batch:chunk reader="itemReader" writer="itemWriter"
              processor="retryItemProcessor" commit-interval="10"
              retry-limit="3">
                <batch:retryable-exception-classes>
                    <batch:include class="org.apache.http.conn.ConnectTimeoutException"/>
                    <batch:include class="org.springframework.dao.DeadlockLoserDataAccessException"/>
                </batch:retryable-exception-classes>
            </batch:chunk>
        </batch:tasklet>
    </batch:step>
</batch:job>

6. 결론

이 기사에서는 Spring Batch에서 재시도 로직을 구성하는 방법을 배웠다. 우리는 Java와 XML 구성을 모두 살펴 보았습니다.

또한 재 시도의 실제 작동 방식을 확인하기 위해 단위 테스트를 사용했습니다.

언제나처럼이 튜토리얼의 예제 코드는 GitHub에서 사용할 수 있습니다.

참고
https://www.baeldung.com/spring-batch-retry-logic