게시된 날짜: Feb 9, 2023
오늘 AWS에서는 작업 실행 복원력을 높이는 Amazon EMR on EKS의 새로운 기능을 발표했습니다. 지금까지는 오류 발생 시에도 Spark 작업이 계속 실행되도록 하기 위해서는 사용자가 Amazon EMR on EKS 외부에서 사용자 지정 작업 실행 재시도 메커니즘을 직접 구축해야 했습니다. 이제 이 기능을 사용하면 장애 발생 시 Amazon EMR on EKS에서 작업을 자동으로 다시 제출하도록 함으로써 시간을 절약하고 업무상 중요한 장기 실행 스트리밍 워크로드를 계속 실행할 수 있습니다.
작업 재시도 기능의 경우, 제한된 실행 시도 횟수를 제공하여 재시도 정책을 정의하면 Amazon EMR on EKS가 각 작업 실행 중에 이 정책을 적용 및 모니터링하여 DescribeJobRun API 및 AWS CloudWatch 이벤트를 통해 수행 중인 각 재시도에 대한 가시성을 제공합니다.