Amazon EMR Serverless, 작업 실행 동시성 및 대기열 제어 기능 도입
Amazon EMR Serverless는 데이터 엔지니어 및 데이터 과학자가 클러스터나 서버를 구성, 관리 및 확장할 필요 없이 오픈 소스 빅 데이터 분석 프레임워크를 실행할 수 있도록 해주는 Amazon EMR의 서버리스 옵션입니다. 오늘 AWS는 작업 실행 동시성 및 대기열 제어에 대한 지원이 포함된 Amazon EMR Serverless에서의 작업 실행 승인 제어 기능을 발표했습니다.
작업 실행 동시성 및 대기열 제어를 통해 애플리케이션의 최대 동시 작업 실행 수를 구성하고 제출된 다른 모든 작업 실행을 자동으로 대기열에 넣을 수 있습니다. 이렇게 하면 작업 실행 제출의 급증으로 인해 API 제한이 초과되거나 계정 또는 애플리케이션의 최대 동시 vCPU 제한 또는 기본 서브넷의 IP 주소 제한 초과로 인해 리소스가 소진될 때 발생하는 작업 실행 실패를 방지할 수 있습니다. 또한 작업 실행 대기열을 사용하면 제한 오류(예: 최대 동시 vCPU, 서브넷 IP 주소 제한 등)로 인해 실패한 작업을 재시도하기 위해 복잡한 대기열 관리 시스템을 구축할 필요가 없으므로 작업 실행 관리가 간소화됩니다. 이 기능을 통해 동시성 슬롯을 사용할 수 있게 됨에 따라 작업이 자동으로 대기열에 추가되고 처리되므로 효율적인 리소스 활용을 보장하고 작업 실패를 방지할 수 있습니다.
Amazon EMR Serverless 작업 실행 동시성 및 대기열 제어 기능은 AWS GovCloud(미국) 리전 포함 및 중국 리전을 제외한 AWS EMR Serverless를 사용할 수 있는 모든 AWS 리전에서 사용할 수 있습니다. 자세한 내용은 EMR Serverless 설명서의 작업 동시성 및 대기열을 참조하세요.