게시된 날짜: Feb 10, 2023
Amazon EMR Serverless는 Amazon EMR의 Serverless 옵션으로 데이터 엔지니어 및 데이터 과학자가 클러스터나 서버를 구성, 관리 및 확장할 필요 없이 오픈 소스 빅 데이터 분석 프레임워크를 실행할 수 있도록 합니다. EMR Serverless 애플리케이션은 내부적으로 워커를 사용하여 워크로드를 실행하며, 사용자는 워크로드의 필요에 따라 다양한 워커 구성을 구성할 수 있습니다. 이전에는 EMR Serverless에서 사용할 수 있는 최대 크기의 워커 구성은 최대 30GB 메모리를 갖춘 vCPU 4개였습니다. 이제는 EMR Serverless에서 더 많은 컴퓨팅 또는 메모리 집약적인 워크로드를 실행할 수 있도록 최대 60GB 메모리를 갖춘 vCPU 8개와 최대 120GB 메모리를 갖춘 vCPU 16개로 구성된 워커 구성을 제공한다는 사실을 발표하게 되어 기쁩니다.
워커의 규모가 크면 작업의 런타임 성능을 개선하는 데 도움이 될 수 있습니다. 용량이 큰 작업이 뒤섞여 있는 경우 대규모 워커를 사용하면 실행기 간의 비효율적인 데이터 전송을 줄일 수 있습니다. 데이터 왜곡으로 인해 작업 시 곤란을 겪고 있다면 워커가 많을수록 메모리 부족 오류가 발생할 가능성이 줄어듭니다. 또한 작업에서 데이터를 캐시해야 하는 경우 워커의 규모가 클수록 더 많은 데이터를 캐시하여 작업 성능을 높일 수 있습니다. 이러한 이점을 활용하려면 컴퓨팅 및 메모리 집약적인 Spark 및 Hive 워크로드에 EMR Serverless의 대규모 워커를 사용하는 것이 좋습니다.