인스턴스 플릿을 재구성하여 실행 중인 EMR 클러스터를 동적으로 업데이트 가능
Amazon EMR on EC2는 이제 클러스터를 종료하거나 다시 시작할 필요 없이 EMR 인스턴스 플릿의 애플리케이션 구성을 실시간으로 업데이트할 수 있게 되었습니다. 고객은 이 기능을 통해 이제 실행 중인 클러스터에서 Spark의 실행기 메모리, YARN의 리소스 할당, HDFS 설정과 같은 애플리케이션 구성을 동적으로 원활하게 조정하여 워크로드 중단을 최소화할 수 있습니다. 이 기능은 최적의 리소스 활용을 보장하면서 데이터 처리 및 작업 성능 요구 사항에 맞게 리소스 할당을 조정하고 애플리케이션을 미세 조정하는 데 특히 유용합니다.
Amazon EMR은 Apache Spark, Apache Flink 및 Trino와 같은 오픈 소스 프레임워크를 사용하는 데이터 처리, 대화식 분석 및 기계 학습용 클라우드 빅 데이터 플랫폼입니다. 이전에는 새 구성으로 인스턴스 플릿 클러스터를 종료하고 다시 시작해야 했습니다. 이러한 프로세스로 인해 가동 중지 시간이 발생하고, 운영 노력이 증가했으며, 워크플로 조정이 지연되었습니다. 재구성 기능이 지원됨에 따라 EMR은 클러스터 안정성과 리소스 가용성을 보장하면서 업데이트된 구성을 클러스터 노드에 지속적으로 동적으로 적용합니다. Amazon CloudWatch 및 EMR 이벤트를 통해 고객에게 알림을 제공합니다. 장애가 발생하거나 업데이트가 호환되지 않는 경우 EMR은 변경 사항을 롤백하여 클러스터가 정상적으로 작동되도록 합니다. 업데이트 프로세스 중에 클러스터에서 워크로드를 계속 실행할 수 있습니다.
AWS CLI 또는 API를 사용하여 모든 EMR 5.21 이상 릴리스에서 이 기능을 활용할 수 있습니다. AWS GovCloud(미국) 리전을 비롯하여 Amazon EMR on EC2가 제공되는 모든 AWS 리전에서 이 기능을 사용할 수 있습니다. 자세한 내용은 여기에서 설명서를 참조하세요.