게시된 날짜: Apr 1, 2024
AWS는 계속해서 최적의 클러스터 운영을 보장하고 데이터 손실을 방지하는 새로운 EC2 기반 Amazon EMR 기능을 출시하게 되었습니다. 이 기능을 사용하면 비정상 코어 노드를 정상 상황에서 자동으로 교체할 수 있습니다. 또한 EC2 기반 EMR은 CloudWatch 이벤트를 게시하여 노드 상태 및 복구 작업에 대한 가시성을 제공합니다. 이러한 개선 사항은 모든 Amazon EMR 릴리스에서 사용할 수 있습니다.
EC2 기반 EMR을 사용하면 컴퓨팅 인프라 또는 오픈 소스 애플리케이션 설정을 관리할 필요 없이 데이터 처리 클러스터를 손쉽게 프로비저닝하고 확장할 수 있습니다. 그러나 기본 하드웨어 또는 메모리 과다 사용 문제로 인해 EMR 노드가 비정상 상태가 되는 경우가 발생할 수 있습니다. 이전에는 종료 보호 클러스터의 경우 비정상 코어 노드가 유휴 상태로 남아 클러스터 용량에 계속 포함되었습니다. 다른 클러스터의 경우 코어 노드 교체 프로세스가 제대로 진행되지 않았습니다. 오늘 출시된 Amazon EMR은 클러스터의 종료 보호 설정에 관계없이 비정상 코어 노드를 정상적으로 해체 및 교체하여 작업 중단을 최소화하고 데이터 손실을 방지합니다. 또한 Amazon EMR은 EMR 콘솔과 Amazon EventBridge에서 사용할 수 있는비정상 노드 교체 이벤트를 게시합니다.
비정상 코어 노드의 정상적인 교체는 일반적으로 EC2 기반 Amazon EMR을 사용할 수 있는 모든 AWS 리전에서 사용할 수 있습니다.
이번 출시가 기존 워크플로에 영향을 주지 않도록 종료 보호 기능이 활성화된 EMR 7.0.0 이하 릴리스를 실행하는 클러스터에 대한 비정상 노드 교체를 기본적으로 해제합니다. 다른 모든 클러스터의 경우 이 기능이 기본적으로 켜집니다. 자세한 내용은 비정상 노드 교체를 참조하세요.