지능형 서브넷 선택 기능이 추가되어 클러스터 시작 환경이 개선된 Amazon EMR on EC2
오늘부터 Amazon EMR on EC2에서 향상된 서브넷 선택 기능을 사용하여 인스턴스 플랫 클러스터의 클러스터 시작 환경과 신뢰성을 개선할 수 있습니다. 이 기능을 사용하는 경우 EMR on EC2에서 IP 주소 부족으로 인해 발생하는 클러스터 시작 오류가 감소합니다.
Amazon EMR은 Apache Spark, Apache Hive 및 Presto와 같은 오픈 소스 프레임워크를 사용하는 데이터 처리, 대화식 분석 및 기계 학습용 클라우드 빅 데이터 플랫폼입니다. 이전에는 EMR 클러스터용 서브넷을 선택할 때 코어 인스턴스 플릿에 사용 가능한 IP 주소만 고려했습니다. 이제는 Amazon EMR이 클러스터 시작 시 서브넷 필터링을 적용하며, 사용 가능한 IP 주소 수가 충분한 서브넷 중 하나를 선택하여 모든 인스턴스 플릿을 정상적으로 시작합니다. EMR은 전체 클러스터를 실행하기에 충분한 IP 주소가 포함되어 있는 서브넷을 찾지 못하면 최소한 코어 및 기본 인스턴스 플릿을 시작할 수 있는 IP 주소가 포함된 서브넷을 우선적으로 선택합니다. 그리고 이 시나리오에서 EMR은 CloudWatch 경고 이벤트를 게시하여 사용자에게 알림을 제공합니다. 구성되어 있는 서브넷 중 코어 및 기본 플릿을 프로비저닝하는 데 사용할 수 있는 서브넷이 없으면 EMR은 클러스터 시작을 실패 처리하고 심각한 오류 이벤트를 생성합니다. 이러한 CloudWatch 이벤트에서 클러스터를 모니터링하고 필요에 따라 수정 조치를 취할 수 있습니다.
고객은 할당 전략을 사용하여 EMR 인스턴스 플릿 클러스터를 시작할 때 모든 EMR 5.12.1 이상 릴리스에서 이 기능을 활용할 수 있습니다. 사용자가 취해서야 추가 조치는 없습니다. AWS GovCloud(미국) 리전을 비롯하여 Amazon EMR on EC2가 제공되는 모든 AWS 리전에서 이 기능을 사용할 수 있습니다. 자세한 내용은 여기에서 설명서를 살펴보세요.