Amazon EMR auf EC2 verbessert das Starterlebnis für Cluster durch intelligente Subnetzauswahl
Ab heute bietet Amazon EMR auf EC2 eine höhere Zuverlässigkeit und durch eine optimierte Subnetzauswahl ein besseres Cluster-Starterlebnis für Instance-Flottencluster. Mit diesem Feature reduziert EMR auf EC2 Cluster-Startfehler, die aufgrund von IP-Adressengpässen verursacht werden.
Amazon EMR ist eine Cloud-basierte Big-Data-Plattform für Datenverarbeitung, interaktive Analyse und Machine Learning unter Verwendung von Open-Source-Frameworks wie Apache Spark,Apache Hive und Presto. Bisher wurden bei der Subnetzauswahl für EMR-Cluster nur die verfügbaren IP-Adressen für die Core-Instance-Flotte berücksichtigt. Amazon EMR verwendet jetzt eine Subnetzfilterung beim Start des Clusters und wählt ein Subnetz aus, das über ausreichend freie IP-Adressen verfügt, um alle Instance-Flotten erfolgreich zu starten. Wenn EMR kein Subnetz mit ausreichenden IP-Adressen findet, um den gesamten Cluster zu starten, priorisiert es das Subnetz, das zumindest die Core- und Primär-Instance-Flotten starten kann. In diesem Szenario veröffentlicht EMR ein CloudWatch-Warnereignis, um den Benutzer zu benachrichtigen. Wenn keines der konfigurierten Subnetze für die Bereitstellung der Core- und Primärflotte verwendet werden kann, schlägt EMR beim Cluster-Start fehl und es wird ein kritisches Fehlerereignis ausgelöst. Diese CloudWatch-Ereignisse ermöglichen es Ihnen, Ihre Cluster zu überwachen und bei Bedarf Abhilfemaßnahmen zu ergreifen.
Kunden profitieren von diesem Feature in allen EMR 5.12.1 Versionen und höher, wenn sie EMR-Cluster mit Instance-Flotten mithilfe von Allokationsstrategien starten. Es sind keine weiteren Maßnahmen Ihrerseits erforderlich. Diese Funktion ist in allen AWS-Regionen verfügbar, einschließlich der Regionen AWS GovCloud (USA), in denen Amazon EMR auf EC2 verfügbar ist. Weitere Informationen finden Sie hier in der Dokumentation.