Aktualisieren Sie Ihren aktiven EMR-Cluster dynamisch mit der Rekonfiguration für Instance-Flotten
Amazon EMR auf EC2 unterstützt jetzt die Echtzeit- Aktualisierung der Anwendungskonfigurationen für EMR-Instance-Flotten, ohne dass eine Beendigung oder ein Neustart des Clusters erforderlich ist. Mit dieser Funktion können Kunden jetzt Anwendungskonfigurationen wie den Executor-Speicher von Spark, die Ressourcenzuweisung von YARN und die HDFS-Einstellungen nahtlos auf einem aktiven Cluster dynamisch anpassen, wodurch Unterbrechungen bei Ihren Workloads minimiert werden. Dies ist insbesondere dann von Nutzen, wenn sie die Ressourcenzuweisung anpassen und Anwendungen optimieren, um den Anforderungen der Datenverarbeitung und Arbeitsleistung gerecht zu werden, während gleichzeitig eine optimale Ressourcenauslastung gewährleistet wird.
Amazon EMR ist eine Cloud-basierte Big-Data-Plattform für Datenverarbeitung, interaktive Analyse und Machine Learning unter Verwendung von Open-Source-Frameworks wie Apache Spark,Apache Flink und Trino. Bisher mussten Sie die Instance-Flottencluster beenden und einen Neustart mit neuen Konfigurationen durchführen. Dieser Vorgang führte zu Ausfallzeiten, erhöhtem Betriebsaufwand und verzögerten Workflow-Anpassungen. Mit der Unterstützung für Rekonfiguration wendet EMR die aktualisierten Konfigurationen auf einer fortlaufenden Basis dynamisch auf Clusterknoten an und gewährleistet gleichzeitig die Cluster-Stabilität und Ressourcenverfügbarkeit. Es bietet Kunden Benachrichtigungen über Amazon CloudWatch- und EMR-Ereignisse. Falls ein Fehler auftritt oder ein Update inkompatibel ist, setzt EMR die Änderungen zurück, um die Betriebsbereitschaft Ihres Cluster sicherzustellen. Während des Aktualisierungsvorgangs können Sie weiterhin Workloads auf dem Cluster ausführen.
Sie können diese Funktion in allen EMR 5.21 und späteren Releases mit der AWS CLI oder API nutzen. Diese Funktion ist in allen AWS-Regionen verfügbar, einschließlich der Regionen AWS GovCloud (USA), in denen Amazon EMR auf EC2 verfügbar ist. Weitere Informationen finden Sie in der Dokumentation hier.