Veröffentlicht am: Apr 21, 2022
Die automatische Skalierung in Apache-Spark-Aufträgen von AWS Glue ist jetzt allgemein verfügbar. AWS Glue 3.0 kann jetzt Ressourcen basierend auf der Workload dynamisch nach oben und unten skalieren. Mit der automatischen Skalierung müssen Sie sich keine Sorgen mehr machen, dass Sie zu viele Ressourcen für Aufträge bereitstellen, Zeit für die Optimierung der Anzahl der Worker aufwenden oder für inaktive Worker bezahlen müssen.
AWS Glue ist ein Serverless-Datenintegrationsservice, mit dem Sie die Datenintegration planen und ausführen und Aufträge extrahieren, transformieren und laden können (Extract, Transform, Load (ETL)), ohne eine Recheninfrastruktur verwalten zu müssen. AWS Glue überwacht jede Phase der Auftragsausführung und schaltet Worker aus, wenn sie inaktiv sind, oder fügt Worker hinzu, wenn eine zusätzliche parallele Verarbeitung möglich ist. Weitere Details finden Sie in dem Blogbeitrag Glue Auto Scaling und in unserer Dokumentation.
Diese Funktion ist nun in allen kommerziellen AWS-Regionen verfügbar, in denen AWS Glue angeboten wird.