Veröffentlicht am: May 4, 2023
Wir freuen uns, Ihnen mitteilen zu können, dass Amazon EMR in EKS jetzt vertikales Autoscaling unterstützt. Dabei handelt es sich um eine Funktion zur automatischen Optimierung der Speicher- und CPU-Ressourcen von EMR-Spark-Anwendungen, um sie an die Anforderungen des bereitgestellten Workloads anzupassen. Dies bietet Kunden einen vereinfachten Mechanismus, um Ressourcen zu optimieren, die Zuverlässigkeit zu erhöhen und die Kosten zu optimieren. Amazon EMR in EKS ermöglicht Kunden, Open-Source-Big-Data-Frameworks wie Apache Spark auf Amazon EKS auszuführen, ohne die Anwendungsbereitstellung selbst verwalten zu müssen.
Mit EMR Spark können Benutzer die Menge an Arbeitsspeicher und CPU-Kernen konfigurieren, die verwendet werden sollen. Die Anpassung dieser Werte war jedoch bisher ein manueller Prozess für Kunden, der komplex sein kann. Beispielsweise kann zu wenig Speicher zu Ausnahmen wie unzureichendem Arbeitsspeicher führen. Eine zu hohe Zuweisung kann jedoch dazu führen, dass zu viel Geld für ungenutzte Ressourcen ausgegeben wird. Vertikales Autoscaling skaliert automatisch den Speicher und die CPU, die einer EMR-Spark-Anwendung zugewiesen sind, und zwar auf Grundlage der Ressourcennutzung in Echtzeit und im vorherigen Verlauf. Dies vereinfacht das Optimieren von Ressourcen und die Optimierung der Kosten für eine Anwendung und trägt gleichzeitig zur Verbesserung der Zuverlässigkeit bei.
Weitere Informationen zu dieser Funktion finden Sie im folgenden Beitrag im AWS Big Data Blog: Improve reliability and reduce costs of your Apache Spark workloads with vertical autoscaling on Amazon EMR in EKS. Weitere Informationen finden Sie im Abschnitt Verwenden der vertikalen automatischen Skalierung mit Amazon-EMR-Spark-Jobs der Dokumentation zu EMR in EKS. Vertikales Autoscaling wird in Amazon EMR für EKS 6.10 und höher unterstützt und ist in allen Regionen verfügbar, in denen Amazon EMR für EKS derzeit verfügbar ist.