Veröffentlicht am: Feb 10, 2023
Amazon EMR Serverless ist eine Serverless-Option in Amazon EMR, die es Data Engineers und Datenwissenschaftlern einfach macht, Open-Source-Analyse-Frameworks für Big Data auszuführen, ohne Cluster oder Server konfigurieren, verwalten und skalieren zu müssen. Eine EMR Serverless-Anwendung verwendet intern Worker, um Ihre Workloads auszuführen, und Sie können je nach den Anforderungen Ihres Workloads verschiedene Worker-Konfigurationen erstellen. Bisher bestand die größte auf EMR Serverless verfügbare Worker-Konfiguration aus 4 vCPUs mit bis zu 30 GB Speicher. Wir freuen uns, Ihnen heute mitteilen zu können, dass EMR Serverless jetzt Worker-Konfigurationen mit 8 vCPUs und bis zu 60 GB Arbeitsspeicher und 16 vCPUs mit bis zu 120 GB Speicher bietet, sodass Sie mehr rechen- oder speicherintensive Workloads auf EMR Serverless ausführen können.
Größere Worker können Ihnen helfen, die Laufzeitleistung Ihrer Jobs zu verbessern. Bei umfangreichen Jobs können Sie durch den Einsatz größerer Worker ineffiziente Datenübertragungen zwischen den Ausführern reduzieren. Wenn bei Ihrem Job Datenverzerrungen auftreten, verringern größere Worker die Wahrscheinlichkeit von Speicherausfällen. Wenn Ihr Job Daten zwischenspeichern muss, können Sie mit größeren Workern außerdem mehr Daten zwischenspeichern und so die Arbeitsleistung steigern. Um diese Vorteile nutzen zu können, empfehlen wir, in EMR Serverless für Ihre rechen- und speicherintensiven Spark- und Hive-Workloads größere Worker einzusetzen.
In unserer Dokumentation finden Sie weitere Informationen zu verschiedenen Worker-Konfigurationen. Große Worker sind in allen AWS-Regionen verfügbar, in denen EMR Serverless angeboten wird.