Veröffentlicht am: Nov 22, 2022
Wir freuen uns, für interaktive Spark-Workloads die Unterstützung für die Konfiguration von Spark-Eigenschaften in Sitzungen von EMR Studio Jupyter Notebook bekannt zu geben. Amazon EMR in EKS ermöglicht Kunden die effiziente Ausführung von Open-Source-Big-Data-Frameworks wie Apache Spark auf Amazon EKS. Kunden von Amazon EMR in EKS richten einen verwalteten Endpunkt (in der Vorschau verfügbar) ein und verwenden ihn, um interaktive Workloads mit integrierten Entwicklungsumgebungen (IDE) wie EMR Studio auszuführen.
Datenwissenschaftler und Ingenieure verwenden EMR Studio Jupyter Notebooks mit EMR in EKS, um in Python, PySpark oder Scala geschriebene Anwendungen zu entwickeln, zu visualisieren und zu debuggen. Mit diesem Release können Kunden jetzt ihre Spark-Einstellungen in ihrer Notebook-Sitzung individuell anpassen, wie Treiber- und Ausführer-CPU/-Speicher, Anzahl der Ausführer und Paketabhängigkeiten, um verschiedene computergestützte Workloads oder verschiedene Datenmengen über einen einzigen verwalteten Endpunkt zu handhaben.
Wenn Sie mehr darüber erfahren möchten, wie verschiedene Spark-Einstellungen innerhalb einer Notebook-Sitzung angewendet werden, besuchen Sie unsere Dokumentation. Die Konfigurationsunterstützung in einer Sitzung für verwaltete Endpunkte wird für Amazon EMR in EKS ab Version 6.9 unterstützt und ist in allen Regionen verfügbar, in denen Amazon EMR auf EKS derzeit verfügbar ist.