Veröffentlicht am: Jan 4, 2022
Amazon EMR auf EKS unterstützt Custom Images - eine Funktionalität, die Kunden die individuelle Anpassung des für die Ausführung von Apache Spark Anwendungen auf EMR auf EKS verwendeten Docker Container Images erleichtert. Heute hat EMR auf EKS ein Custom Image Validation Tool quelloffen gemacht, mit dem Kunden eine Reihe automatisierter Tests zur Validierung ihrer individuell angepassten Docker Container Images ausführen können.
Mit Custom Images können Dateningenieure und Datenwissenschaftler für Ihren Workload spezifische Pakete, die in der Standardausgabe der EMR-Spark-Laufzeiten nicht verfügbar sind, in einem einzigen unveränderlichen Container installieren und konfigurieren. Mit benutzerdefinierter Image-Unterstützung können Sie ein eigenständiges Docker-Image mit Anwendung und Abhängigkeiten für jeden Anwendungsfall erstellen. Sie können z. B. ein benutzerdefiniertes Image für Dateningenieure erstellen, das eine bestimmte Java-Version und Zertifikate enthält, die für die Anwendung erforderlich sind, sowie ein separates benutzerdefiniertes Image für Datenwissenschaftler, das verschiedene Abhängigkeiten wie proprietäre Bibliotheken oder bestimmte Python-Abhängigkeiten enthält. Dateningenieure und Datenwissenschaftler können dann ihr anwendungsspezifisches benutzerdefiniertes Image in Aufträgen für EMR auf EKS verwenden.
Das Custom Image Validation Tool können Sie aus unserem GitHub Repository herunterladen. Anweisungen und Anwendungsbeispiele können Sie unserem Leitfaden zu den ersten Schritten entnehmen. Das Custom Image Validation Tool unterstützt derzeit verfügbare Releases von Amazon EMR auf EKS. Wenn Sie etwas zum Quellcode beisteuern möchten, konsultieren Sie bitte den Leitfaden zur Beteiligung und den Entwicklungsleitfaden. Wenn Sie mehr über die individuelle Anpassung von Images in EMR auf EKS erfahren möchten, lesen Sie bitte unsere Dokumentation und den Blogpost.