Veröffentlicht am: Jun 24, 2021
Amazon EMR auf Amazon EKS angekündigte Unterstützung für Custom Images, eine neue Funktion, mit der Kunden die Docker-Containerimages anpassen können, die zum Ausführen von Apache Spark-Anwendungen auf Amazon EMR on EKS benutzt werden. Mit benutzerdefinierten Images können Sie Pakete installieren und konfigurieren, die für Ihre Workload spezifisch sind und in der öffentlichen Verteilung der Park-Laufzeit von EMR nicht in einem einzigen unveränderlichen Container verfügbar sind. Ein unveränderlicher Container fördert die Portabilität und vereinfacht das Abhängigkeitsmanagement für jede Workload und ermöglicht ihnen die Integration von Entwicklungsanwendungen für EMR auf EKS mit Ihrer eigenen Continuous Integration (CI)-Pipeline.
Bis heute ermöglichte EMR auf EKS ihnen, Ihre Anwendungsabhängigkeiten pünktlich bereitzustellen, wenn Sie eine Abhängigkeit von einem externen Speicherdienst wie Amazon S3 als Teil der Auftragsübermittlung übermitteln. Jetzt können Sie mit benutzerdefinierten Image-Unterstützung ein eigenständiges Docker-Image mit der Anwendung und ihren Abhängigkeiten für jeden Anwendungsfall erstellen. Sie können z. B. ein benutzerdefiniertes Image für Dateningenieure erstellen, das eine bestimmte Java-Version und Zertifikate enthält, die für die Anwendung erforderlich sind, sowie ein separates Image für Datenwissenschaftler, das verschiedene Abhängigkeiten wie proprietäre Bibliotheken oder bestimmte Python-Abhängigkeiten enthält. Dateningenieure und Datenwissenschaftler können dann ihr anwendungsspezifisches benutzerdefiniertes Image in EMR auf EKS-Aufträgen verwenden. Mit der neuen Funktionalität müssen Sie keine extern gespeicherten Bibliotheken mehr pflegen, aktualisieren oder versionieren, und Ihre Big Data-Anwendungen können mit den gleichen DevOps-Prozessen entwickelt werden, die Ihre anderen containerisierten Anwendungen verwenden.
Die Verwendung eines benutzerdefinierten Images für Ihr EMR am EKS Job ist einfach. Sie können das benutzerdefinierte Image angeben, das Sie in Ihrem Auftrag verwenden möchten, indem Sie den Parameter spark.kubernetes.container.image in Ihrer Start-Job-Run API verwenden. Sie können auch die Parameter spark.kubernetes.driver.container.image und spark.kubernetes.executor.container.image verwenden, um ein anderes Image für den Spark-Driver und Executor-Pods anzugeben.
Um anzufangen, sehen Sie den AWS-News-launch-Blog und unser Übersichts- Demo-Video. Custom Image wird für alle Amazon EMR auf EKS Releases unterstützt und ist in allen Regionen verfügbar, in denen Amazon Hofer EMR on EKS verfügbar ist. Mehr erfahren können Sie in unserer Dokumentation erfahren oder auf der Detailseite zu Amazon EMR auf Amazon EKS.