Veröffentlicht am: Dec 9, 2020
Amazon EMR auf Amazon EKS bietet eine neue Möglichkeit der Bereitstellung für Amazon EMR, mit der Sie Apache Spark auf Amazon Elastic Kubernetes Service (Amazon EKS) ausführen können. Wenn Sie bereits Amazon EMR verwenden, können Sie jetzt Amazon EMR-basierte Anwendungen mit anderen Arten der Anwendung auf demselben Amazon EKS-Cluster ausführen, um die Auslastung der Ressourcen zu verbessern und die Verwaltung der Infrastruktur über mehrere AWS Availability Zones hinweg zu vereinfachen. Wenn Sie bereits Big Data-Rahmenbedingungen auf Amazon EKS ausführen, können Sie jetzt Amazon EMR verwenden, um die Bereitstellung und Verwaltung zu automatisieren, und Apache Spark bis zu 3x schneller auszuführen. Mit dieser Bereitstellungsmöglichkeit können Sie sich auf die Ausführung von Analyse-Arbeitsbelastungen konzentrieren, während Amazon EMR auf Amazon EKS Container erstellt, konfiguriert und verwaltet.
Um loszulegen, registrieren Sie Ihren EKS-Cluster bei Amazon EMR. Definieren Sie dann Ihre Aufgabe einschließlich der EMR-Freigabe Version, Spark-Parameter, und Anwendungsabhängigkeiten. Amazon EMR auf Amazon EKS plant die Pods, Container und Ressourcen auf Ihrem Amazon EKS-Cluster. Sie können Ihren Auftrag so konfigurieren, dass er auf Amazon EC2-Instanzen ausgeführt wird, oder auf Amazon Fargate, falls Sie eine serverlose Erfahrung wünschen. Sie können Arbeitsprozesse mit Amazon Managed Workflows für Apache Airflow oder Apache Airflow pro Aufgabe erstellen, und die Aufgabe mit in Amazon S3 oder Amazon CloudWatch gespeicherten Protokollen pro Aufgabe analysieren.
Für die Übermittlung von Aufträgen mit Notebooks bietet EMR Studio eine integrierte Entwicklungsumgebung (IDE), die es Datenwissenschaftlern- und ingenieuren erleichtert, in R, Python, Scala und PySpark geschriebene Data-Engineering- und Data-Science-Anwendungen zu entwickeln, zu visualisieren und die Fehler zu beheben.
Die Preise für Amazon EMR auf EKS werden auf der Grundlage der vCPU- und Speicherressourcen berechnet, die vom Zeitpunkt der Planung eines Amazon EKS-Pods bis zum Beenden des Amazon EKS-Pods verwendet werden, aufgerundet auf die nächste Sekunde mit einem Minimum von einer Minute. Die Preise basieren auf der angeforderten vCPU und den Speicherressourcen für die Aufgabe oder den Pod.
Amazon Aurora ist zurzeit in den Regionen USA West (Oregon), USA Ost (Nord-Virginia) und EU (Irland) verfügbar. AWS Regionen.
Weitere Informationen finden Sie auf der Amazon EMR auf der Amazon EKS-Detailseite, und im AWS News-Blogbeitrag .