Veröffentlicht am: Jun 6, 2023
Wir freuen uns, Ihnen mitteilen zu können, dass Amazon EMR auf EKS jetzt Spark Operator und spark-submit als neue Modelle für die Übermittlung von Aufträgen für Apache Spark unterstützt, zusätzlich zur vorhandenen StartJobRun API. Mit der heutigen Markteinführung haben Sie jetzt die Flexibilität, Ihre Apache Spark-Aufgaben über Ihr bevorzugtes Übermittlungsmodell in Amazon EMR auf EKS einzureichen, ohne Ihre Anwendung ändern zu müssen.
Vor dem heutigen Start konnten Sie Apache Spark-Aufgaben nur über die StartJobRun-API einreichen, einschließlich AWS-CLI und AWS Controllers für Kubernetes (ACK). Kunden mit vorhandenen Apache Spark-Anwendungen, auf denen Spark Operator oder spark-submit ausgeführt werden, müssten Änderungen an ihren Anwendungen vornehmen, um Amazon EMR auf EKS verwenden zu können. Mit diesem Feature können Sie jetzt Ihre Anwendungen auf EMR auf EKS ausführen, ohne sie zu ändern. Sie profitieren von der Leistung und den Features der EMR Spark-Laufzeit und sparen Zeit, indem Sie spark-submit und Spark Operator verwenden, mit denen Sie bereits vertraut sind.
Weitere Informationen zu diesem Feature finden Sie in den Entwicklungsleitfäden für Spark Operator und spark-submit sowie im AWS Big Data-Blogbeitrag: Introducing Amazon EMR on EKS job submission with Spark Operator and spark-submit. Spark Operator und spark-submit werden auf Amazon EMR auf EKS 6.10 und höher unterstützt und sind in den Regionen verfügbar, in denen Amazon EMR auf EKS derzeit verfügbar ist.