Veröffentlicht am: Apr 19, 2024
Wir freuen uns, Ihnen mitteilen zu können, dass Kunden jetzt neben der Verwendung der StartJobRun-API, Spark Operator, Spark Submit und interaktiver Endpunkte auch Apache Livy verwenden können, um ihre Apache-Spark-Aufträge an Amazon EMR in EKS zu senden. Mit dieser Markteinführung können Kunden eine REST-Schnittstelle verwenden, um Spark-Aufträge oder Spark-Codefragmente einfach zu übermitteln, Ergebnisse synchron oder asynchron abzurufen und gleichzeitig weiterhin alle Vorteile von Amazon EMR in EKS zu nutzen, wie z. B. die EMR-optimierte Spark-Laufzeit, den SSL-gesicherten Livy-Endpunkt und die programmgesteuerte Einrichtung.
Apache Livy ist ein Dienst, der einfache Interaktionen mit dem Spark-Cluster über die REST-Schnittstelle ermöglicht. Vor der heutigen Markteinführung mussten Kunden, die ihre Batch- oder interaktiven Workloads von ihrer lokalen Umgebung aus über eine REST-Schnittstelle ausführten, entweder die StartJobRun-API oder interaktive Endpunkte verwenden. Dies führte dazu, dass Kunden Änderungen an ihren Anwendungen vornehmen mussten. Mit der heutigen Markteinführung haben wir die Erfahrung vereinfacht, sodass Kunden ganz einfach einen Livy-Endpunkt erstellen und diesen Endpunkt verwenden können, um Apache-Spark-Aufträge über eine REST-Schnittstelle an ihre Amazon-EMR-in-EKS-Cluster zu senden. Darüber hinaus können Kunden aus Sicherheitsgründen den Zugriff auf den Livy-Endpunkt einschränken, indem sie die Authentifizierung über eines der unterstützten Protokolle wie Kerberos oder Custom Auth konfigurieren.
Weitere Informationen und erste Schritte finden Sie in unserer Dokumentation im Apache-Livy-Abschnitt. Amazon EMR in EKS mit Apache Livy ist mit der EMR-Version 7.1 in den Regionen verfügbar, in denen Amazon EMR in EKS derzeit verfügbar ist.