Publicado en: Apr 19, 2024
Hoy nos complace anunciar que los clientes ahora podrán usar Apache Livy para enviar sus trabajos de Apache Spark a Amazon EMR en EKS, además de usar la API de StartJobrun, Spark Operator, Spark Submit y puntos de enlace interactivos. Con este lanzamiento, los clientes podrán usar una interfaz REST para enviar fácilmente trabajos de Spark o fragmentos de código de Spark, recuperar los resultados de forma sincrónica o asincrónica y, al mismo tiempo, seguir disfrutando de todos los beneficios de Amazon EMR en EKS, como el tiempo de ejecución optimizado de Spark para EMR, el punto de enlace de Livy con seguridad SSL, la experiencia de configuración programática, etc.
Apache Livy es un servicio que permite interactuar fácilmente con el clúster de Spark a través de la interfaz REST. Antes del lanzamiento de hoy, los clientes que ejecutaban sus lotes o cargas de trabajo interactivas desde su entorno local a través de una interfaz REST tenían que usar la API de StartJobrun o los puntos de enlace interactivos. Esto dio lugar a que los clientes tuvieran que realizar cambios en sus aplicaciones. Ahora, con el lanzamiento de hoy, hemos simplificado la experiencia en la que los clientes pueden crear fácilmente un punto de enlace de Livy y usar ese punto de enlace para enviar trabajos de Apache Spark a su Amazon EMR en clústeres de EKS a través de una interfaz REST. Además, para mejorar la seguridad, los clientes también pueden restringir el acceso al punto de enlace de Livy configurando la autenticación a través de uno de los protocolos compatibles, como Kerberos, Custom Auth.
Para obtener más información y comenzar, visite la documentación de la sección Apache Livy. Amazon EMR en EKS con Apache Livy está disponible con la versión EMR 7.1 en las regiones en las que Amazon EMR en EKS está disponible actualmente.