Publicado en: Jun 6, 2023
Nos complace anunciar que Amazon EMR en EKS ahora admite Spark Operator y spark-submit como nuevos modelos de envío de trabajos para Apache Spark, además de la API StartJobRun existente. Con el lanzamiento de hoy, tiene la flexibilidad de enviar sus trabajos de Apache Spark mediante su modelo de envío preferido en Amazon EMR en EKS sin necesidad de cambiar su aplicación.
Antes del lanzamiento de hoy, solo se podían enviar trabajos de Apache Spark a través de la API StartJobRun, incluso mediante AWS CLI y AWS Controllers for Kubernetes (ACK). Los clientes que ya tengan aplicaciones de Apache Spark que ejecuten Spark Operator o spark-submit deberán realizar cambios en sus aplicaciones para poder utilizar Amazon EMR en EKS. Con esta característica, ahora puede ejecutar sus aplicaciones en EMR en EKS sin cambiarlas, aprovechar el rendimiento y las funciones de la versión ejecutable de EMR Spark y ahorrar tiempo utilizando spark-submit y Spark Operator con los que ya está familiarizado.
Para obtener más información sobre esta característica, consulte las guías de desarrollo de spark operator y spark-submit, así como la publicación en el blog sobre macrodatos de AWS: Introducing Amazon EMR on EKS job submission with Spark Operator and spark-submit. Spark Operator y spark-submit son compatibles con Amazon EMR en EKS 6.10 y versiones posteriores, y están disponibles en las regiones en las que Amazon EMR en EKS está disponible actualmente.