Publicado en: Jun 24, 2021
Amazon EMR en Amazon EKS anunció el soporte para las imágenes personalizadas, una nueva capacidad que permite a los clientes personalizar sus imágenes en contenedores de Docker utilizadas para ejecutar aplicaciones de Apache Spark en Amazon EMR en EKS. Las imágenes personalizadas le permiten configurar e instalar paquetes específicos para su carga de trabajo que no estén disponibles en la distribución pública del tiempo de ejecución de Spark de EMR en un único contenedor inmutable. Un contenedor inmutable fomenta la portabilidad y simplifica la gestión de dependencias de cada carga de trabajo. Además, le permite integrar aplicaciones en desarrollo de EMR en EKS con su canalización de integración continua (CI).
Hasta el momento, EMR y EKS le permitían ofrecer las dependencias de sus aplicaciones con el método “justo a tiempo”, mediante el cual se envía una dependencia de un servicio de almacenamiento externo, como Amazon S3, como parte del envío de trabajos. Ahora, con el soporte para imágenes personalizadas, puede crear una imagen de Docker autocontenida con la aplicación y sus dependencias para cada caso de uso. Por ejemplo, puede crear una imagen personalizada para ingenieros de datos que incluya una versión de Java específica y los certificados requeridos por la aplicación, y otra imagen para científicos de datos que incluya diferentes dependencias, como bibliotecas registradas y dependencias en Python específicas. Los ingenieros y científicos de datos pueden usar la imagen personalizada específica de la aplicación en trabajos de EMR en EKS. Con la nueva funcionalidad, ya no tiene que mantener, actualizar o cambiar las bibliotecas almacenadas de manera externa, y sus aplicaciones de big data se pueden desarrollar con los mismos procesos de DevOps que las otras aplicaciones en contenedores que está usando.
Usar una imagen personalizada para su trabajo de EMR en EKS. Puede especificar la imagen personalizada que quiera usar en su trabajo con el parámetro spark.kubernetes.container.image en la API Start-Job-Run. También puede usar los parámetros spark.kubernetes.driver.container.image y spark.kubernetes.executor.container.image si quiere especificar otra imagen para los pods del controlador y ejecutor de Spark.
Para empezar, consulta la publicación del blog sobre el lanzamiento de AWS News y el video de demostración con información general. Todos los lanzamientos de Amazon EMR en EKS admiten las imágenes personalizadas. Estas están disponibles en todas las regiones en las que Amazon EMR en EKS esté disponible. Asimismo, puede obtener más información leyendo nuestra documentación o visitando la página de detalles de Amazon EMR en Amazon EKS.