Publicado en: Jan 6, 2023
Amazon EMR sin servidor es una opción sin servidor en Amazon EMR que facilita a los ingenieros y los científicos de datos la ejecución de marcos de análisis de macrodatos de código abierto sin la necesidad de configurar, administrar y escalar clústeres o servidores. Hoy nos complace anunciar que EMR sin servidor ahora le permite personalizar imágenes para Apache Spark y Hive. Esto significa que puede empaquetar dependencias de aplicaciones o código personalizado en la imagen, lo que simplifica la ejecución de las cargas de trabajo de Spark y Hive.
La ejecución de imágenes personalizadas simplifica muchos casos de uso del análisis de macrodatos. Por ejemplo, los ingenieros de datos pueden personalizar la imagen de la versión predeterminada para empaquetar dependencias comunes, código personalizado, versiones específicas de Java o Python o certificados SSL que requieren las cargas de trabajo. Luego, pueden almacenar estas imágenes personalizadas en Amazon Elastic Container Repository (ECR), lo que facilita la ejecución de cargas de trabajo de Spark con dependencias personalizadas. Los ingenieros de seguridad pueden escanear estas imágenes para cumplir con los estándares de la organización. Los científicos de datos pueden personalizar las imágenes en tiempo de ejecución para incluir bibliotecas propietarias o paquetes de Python específicos. Además, las versiones de EMR sin servidor se pueden integrar directamente con los procesos de creación, prueba e implementación de Docker de su organización, lo que simplifica la integración continua y la entrega continua (CI/CD) de las aplicaciones.
Para obtener más información sobre cómo personalizar el tiempo de ejecución de EMR para que una versión específica incluya las dependencias de las aplicaciones, consulte nuestra documentación.
Esta función está disponible en todas las regiones de AWS en las que AWS sin servidor está disponible. Para ver la disponibilidad regional de Amazon EMR sin servidor, consulte las preguntas frecuentes.