Publicado en: Sep 26, 2023
Amazon EMR sin servidor es una opción que ayuda a los analistas e ingenieros de datos la ejecución de marcos de análisis de macrodatos de código abierto (como Apache Spark y Apache Hive) sin configurar, administrar ni escalar clústeres o servidores. Nos complace anunciar que, a partir de hoy, puede establecer las configuraciones predeterminadas a nivel de aplicación, lo que le permitirá mantener una configuración uniforme para todos los trabajos de Spark y Hive presentados en la misma aplicación.
Esta nueva característica le permite definir la configuración predeterminada para todos los trabajos de una aplicación para ayudar a estandarizar el comportamiento de los trabajos. Estos ajustes, que incluyen la memoria, los núcleos del ejecutor/controlador, la ubicación en S3 para almacenar los registros, la recuperación de secretos de AWS Secrets Manager y más, se aplican automáticamente a todos los trabajos creados en la aplicación y, al mismo tiempo, brindan flexibilidad para personalizar las configuraciones para ejecuciones de trabajos específicos. Por ejemplo, puede especificar las credenciales para las bases de datos de metaalmacenes de Hive externas junto con los secretos una vez en la configuración de la aplicación, y estas configuraciones predeterminadas las heredará cualquier trabajo que se ejecute en esa aplicación. Este enfoque centralizado hace que las configuraciones sean más predecibles y los trabajos más reproducibles.
Esta característica está disponible para las versiones 6.6.0 y posteriores de EMR en las regiones en las que Amazon EMR sin servidor está disponible. Para obtener más información, consulte la documentación.