Publicado en: Jun 25, 2020
Amazon EMR ofrece a partir de ahora una estrategia de asignación “optimizada para capacidad” para aprovisionar instancias de spot en un clúster de Amazon EMR. La estrategia de asignación “optimizada para capacidad” aprovecha la capacidad excedente de la manera más eficiente posible sin dejar de conseguir los importantes descuentos que ofrecen las instancias de spot. Al ofrecer la posibilidad de tener menos interrupciones, la estrategia optimizada para capacidad puede disminuir el costo total de su carga de trabajo.
La estrategia de asignación “optimizada para capacidad” utiliza datos de capacidad en tiempo real para asignar instancias desde los grupos de instancias de spot con la capacidad óptima para el número de instancias que se están ejecutando. Esta estrategia de asignación es apropiada para cargas de trabajo que tienen un costo de interrupción más elevado. Los ejemplos incluyen trabajos de ejecución prolongada y clústeres persistentes multiusuario que ejecutan Apache Spark, Apache Hive y Presto.
Además, la opción de estrategia de asignación le permite especificar hasta cinco tipos de instancias EC2 por nodo de tarea al crear su clúster con configuración de flota de instancias. De este modo, puede diversificar sus solicitudes de spot y, por tanto, beneficiarse de grandes descuentos.
Amazon EMR cuenta con un buen número de mejoras para brindar una mayor elasticidad y resiliencia a los clientes, incluida la retirada grácil de instancias de spot de Amazon EC2 que ejecuten aplicaciones Apache Spark y Apache Hadoop en un clúster de Amazon EMR. Para evitar la pérdida de datos, el escalado de Amazon EMR asegura que su nodo no cuenta con tareas de Apache Hadoop en ejecución o datos únicos que podían perderse antes de eliminar su nodo. Amazon EMR cuenta con personalizaciones para Spark de código abierto que lo hacen más resiliente a la pérdida de datos, como la integración con el mecanismo de retirada de YARN, la ampliación del mecanismo de retirada de Spark y acciones en nodos retirados.
Consulte la documentación para descubrir cómo puede configurar flotas de instancias, crear un rol de servicio para Amazon EMR (rol de EMR) y conocer las especificaciones de la API.
La compatibilidad de Amazon EMR con la estrategia de asignación está disponible ahora de forma general en la versión 5.12.1 y posterior de EMR, en todas las regiones comerciales de AWS donde se ofrece Amazon EMR. Puede consultar en este enlace la disponibilidad general de regiones de Amazon EMR.