Publicado en: Nov 26, 2019
Amazon EMR ahora es compatible con la ejecución de múltiples pasos de EMR al mismo tiempo, con la capacidad de cancelar los pasos en ejecución y con AWS Step Functions. La ejecución de pasos en paralelo le permite ejecutar cargas de trabajo más avanzadas, incrementar la utilización de los recursos del clúster y reducir la cantidad de tiempo que se necesita para completar la carga de trabajo. La cantidad de pasos que se permite ejecutar al mismo tiempo es configurable y se puede establecer en el lanzamiento del clúster y en cualquier momento posterior a su inicio. Gracias a la capacidad de cancelar los pasos en ejecución, ahora dispone de más control sobre la ejecución de los pasos, incluida la capacidad de cancelarlos a la fuerza. La ejecución de pasos en paralelo también es compatible con AWS Step Functions, lo que le permite crear y escalar clústeres, además de organizar la ejecución de los pasos a través de los flujos de trabajo de Step Functions.
Los pasos le permiten enviar las cargas de trabajo a las aplicaciones de EMR, como Apache Spark, Apache Hive, Apache YARN y Presto, sin necesidad de conectarse directamente a un clúster de EMR. Se pueden agregar pasos a un clúster a través de la API y la consola de EMR. Hasta ahora, los pasos se ejecutaban de manera secuencial, por lo que cada paso se debía completar antes de que se pudiera comenzar el siguiente. Además, los pasos en ejecución no podían cancelarse.
Con la capacidad de ejecutar pasos en paralelo, ahora es posible crear flujos de trabajo más avanzados que impliquen lógica condicional y ramificaciones. Para simplificar la creación y la administración de estos flujos de trabajo, nos complace anunciar una nueva integración con AWS Step Functions. Step Functions ahora admite los pasos de EMR, lo que le permite organizar la creación de los clústeres, escalar los recursos de los clústeres de manera programática y administrar la ejecución de los pasos, las dependencias y la gestión de las excepciones con EMR.
La ejecución de pasos en paralelo y la cancelación de los pasos en ejecución son compatibles con la versión 5.28.0 de EMR y se encuentran disponibles en las regiones Asia Pacífico (Hong Kong, Mumbai, Tokio), UE (Fráncfort, Irlanda, Estocolmo), Medio Oriente (Baréin), América del Sur (São Paulo), EE. UU. Este (Norte de Virginia), EE. UU. Oeste (Norte de California y Oregón), a las que se agregarán otras regiones en las próximas semanas.
Para comenzar a utilizar estas funciones, consulte la documentación de los pasos de EMR e implemente su primer flujo de trabajo de Step Functions con un proyecto de muestra de un solo clic.
Más información:
- Lea la publicación en el blog de novedades de AWS.
- Implemente un proyecto de muestra de un solo clic para la integración de AWS Step Functions con Amazon EMR.
- Lea información acerca de la Administración de trabajos de Amazon EMR con Step Functions en la Guía para desarrolladores de AWS Step Functions.
- Obtenga más información acerca de cómo trabajar con pasos a través de la CLI y la consola.