Amazon EMR agora permite executar várias etapas em paralelo, cancelar etapas em execução e integrar com o AWS Step Functions

Publicado: Nov 26, 2019

O Amazon EMR agora é compatível com a execução simultânea de várias etapas do EMR, o cancelamento de etapas em execução a integração com o AWS Step Functions. Com a execução de etapas em paralelo, é possível executar cargas de trabalho mais avançadas, aumentar o uso de recursos do cluster e reduzir o tempo necessário para concluir sua carga de trabalho. O número de etapas que podem ser executadas simultaneamente pode ser configurado quando um cluster é lançado ou em qualquer momento após o cluster ser iniciado. Com a capacidade de cancelar etapas em execução, você tem mais controle sobre a execução e pode forçar o cancelamento de etapas. O AWS Step Functions também permite executar etapas em paralelo, viabilizando a criação e escalabilidade de clusters e a orquestração de etapas usando os fluxos de trabalho do Step Functions.

As etapas permitem enviar cargas de trabalho para aplicativos do EMR, como Apache Spark, Apache Hive, Apache YARN e Presto, sem precisarem se conectar a um cluster do EMR. É possível adicionar as etapas a um cluster usando a API e o console do EMR. Até o momento, as etapas eram executadas sequencialmente, sendo necessário concluir a etapa anterior antes de passar para a próxima, e as etapas que estavam em execução não podiam ser canceladas.

Agora, com a capacidade de executar etapas em paralelo, é possível criar fluxos de trabalho mais avançados que envolvem lógica condicional e ramificações. Para simplificar a criação e o gerenciamento desses fluxos de trabalhos, temos o prazer de anunciar uma nova integração com o AWS Step Functions. Agora o Step Functions é compatível com etapas do EMR. Graças a isso, é possível orquestrar a criação de clusters, escalar recursos de clusters programaticamente e gerenciar a execução de etapas, dependências e exceções com o EMR.

A execução de etapas em paralelo e o cancelamento de etapas em execução estão disponíveis para o EMR versão 5.28.0, nas regiões Ásia-Pacífico (Hong Kong, Mumbai, Tóquio), UE (Frankfurt, Irlanda, Estocolmo), Oriente Médio (Bahrein), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Norte da Califórnia e Oregon), com mais regiões nas próximas semanas.

Para começar, veja a documentação sobre etapas do EMR e implante seu primeiro fluxo de trabalho do Step Functions usando um projeto de amostra em um clique.