Publicado: Mar 29, 2021
O AWS Step Functions agora está integrado ao Amazon EMR on Amazon Elastic Kubernetes Service (Amazon EKS), facilitando a integração de trabalhos baseados no Apache Spark ao seu pipeline de análises. Agora, você pode criar fluxos de trabalho, incluindo etapas para gerenciar clusters virtuais do EMR on EKS e enviar trabalhos sem escrever código para gerenciar o estado desses trabalhos.
O Step Functions permite criar fluxos de trabalho resilientes sem servidor usando serviços da Amazon, como Amazon Athena, Amazon EMR, Amazon EKS e, agora, com o Amazon EMR on Amazon EKS. OEMR on EKS fornece uma opção de implantação para o Amazon EMR que permite a execução do Apache Spark no Amazon Elastic Kubernetes Service (Amazon EKS). Você pode executar aplicações baseadas no Amazon EMR com outros tipos de aplicações no mesmo cluster do Amazon EKS para melhorar a utilização de recursos e simplificar o gerenciamento de infraestrutura em várias zonas de disponibilidade da AWS.
As três ações de API com suporte pela integração do Step Functions com o Amazon EMR on EKS são:
1. createVirtualCluster: cria e registra um cluster virtual do AWS EMR on EKS a partir de um namespace existente do AWS EKS e, em seguida, aguarda sua conclusão.
2. deleteVirtualCluster (.sync): exclui um cluster virtual do AWS EMR on EKS e, em seguida, aguarda sua exclusão.
3. startJobRun (.sync): envia um trabalho ao AWS EMR on EKS e aguarda a conclusão desse trabalho.
Para começar, visite a Documentação do AWS Step Functions e veja nossa postagem de blog.
A integração do Step Functions com o EMR on EKS está geralmente disponível nas seguintes regiões: Leste dos EUA (Ohio e Norte da Virgínia), Oeste da UE (Irlanda) e Canadá (Central). Nos próximos dias, ela estará geralmente disponível em todas as outras regiões comerciais onde o Step Functions e o EMR on EKS estão disponíveis. Para obter uma lista completa de regiões e ofertas de serviço, consulte Regiões da AWS.
Para saber mais sobre o Step Functions, acesse a página do AWS Step Functions. Para saber mais sobre o Amazon EMR on EKS, visite a página do AWS EMR on EKS.