Publicado en: Mar 29, 2021
AWS Step Functions ahora está integrado con Amazon EMR en Amazon Elastic Kubernetes Service (Amazon EKS), para facilitar la integración de trabajos basados en Apache Spark en su canalización de análisis. Ahora puede crear flujos de trabajo que incluyan pasos para administrar clústeres virtuales de EMR en EKS y enviar trabajos sin tener que escribir código para administrar el estado del trabajo.
Step Functions permite crear flujos de trabajo resistentes sin servidor mediante el uso de servicios de Amazon, como Amazon Athena, Amazon EMR, Amazon EKS y, a partir de ahora, Amazon EMR en Amazon EKS. EMR en EKS proporciona una opción de implementación para Amazon EMR que le permite ejecutar Apache Spark en Amazon Elastic Kubernetes Service (Amazon EKS). Puede ejecutar aplicaciones basadas en Amazon EMR con otros tipos de aplicaciones en el mismo clúster de Amazon EKS para mejorar el uso de los recursos y simplificar la administración de la infraestructura en múltiples zonas de disponibilidad de AWS.
Las tres acciones de API compatibles con la integración de Step Functions en Amazon EMR en EKS son:
1. createVirtualCluster: crea y registra un clúster virtual de AWS EMR en EKS desde un espacio de nombre de AWS EKS existente y espera hasta que se complete.
2. deleteVirtualCluster (.sync): elimina un clúster virtual de AWS EMR en EKS y espera hasta que haya sido eliminado.
3. startJobRun (.sync): Envía un trabajo a AWS EMR en EKS y espera hasta que el trabajo se completa.
Para comenzar, visite la documentación de AWS Step Functions y consulte nuestra publicación de blog.
La integración de Step Functions con EMR en EKS está disponible de manera general en las siguientes regiones: EE. UU. Este (Ohio y Norte de Virginia), UE Oeste (Irlanda) y Canadá (Central). Estará disponible de manera general en el resto de regiones comerciales donde se ofrecen Step Functions y EMR estarán EKS en los próximos días. Para obtener una lista completa de regiones y servicios ofrecidos, consulte Regiones de AWS.
Para obtener más información sobre Step Functions, visite la página de AWS Step Functions. Para obtener más información sobre Amazon EMR en EKS, visite la página de AWS EMR en EKS.