Publié le: Mar 29, 2021
AWS Step Functions est désormais intégré à Amazon EMR sur Amazon Elastic Kubernetes Service (Amazon EKS), ce qui facilite l'intégration de tâches basées sur Apache Spark dans votre pipeline analytique. Vous pouvez désormais créer des flux de travail comprenant des étapes pour gérer EMR sur les clusters virtuels EKS et soumettre des tâches sans écrire de code pour gérer l'état de la tâche.
Step Functions vous permet de créer des flux de travail sans serveur résilients en utilisant des services Amazon comme Amazon Athena, Amazon EMR, Amazon EKS et désormais avec Amazon EMR sur Amazon EKS. EMR sur EKS propose une option de déploiement pour Amazon EMR qui vous permet d'exécuter Apache Spark sur Amazon Elastic Kubernetes Service (Amazon EKS). Vous pouvez exécuter les applications basées sur Amazon EMR avec d'autres types d'applications sur le même cluster Amazon EKS pour améliorer l'utilisation des ressources et simplifier la gestion de l'infrastructure entre plusieurs zones de disponibilité AWS.
Les trois actions API prises en charge par l'intégration de Step Functions avec Amazon EMR sur EKS sont :
1. createVirtualCluster : crée et enregistre un AWS EMR sur un cluster virtuel EKS à partir d'un espace de noms AWS EKS existant, puis attend qu'il se termine.
2. deleteVirtualCluster (.sync) : supprime un AWS EMR sur le cluster virtuel EKS, puis attend qu'il soit supprimé.
3. startJobRun (.sync) : soumet une tâche à AWS EMR sur EKS et attend que la tâche se termine.
Pour démarrer, veuillez consulter la documentation AWS Step Functions et notre article de blog.
L'intégration de Step Functions avec EMR sur EKS est généralement disponible dans les régions suivantes : USA Est (Ohio et Virginie du Nord), EU Ouest (Irlande) et Canada (Centre). Elle sera généralement disponible dans toutes les autres régions commerciales où Step Functions et EMR sur EKS sont disponibles dans les prochains jours. Pour une liste complète des régions et des services proposés, voir le tableau des régions AWS.
Pour en savoir plus sur Step Functions, veuillez visiter la page AWS Step Functions. Pour en savoir plus sur Amazon EMR sur EKS, veuillez visiter la page AWS EMR sur EKS.