Amazon EMR sur EKS prend désormais en charge les contrôles de simultanéité lors de l’exécution des tâches
Amazon EMR sur EKS vous permet d’exécuter des frameworks de big data open source tels qu’Apache Spark et Flink sur des clusters AWS EKS (Elastic Kubernetes Service). Vous soumettez des tâches à un cluster virtuel, qui correspond à un espace de noms sur un cluster EKS, et EMR sur EKS gère le packaging, la planification et l’exécution de vos applications. Aujourd’hui, nous sommes ravis d’annoncer le contrôle d’admission des tâches sur EMR EKS, avec la prise en charge des signaux de simultanéité et de contre-pression des exécutions de tâches provenant de l’API StartJobRun.
Grâce à ce lancement, vous pouvez désormais définir des limites de tâches simultanées sur un cluster virtuel, ce qui vous permet de contrôler avec précision le nombre d’exécutions de tâches exécutées simultanément et le nombre de tâches pouvant attendre dans la file d’attente. Il s’agit d’une file d’attente logique représentant les tâches à l’état EN ATTENTE/SOUMIS. Ces contrôles vous aident à protéger les clusters EKS partagés contre la surcharge dans les environnements partagés à locataires multiples et à éviter les échecs de planification liés à des voisins bruyants afin que vos charges de travail critiques continuent de fonctionner de manière prévisible, même en cas de forte demande. Vous configurez deux limites facultatives sur un cluster virtuel : maxConcurrentJobRuns, le nombre maximum de tâches exécutées à tout moment, et maxInqueueJobRuns, la profondeur de file d’attente maximale pour les exécutions de tâches qu’EMR sur EKS a acceptées, mais qui n’ont pas encore commencé à s’exécuter. Lorsque la file d’attente est pleine, StartJobRun renvoie une exception HTTP ValidationException afin que vous puissiez simplement supprimer ou rediriger le trafic vers un autre cluster au lieu d’en surcharger un seul. Vous pouvez consulter les limites actuelles et le nombre de tâches en temps réel à tout moment avec DescribeVirtualCluster. Aucune limite n’est appliquée par défaut, de sorte que les charges de travail existantes ne sont pas affectées à moins que vous n’en fassiez le choix.
Des limites de tâches simultanées sont disponibles dans toutes les Régions AWS où l’EMR sur EKS est proposé. Pour commencer, consultez la section Gestion des clusters virtuels.