Publié le: Feb 9, 2023
Aujourd'hui, nous introduisons une nouvelle fonctionnalité pour Amazon EMR sur EKS afin d'accroître la résilience de l'exécution des tâches. Jusqu'à présent, les utilisateurs devaient créer leur propre mécanisme personnalisé de nouvelle tentative d'exécution des tâches en dehors d'Amazon EMR sur EKS, afin de s'assurer que leurs tâches Spark continuent de s'exécuter en cas d'échec. Grâce à cette fonctionnalité, les utilisateurs peuvent désormais gagner du temps et continuer à exécuter leurs charges de travail de streaming critiques et de longue durée, en demandant à Amazon EMR sur EKS de renvoyer automatiquement les tâches en cas d'échec.
En ce qui concerne les nouvelles tentatives, une fois que vous avez défini une politique de nouvelles tentatives en fournissant le nombre de tentatives pour limiter les exécutions, Amazon EMR sur EKS appliquera et surveillera cette politique lors de chaque exécution de tâche, vous donnant ainsi une visibilité via l'API DescribeJobRun et les événements AWS CloudWatch de chaque nouvelle tentative effectuée.
Les nouvelles tentatives d'exécution des tâches sont désormais généralement disponibles dans toutes les régions AWS où se trouve Amazon EMR on EKS, à compter d'Amazon EMR 6.9 et des versions ultérieures. Pour en savoir plus sur l'utilisation des tentatives d’exécution des tâches, consultez notre documentation.