Publié le: Apr 1, 2024
Nous sommes ravis de présenter une nouvelle fonctionnalité Amazon EMR sur EC2 qui permet le remplacement automatique et fluide des nœuds principaux défectueux afin de garantir une continuité des opérations optimales du cluster et d'éviter les pertes de données. En outre, EMR sur EC2 publiera les événements CloudWatch afin de fournir une visibilité sur l'état des nœuds et les actions de restauration. Ces améliorations sont disponibles pour toutes les versions d'Amazon EMR.
Avec EMR sur EC2, vous pouvez facilement provisionner et mettre à l'échelle vos clusters de traitement de données sans avoir à gérer l'infrastructure de calcul ou à configurer des applications open source. Cependant, il peut arriver qu'un nœud EMR devienne défectueux en raison d'un problème matériel sous-jacent ou d'une surutilisation de la mémoire. Auparavant, pour les clusters protégés contre les résiliations, les nœuds principaux défectueux restaient inactifs et continuaient à être pris en compte dans la capacité du cluster. Pour les autres clusters, le processus de remplacement de nœud principal n'était pas fluide. Avec ce nouveau lancement, Amazon EMR minimise les interruptions de travail et empêche les pertes de données en procédant à une mise hors service et à un remplacement fluides des nœuds principaux défectueux, quel que soit le paramètre de protection contre les résiliations de votre cluster. Amazon EMR publiera également des événements de remplacement de nœuds défectueux qui seront disponibles dans la console EMR et Amazon EventBridge.
Le remplacement fluide des nœuds principaux défectueux est généralement disponible dans toutes les régions AWS où Amazon EMR sur EC2 est disponible.
Pour garantir que ce lancement n'affecte pas vos flux de travail existants, nous désactiverons par défaut le remplacement des nœuds défectueux pour les clusters exécutant EMR 7.0.0 et les versions inférieures pour lesquels la protection contre les résiliations est activée. Pour tous les autres clusters, nous activerons cette fonctionnalité par défaut. Pour en savoir plus, consultez la page Remplacement de nœuds défectueux.