Mettez à jour dynamiquement votre cluster EMR en cours d'exécution en reconfigurant les flottes d'instances
Amazon EMR sur EC2 prend désormais en charge la mise à jour en temps réel des configurations d'applications pour les flottes d'instances EMR sans nécessiter l'arrêt ou le redémarrage du cluster. Grâce à cette fonctionnalité, les clients peuvent désormais ajuster dynamiquement les configurations des applications, telles que la mémoire de l'exécuteur de Spark, l'allocation des ressources de YARN et les paramètres HDFS de manière fluide, sur un cluster en cours d'exécution, minimisant ainsi les interruptions de vos charges de travail. Cela est particulièrement utile pour ajuster l'allocation des ressources et optimiser les applications afin de répondre aux exigences en matière de traitement des données et de performances des tâches, tout en garantissant une utilisation optimale des ressources.
Amazon EMR est une plateforme cloud de big data dédiée au traitement des données, à l'analyse interactive et au machine learning, qui s'appuie sur des frameworks open source tels qu'Apache Spark, Apache Flink et Trino. Auparavant, vous deviez arrêter et relancer des clusters de flotte d'instances avec de nouvelles configurations. Ce processus a entraîné des temps d'arrêt, une augmentation des efforts opérationnels et des retards dans les ajustements du flux de travail. Grâce à la prise en charge de la reconfiguration, EMR applique de manière dynamique et continue les configurations mises à jour sur les nœuds de cluster tout en garantissant la stabilité du cluster et la disponibilité des ressources. Il envoie des notifications aux clients via Amazon CloudWatch et les événements EMR. En cas de panne ou de mise à jour incompatible, EMR annule les modifications pour garantir que votre cluster reste opérationnel. Vous pouvez continuer à exécuter des charges de travail sur le cluster pendant le processus de mise à jour.
Vous pouvez tirer parti de cette fonctionnalité sur toutes les versions à partir de la 5.21 d'EMR via l'AWS CLI ou l'API. Cette fonctionnalité est disponible dans toutes les régions AWS, y compris les régions AWS GovCloud (US), où Amazon EMR sur EC2 est disponible. Pour en savoir plus, consultez la documentation ici.