Publié le: Mar 30, 2022
Amazon EMR Managed Scaling redimensionne automatiquement les clusters EMR pour optimiser les performances et l'utilisation des ressources. Aujourd'hui, nous sommes heureux d'annoncer une nouvelle fonctionnalité de Managed Scaling qui l'empêche de réduire l'échelle des instances qui stockent des données aléatoires intermédiaire pour Apache Spark. En réduisant intelligemment la taille des clusters sans éliminer les instances qui stockent les données aléatoires intermédiaires, on évite les nouvelles tentatives de tâches et les nouveaux calculs. Ainsi, on améliore les performances tout en réduisant les coûts.
Avec EMR Managed Scaling, vous spécifiez les limites minimales et maximales de calcul pour vos clusters. EMR Managed Scaling peut être utilisé avec les instances Spot d'Amazon EC2, qui vous permettent de profiter de la capacité EC2 inutilisée pour atteindre une économie de jusqu'à 90 % par rapport aux prix à la demande. EMR Managed Scaling échantillonne continuellement les métriques clés associées aux charges de travail s'exécutant sur les clusters, et redimensionne les clusters en fonction de la charge de travail et de l'utilisation. Ces mesures incluent désormais la surveillance des instances contenant des données aléatoires intermédiaires pour Apache Spark.
Cette fonctionnalité est prise en charge sur Amazon EMR version 5.34 et 6.4.0, ainsi que les versions plus récentes. Aucune autre action n'est nécessaire de votre part. Cette fonction est disponible dans 20 régions AWS dans le monde : USA Est (Virginie du Nord et Ohio), USA Ouest (Oregon et Californie du Nord), Amérique du Sud (São Paulo), Europe (Francfort, Irlande, Londres, Milan, Paris et Stockholm), Canada (Centre), Asie Pacifique (Hong Kong, Mumbai, Séoul, Singapour, Sydney et Tokyo), Moyen-Orient (Bahreïn) et Afrique (Le Cap).
Pour plus de détails, consultez la Documentation de Managed Scaling.