Publié le: Jul 8, 2020
Amazon EMR prend désormais en charge Managed Scaling, une nouvelle fonctionnalité qui permet de redimensionner automatiquement la taille de votre cluster EMR à moindres coûts pour des performances optimales sans avoir à spécifier de stratégie de mise à l'échelle. Vous pouvez réaliser jusqu'à 60 % de réduction des coûts par rapport aux clusters de taille fixe en définissant des limites minimales et maximales de ressources de calcul pour un cluster.
Jusqu'ici, vous pouviez mettre manuellement à l'échelle la taille de votre cluster ou utiliser EMR Automatic Scaling en personnalisant les règles de mise à l'échelle en fonction des métriques CloudWatch. Or, cette approche nécessitait une parfaite maîtrise des cadres d'applications et des modèles de charges de travail, et EMR Automatic Scaling ne prend en charge que les groupes d'instances. EMR Managed Scaling, cependant, s'applique aussi bien aux groupes d'instances qu'aux flottes d'instances. Vous pouvez en toute transparence mettre à l'échelle les instances Spot, les instances à la demande et les instances faisant partie d'un Savings Plan, le tout dans un même cluster.
Amazon EMR Managed Scaling est disponible sur les charges de travail basées sur Apache Spark, Apache Hive et YARN sur Amazon EMR 5.30.1 et les versions supérieures. Vous pouvez utiliser cette fonctionnalité dans les régions AWS suivantes : USA Est (Virginie du Nord et Ohio), USA Ouest (Oregon et Californie du Nord), Amérique du Sud (São Paulo), Europe (Irlande, Londres, Paris, Stockholm et Francfort), Canada (Centre) et Asie-Pacifique (Singapour, Sydney, Mumbai, Tokyo, Séoul et Hong Kong).
Pour démarrer, consultez les ressources suivantes :
- Introducing Amazon EMR Managed Scaling - Automatically Resize Clusters to Lower Cost, disponible sur le blog AWS Big Data ;
- EMR Managed Scaling dans le guide de gestion Amazon EMR.