Publié le: May 4, 2023
Nous sommes ravis d'annoncer qu'Amazon EMR sur EKS prend désormais en charge le dimensionnement automatique vertical, une fonctionnalité qui permet d'ajuster automatiquement les ressources mémoire et CPU des applications EMR Spark afin de les adapter aux besoins de la charge de travail fournie. Les clients disposent ainsi d'un mécanisme simplifié leur permettant de régler les ressources, d'améliorer la fiabilité et d'optimiser les coûts. Amazon EMR sur EKS permet aux clients d'exécuter des infrastructures de Big Data open source telles qu'Apache Spark sur Amazon EKS sans avoir à gérer eux-mêmes le provisionnement des applications.
EMR Spark permet aux utilisateurs de configurer la quantité de mémoire et de cœurs de processeur qu'il utilisera. Cependant, le réglage de ces valeurs a jusqu'à présent été un processus manuel pour les clients qui peut s'avérer complexe. Par exemple, une quantité de mémoire insuffisante peut entraîner des exceptions de mémoire insuffisante, mais en allouer trop peut entraîner des dépenses excessives en ressources inactives. La mise à l'échelle automatique verticale adapte automatiquement la mémoire et le processeur alloués à une application EMR Spark en fonction de son utilisation des ressources en temps réel et historique. Cela simplifie le processus de réglage des ressources et d'optimisation des coûts d'une application tout en améliorant sa fiabilité.
Pour en savoir plus sur cette fonctionnalité, consultez le billet de blog AWS Big Data : Améliorez la fiabilité et réduisez les coûts de vos charges de travail Apache Spark grâce à la mise à l'échelle automatique verticale sur Amazon EMR sur EKS. Reportez-vous à la section Utilisation de la mise à l'échelle automatique verticale avec les tâches Amazon EMR Spark de la documentation EMR sur EKS pour plus de détails. La mise à l'échelle automatique verticale est prise en charge sur Amazon EMR sur les versions 6.10 et ultérieures, et disponible dans toutes les régions où Amazon EMR sur EKS est actuellement disponible.