Publié le: Mar 12, 2024
Amazon EMR Serverless est une option sans serveur. Grâce à elle, les analystes et les ingénieurs peuvent facilement se servir de cadres d'analyse du big data en open source, et ce, sans configurer, gérer, ni dimensionner de clusters ou de serveurs.
Nous sommes ravis d'annoncer le lancement des métriques relatives aux collaborateurs dans Amazon CloudWatch pour Amazon EMR Serverless. Vous pouvez désormais surveiller le suivi des vCPU, de la mémoire, du stockage éphémère, de l'allocation des E/S de disque et des métriques d'utilisation au niveau des collaborateurs pour vos tâches Apache Spark et Hive. Ces nouvelles métriques fournissent des informations détaillées sur les performances des tâches, le débit et l'utilisation des ressources. Cela vous permet d'identifier plus rapidement les causes premières des erreurs courantes et des blocages, d'analyser les performances globales des collaborateurs et d'affiner vos tâches pour une efficacité accrue. Par exemple, la sous-utilisation des vCPU ou de la mémoire peut révéler un gaspillage de ressources, ce qui vous permet d'optimiser le volume de collaborateurs afin de réaliser des économies potentielles. De la même manière, le suivi des pics d'utilisation du stockage éphémère peut aider à identifier et à atténuer les goulots d'étranglement des disques en allouant davantage de stockage par collaborateur. Pour commencer, déployez sur votre compte le tableau de bord fourni dans le référentiel Git emr-serverless-samples.
Pour en savoir plus sur ces métriques, consultez la page sur la surveillance au niveau des collaborateurs du Guide de l'utilisateur d’EMR Serverless.