Publié le: Nov 22, 2022
Nous sommes heureux de vous annoncer la prise en charge de la configuration des propriétés Spark dans les sessions de blocs-notes Jupyter EMR Studio pour les charges de travail interactives Spark. Amazon EMR sur EKS permet aux clients d'exécuter facilement les cadres big data open source, tels qu'Apache Spark sur Amazon EKS. Les clients Amazon EMR sur EKS configurent et utilisent un point de terminaison géré (disponible en aperçu) pour exécuter des charges de travail interactives à l'aide d'environnements de développement intégrés (IDE) tels qu'EMR Studio.
Les scientifiques des données et les ingénieurs utilisent les blocs-notes Jupyter EMR Studio avec EMR sur EKS pour développer, visualiser et déboguer des applications écrites en langage Python, PySpark ou Scala. Avec cette version, les clients peuvent désormais personnaliser leurs paramètres Spark, tels que le processeur/la mémoire du pilote et de l'exécuteur, le nombre d'exécuteurs et les dépendances des paquets, au sein de leur session de blocs-notes pour gérer différentes charges de travail de calcul ou différents volumes de données, en utilisant un seul point de terminaison géré.
Pour en savoir plus sur la façon d'appliquer différents paramètres Spark dans une session de blocs-notes, veuillez consulter notre documentation. La prise en charge de la configuration au sein d'une session pour les points de terminaison gérés est assurée pour Amazon EMR sur EKS 6.9 et versions ultérieures, et est proposée dans toutes les régions où Amazon EMR sur EKS est actuellement disponible.