Publié le: Dec 9, 2020
Amazon EMR on Amazon EKS propose une nouvelle option de déploiement pour Amazon EMR qui vous permet d'exécuter Apache Spark sur Amazon Elastic Kubernetes Service (Amazon EKS). Si vous utilisez déjà Amazon EMR, vous pouvez désormais exécuter les applications basées sur Amazon EMR avec d'autres types d'applications sur le même cluster Amazon EKS pour améliorer l'utilisation des ressources et simplifier la gestion de l'infrastructure entre plusieurs zones de disponibilité AWS. Si vous exécutez déjà des frameworks de Big Data sur Amazon EKS, vous pouvez désormais utiliser Amazon EMR pour automatiser la mise en service et la gestion, et exécuter Apache Spark jusqu'à 3 fois plus rapidement. Avec cette option de déploiement, vous pouvez vous concentrer sur l'exécution des charges de travail d'analyse tandis qu'Amazon EMR on Amazon EKS crée, configure et gère les conteneurs.
Pour démarrer, enregistrez votre cluster EKS avec Amazon EMR. Puis, définissez votre tâche en incluant la version d'EMR, les paramètres Spark et les dépendances de l'application. Amazon EMR on Amazon EKS programme les pods, les conteneurs et les ressources sur votre cluster Amazon EKS. Vous pouvez configurez votre tâche pour qu'elle s'exécute sur des instances EC2 ou sur Amazon Fargate si vous souhaitez une expérience sans serveur. Vous pouvez créer des flux de travail avec Amazon Managed Workflows for Apache Airflow ou Apache Airflow, puis analyser les sorties grâce aux journaux de tâche stockés dans Amazon S3 ou Amazon CloudWatch.
Pour soumettre des tâches à l'aide de blocs-notes, EMR Studio fournit un environnement de développement intégré (IDE) qui permet aux spécialistes et aux ingénieurs des données de facilement développer, visualiser et déboguer les applications d'ingénierie et de science des données écrites en R, Python, Scala et PySpark.
La tarification d'Amazon EMR on EKS est calculée selon les ressources vCPU et les ressources de mémoire utilisées entre le moment où un pod Amazon EKS est planifié et celui où le pod Amazon EKS est terminé, en arrondissant à la seconde supérieure et avec un minimum d'une minute. La tarification se base sur les ressources vCPU et les ressources de mémoire nécessaires à la tâche ou au pod.
Amazon EMR on Amazon EKS est actuellement disponible dans les régions AWS suivantes : USA Ouest (Oregon), USA Est (Virginie du Nord) et Europe (Irlande).
Pour plus d'informations, consultez la page détaillée d'Amazon EMR on Amazon EKS et l'article du blog AWS News.