Publié le: Jun 24, 2021
Amazon EMR on Amazon EKS a annoncé la prise en charge des images personnalisées, une nouvelle fonctionnalité qui permet aux clients de personnaliser les images de conteneur Docker utilisées pour exécuter des applications Apache Spark sur Amazon EMR on EKS. Les images personnalisées vous permettent d'installer et de configurer, dans un seul conteneur immuable, des packages spécifiques à votre charge de travail et qui ne sont pas disponibles dans la distribution publique de l'exécution Spark d'EMR. Un conteneur immuable favorise la portabilité et simplifie la gestion des dépendances pour chaque charge de travail. Il vous permet d'intégrer le développement d'applications pour EMR on EKS avec votre propre pipeline d'intégration continue (CI).
Jusqu'à aujourd'hui, EMR on EKS vous permettait de fournir les dépendances de votre application à la demande, en soumettant une dépendance à partir d'un service de stockage externe tel qu'Amazon S3 dans le cadre de la soumission d'une tâche. Désormais, avec la prise en charge des images personnalisées, vous pouvez créer une image Docker autonome intégrant l'application et ses dépendances pour chaque cas d'utilisation. Vous pouvez par exemple créer une image personnalisée pour les ingénieurs de données qui inclut une version spécifique de Java et les certificats requis par l'application, et une autre image pour les scientifiques des données qui inclut diverses dépendances telles que des bibliothèques propriétaires ou des dépendances Python spécifiques. Les ingénieurs et scientifiques des données peuvent alors utiliser leur image personnalisée spécifique à l'application dans des tâches EMR on EKS. Grâce à cette nouvelle fonctionnalité, vous n'avez plus besoin de maintenir, mettre à jour ou gérer les versions des bibliothèques stockées en externe. Vos applications de big data peuvent ainsi être développées en suivant les mêmes processus DevOps que vos autres applications conteneurisées.
L'utilisation d'une image personnalisée pour votre tâche EMR on EKS est simple. Vous pouvez spécifier l'image personnalisée que vous souhaitez utiliser dans votre tâche à l'aide du paramètre spark.kubernetes.container.image dans votre API Start-Job-Run. Vous pouvez également utiliser les paramètres spark.kubernetes.driver.container.image et spark.kubernetes.executor.container.image pour spécifier une image différente pour les pods Spark pilotes et exécuteurs.
Pour démarrer, consultez notre blog de lancements AWS News et notre présentation en vidéo de démonstration. L'image personnalisée est prise en charge pour toutes les versions d'Amazon EMR on EKS et est disponible dans toutes les régions où Amazon EMR on EKS est disponible. Vous pouvez en savoir plus en lisant notre documentation ou en visitant la page d'informations sur Amazon EMR on Amazon EKS.