Publié le: Jan 4, 2022
Amazon EMR sur EKS prend en charge les images personnalisées, ce qui aide les clients à personnaliser l'image de conteneur Docker utilisée pour exécuter des applications Apache Spark sur EMR sur EKS. Aujourd'hui, EMR sur EKS a rendu open-source un outil de validation d'image personnalisée permettant aux clients d'exécuter une suite automatisée de tests afin de valider leur image de conteneur Docker personnalisée.
À l'aide d'images personnalisées, les ingénieurs et scientifiques des données peuvent installer et configurer des packages spécifiques à leur charge de travail non disponibles dans la distribution par défaut des exécutions Spark d'EMR dans un seul conteneur inaltérable. Avec la prise en charge des images personnalisées, vous pouvez créer une image Docker autonome intégrant l'application et ses dépendances pour chaque cas d'utilisation. Par exemple, vous pouvez créer une image personnalisée pour les ingénieurs de données incluant une version spécifique de Java ainsi que les certificats requis par l'application, et une autre image personnalisée pour les scientifiques des données incluant diverses dépendances telles que des bibliothèques propriétaires ou des dépendances Python spécifiques. Les ingénieurs et scientifiques des données peuvent alors utiliser leur image personnalisée spécifique à l'application dans des tâches EMR sur EKS.
Vous pouvez télécharger l'outil de validation d'image personnalisé à partir de notre référentiel GitHub. Pour obtenir des instructions de configuration ainsi que des exemples d'utilisation, veuillez consulter notre guide de démarrage. L'outil de validation d'image personnalisé prend en charge les versions actuellement disponibles d'Amazon EMR sur EKS. Afin de contribuer au code source, veuillez vous reporter au guide de contribution ainsi qu'au guide de développement. Pour en savoir plus sur la personnalisation d'images dans EMR sur EKS, veuillez consulter notre documentation et notre article de blog.