Publié le: Jan 6, 2023
Amazon EMR sans serveur est une option sans serveur d'Amazon EMR qui permet aux ingénieurs et aux scientifiques des données d'exécuter des frameworks open source d'analytique du Big Data sans avoir à configurer, gérer ou dimensionner des clusters ou des serveurs. Aujourd'hui, nous sommes ravis de vous annoncer qu'Amazon EMR sans serveur vous permet de personnaliser des images pour Apache Spark et Hive. Cela signifie que vous pouvez empaqueter les dépendances des applications ou du code personnalisé dans l'image, ce qui simplifie l'exécution des charges de travail Spark et Hive.
L'exécution d'images personnalisées simplifie de nombreux cas d'utilisation de l'analytique du Big Data. Par exemple, les ingénieurs de données peuvent personnaliser l'image de la version par défaut pour intégrer les dépendances courantes, du code personnalisé, des versions Java ou Python spécifiques, ou encore les certificats SSL requis par les charges de travail. Ils peuvent ensuite stocker ces images personnalisées dans Amazon Elastic Container Repository (ECR), ce qui facilite l'exécution de charges de travail Spark avec des dépendances personnalisées. Les ingénieurs en sécurité peuvent scanner ces images pour assurer leur conformité aux normes organisationnelles. Les scientifiques des données peuvent personnaliser les images d'exécution pour y inclure des bibliothèques propriétaires ou des packages Python spécifiques. En outre, les versions d'Amazon EMR sans serveur peuvent être directement intégrées aux processus de création, de test et de déploiement Docker de votre organisation, simplifiant ainsi l'intégration continue et la fourniture continue (CI/CD) des applications.
Pour en savoir plus sur la manière de personnaliser l'environnement d'exécution EMR pour une version spécifique afin d'inclure les dépendances des applications, consultez notre documentation.
Cette fonction est proposée dans toutes les régions AWS où Amazon EMR sans serveur est disponible. Pour connaître la disponibilité régionale d'Amazon EMR sans serveur, consultez les Questions fréquentes (FAQ).