Publié le: Nov 4, 2022
Nous sommes ravis d'annoncer la disponibilité générale des modèles de tâches dans Amazon EMR sur EKS. Les modèles de tâches vous permettent de créer et de stocker des modèles pour configurer les paramètres des applications Spark. Ceci vous permet de garantir la cohérence des paramètres entre des applications via la réutilisation et la mise en œuvre des remplacements de configuration dans les pipelines de données.
EMR sur EKS applique les paramètres Spark par défaut pour optimiser les performances d'une application lorsque les clients utilisent l'API StartJobRun pour exécuter des pipelines de données et des applications basés sur Spark. Les modèles de tâches permettent aux ingénieurs de données de définir des modèles réutilisables pour appliquer des personnalisations supplémentaires, configurer la capacité de calcul du pilote et du programme d'exécution, définir des propriétés de sécurité et de gouvernance comme les rôles IAM et une image Docker personnalisée à utiliser dans plusieurs applications et pipelines de données. En outre, les clients peuvent aussi appliquer des valeurs de configuration spécifiques, ce qui empêche les remplacements lors de l'appel de l'API StartJobRun à l'aide du modèle. Les modèles de tâches peuvent être chiffrés avec des clés principales gérées par le client dans AWS Key Management Service.
Les modèle de tâches sont désormais publiquement disponible dans toutes les régions AWS où la fonctionnalité EMR sur EKS est publiée. Pour en savoir plus sur la façon d'utiliser les modèles de tâches, consultez notre documentation.