Publié le: Sep 26, 2023
Amazon EMR sans serveur est une option sans serveur qui aide les analystes de données et les ingénieurs à exécuter des frameworks d'analytique du big data open source tels qu'Apache Spark et Apache Hive sans configurer, gérer et dimensionner des clusters ou des serveurs. Nous sommes heureux de vous annoncer qu'à compter d'aujourd'hui, vous pouvez définir des configurations par défaut au niveau de l'application, ce qui vous permet de maintenir des paramètres cohérents pour toutes les tâches Spark et Hive soumises sous la même application.
Cette nouvelle fonctionnalité vous permet de définir des paramètres par défaut pour toutes les tâches d'une application afin de normaliser le comportement des tâches. Ces paramètres, notamment la mémoire, les cœurs d'exécuteur/pilote, l'emplacement S3 pour le stockage des journaux, la récupération de secrets depuis AWS Secrets Manager, etc., sont automatiquement appliqués à toutes les tâches créées dans le cadre de l'application tout en offrant la flexibilité nécessaire pour personnaliser les configurations pour des exécutions de tâches spécifiques. Par exemple, vous pouvez spécifier les informations d'identification pour les bases de données de métastore Hive externes ainsi que les secrets une fois dans la configuration de l'application, et ces configurations par défaut seront héritées par tout travail exécuté sous cette application. Cette approche centralisée rend les configurations plus prévisibles et les tâches plus reproductibles.
Cette fonctionnalité est disponible pour les versions 6.6.0 et supérieures d'EMR dans les régions où Amazon EMR sans serveur est disponible. Pour en savoir plus, consultez la documentation.