Publié le: Jul 27, 2023
Nous sommes heureux de vous annoncer qu'à compter d'aujourd'hui, vous pouvez désormais récupérer des secrets depuis AWS Secrets Manager sur Amazon EMR sans serveur à partir de vos tâches Spark et Hive. Amazon EMR sans serveur est une option sans serveur qui permet aux analystes de données et aux ingénieurs d'exécuter facilement des frameworks d'analyse de big data open source tels qu'Apache Spark et Apache Hive sans configurer, gérer ni dimensionner des clusters ou des serveurs.
Les tâches Spark ou Hive ont souvent besoin d'accéder à des informations sensibles telles que les informations d'identification de base de données et les clés API pour se connecter à d'autres systèmes. Il est recommandé de dissocier la gestion de ces informations sensibles de la configuration de l'application afin d'améliorer la réutilisabilité du code et de réduire la charge opérationnelle liée à la mise à jour de la configuration de l'application lors de la mise à jour des secrets. Vous pouvez désormais spécifier en toute sécurité des références aux secrets stockés dans Secrets Manager dans le cadre de configurations ou de classifications de tâches EMR Serverless et, pendant l'exécution, ces références seront remplacées par des valeurs secrètes. Cette fonctionnalité est particulièrement utile pour les cas d'utilisation qui nécessitent de spécifier des informations d'identification pour les bases de données Hive Metastore externes dans la configuration de l'application.
Cette fonctionnalité est disponible pour toutes les versions d'EMR et dans toutes les régions où Amazon EMR sans serveur est disponible. Pour en savoir plus et pour voir des exemples de spécification de références secrètes, consultez la section Utilisation de SecretsManager dans EMR sans serveur.