Publié le: Feb 24, 2023
Les crawlers AWS Glue s'intègrent désormais à AWS Lake Formation, ce qui simplifie leur configuration et assure la prise en charge des autorisations centralisées pour l'indexation des lacs de données AWS S3 au sein et entre comptes.
Les crawlers AWS Glue servent à découvrir des ensembles de données, extraire des informations sur les schémas et remplir le catalogue de données AWS Glue. Avant cette intégration, il fallait configurer des stratégies pour les compartiments Amazon IAM et Amazon S3 par rapport à l'accès des crawlers aux cibles des lacs de données S3. Les clients qui utilisent Lake Formation pour gérer ces cibles ont préféré que toutes les autorisations soient centralisées dans Lake Formation au lieu de configurer un accès S3 direct pour le rôle de crawler. Grâce à cette intégration entre les crawlers Glue et Lake Formation, il est désormais possible d'utiliser les autorisations de Lake Formation pour permettre aux crawlers d'accéder à vos tables gérées par Lake Formation.
Lorsque vous configurez un crawler AWS Glue pour l'utiliser sur Lake Formation, il utilise par défaut Lake Formation dans le même compte pour obtenir les informations d'accès aux données. Toutefois, vous pouvez également configurer le crawler pour l'utiliser sur Lake Formation pour un autre compte en fournissant un identifiant de compte lors de la création. La fonctionnalité multicomptes permet aux clients de gérer les autorisations à partir d'un compte de gouvernance central. Les clients préfèrent bénéficier d'une expérience de gouvernance centralisée plutôt que de rédiger des stratégies de compartiments séparément dans chaque compte propriétaire de compartiments. Pour créer une architecture de maillage de données, vous pouvez créer des autorisations dans le cadre d'une gouvernance Lake Formation unique afin de gérer l'accès aux emplacements de données et aux crawlers couvrant plusieurs comptes de leur lac de données.
La prise en charge de Lake Formation par les crawlers AWS Glue est disponible dans toutes les régions où AWS Glue et Lake Formation sont disponibles. Pour obtenir la liste des régions, consultez le tableau des régions AWS. Pour en savoir plus, lisez le billet de blog et la documentation relative aux crawlers AWS Glue.