Publié le: Feb 6, 2023
Les crawlers AWS Glue prennent en charge MongoDB pour extraire le schéma de données et remplir automatiquement le catalogue de données AWS Glue, qui tient les métadonnées à jour. Aujourd'hui, nous étendons le support pour inclure MongoDB Atlas. Cette fonctionnalité simplifie considérablement l'intégration des métadonnées MongoDB Atlas gérées dans le catalogue de données AWS Glue, afin que les ingénieurs des données puissent intégrer les données MongoDB Atlas aux lacs de données basés sur S3 et en extraire des informations pertinentes.
Avec le lancement d'aujourd'hui, vous pouvez créer et planifier un crawler Glue pour explorer MongoDB Atlas. Dans la console du crawler Glue, vous pouvez sélectionner MongoDB comme source de données. Vous pouvez ensuite créer une connexion Glue avec le type de connexion « DocumentDB/MongoDB » et fournir les informations d'identification et les informations d'identification du cluster MongoDB Atlas. Une fois la configuration créée, vous pouvez spécifier la base de données MongoDB Atlas et les collections à explorer. À chaque exécution du crawler, celui-ci inspecte les informations des collections et des catalogues spécifiés. Cela inclut les mises à jour ou les suppressions des collections, des vues et des vues matérialisées de MongoDB Atlas dans le catalogue de données AWS Glue. Avec AWS Glue, vous pouvez désormais utiliser le catalogue de données AWS Glue comme source pour extraire des données de MongoDB Atlas et renseigner une cible Amazon S3.
La prise en charge de MongoDB Atlas par le crawler AWS Glue est généralement disponible dans toutes les régions commerciales où AWS Glue est disponible. Pour en savoir plus, lisez le blog et consultez la documentation relative aux crawlers AWS Glue.