Veröffentlicht am: Feb 6, 2023
AWS Glue Crawler unterstützen MongoDB, um das Datenschema zu extrahieren und den AWS Glue-Datenkatalog automatisch zu füllen, wodurch die Metadaten auf dem neuesten Stand bleiben. Heute erweitern wir den Support um MongoDB Atlas. Diese Funktion macht es viel einfacher, die verwalteten MongoDB Atlas-Metadaten in den AWS Glue-Datenkatalog zu integrieren, sodass Dateningenieure MongoDB-Atlas-Daten mit S3-basierten Data Lakes integrieren und aussagekräftige Erkenntnisse gewinnen können.
Mit dem heutigen Start können Sie einen Glue Crawler erstellen und planen, um MongoDB Atlas zu crawlen. In der Glue Crawler-Konsole können Sie MongoDB als Datenquelle auswählen. Anschließend können Sie eine Glue-Verbindung mit dem Verbindungstyp „DocumentDB/MongoDB“ erstellen und die MongoDB-Atlas-Clusterinformationen und Anmeldeinformationen angeben. Sobald die Konfiguration erstellt wurde, können Sie die MongoDB Atlas-Datenbank und die Sammlungen angeben, die gecrawlt werden sollen. Bei jeder Ausführung des Crawlers überprüft der Crawler bestimmte Sammlungen und Kataloginformationen. Dazu gehören Aktualisierungen oder Löschungen von MongoDB Atlas-Sammlungen, Ansichten und materialisierten Ansichten im AWS Glue-Datenkatalog. Mit AWS Glue können Sie jetzt AWS Glue Data Catalog als Quelle verwenden, um Daten aus MongoDB Atlas abzurufen und ein Amazon S3-Ziel zu füllen.
Die AWS Glue Crawler-Unterstützung für MongoDB Atlas ist allgemein in allen kommerziellen Regionen verfügbar, in denen AWS Glue verfügbar ist. Lesen Sie den Blog und besuchen Sie die AWS Glue Crawler-Dokumentation, um mehr zu erfahren.