Veröffentlicht am: Mar 27, 2023
AWS Glue Crawler unterstützt jetzt erweiterte Crawling-Funktionen in den Regionen AWS GovCloud (USA), was die Ausführung von Crawlern mit AWS Lake Formation, die Erkennung von Datensätzen und das Füllen von Schemas im AWS Glue-Datenkatalog vereinfacht.
Mit den erweiterten Crawling-Funktionen können Sie Lake Formation verwenden, um die Crawler-Einrichtung zu vereinfachen und zentralisierte Berechtigungen für kontointernes und kontoübergreifendes Crawling von AWS S3-Data Lakes zu unterstützen. Sie können die Crawlzeiten reduzieren, indem Sie Amazon S3-Ereignisbenachrichtigungen für Glue-Datenkatalogtabellen verwenden. Diese Funktion erleichtert das Auffinden von Datensätzen, indem nur Daten gescannt werden, die auf Ereignissen in Amazon S3 basieren. Sie können jetzt mehr Datenquellen crawlen, darunter Snowflake, MongoDB Atlas und native Delta-Lake-Tabellen, und mithilfe vereinfachter Audits mit Kostenkennzahlen für frühere Crawler-Ausführungen verwalten.
Die erweiterten Crawling-Funktionen von AWS Glue Crawler sind bereits in allen kommerziellen Regionen, chinesischen Regionen und jetzt in den AWS-Regionen GovCloud (USA) verfügbar. Weitere Informationen zur Verwendung von Crawler mit Lake Formation in der Data-Mesh-Architektur finden Sie im Blog und in der AWS Glue Crawler-Dokumentation.