Veröffentlicht am: Nov 21, 2022
AWS-Glue-Crawler unterstützen jetzt Snowflake, wodurch Sie Updates am Snowflake-Schema leichter verstehen und aussagefähige Erkenntnisse einfacher extrahieren können.
Wenn Kunden eine Snowflake-Datenbank crawlen möchten, können sie einen Glue-Crawler mit JDBC URL mit Anmeldeinformation von AWS Secret Manager erstellen und planen. Bei einer Konfigurationsoption können Sie angeben, wenn der Crawler die gesamte Datenbank oder nur bestimmte Tabellen crawlen soll, indem Sie den Schema-/Tabellenpfad angeben und Muster ausschließen, um die Crawl-Dauer zu verkürzen. Mit jeder Crawler-Ausführung untersucht und katalogisiert der Crawler Informationen, wie Updates oder Löschungen an Snowflake-Tabellen, externen Tabellen, Ansichten und materialisierten Ansichten im AWS-Glue-Datenkatalog. Bei Snowflake-Spalten, deren Typen nicht mit Hive kompatibel ist, wie Geografie oder Geometrie, extrahiert der Crawler diese Informationen als Rohdatentyp und stellt sie im Datenkatalog bereit.
Die Unterstützung von AWS-Glue-Crawlern für Snowflake ist in den folgenden AWS-Regionen allgemein verfügbar: USA Ost (Ohio, Nord-Virginia), USA West (Oregon), Asien-Pazifik (Tokio, Osaka) und Europa (Irland). Weitere Informationen erhalten Sie im Blog sowie in der Dokumentation zu AWS-Glue-Crawlern.