Veröffentlicht am: Feb 24, 2023
AWS Glue Crawlers lassen sich jetzt in AWS Lake Formation integrieren, was die Crawler-Einrichtung vereinfacht, und zentralisierte Berechtigungen für kontointernes und kontoübergreifendes Crawling von AWS S3-Data Lakes unterstützt.
AWS Glue Crawler werden verwendet, um Datensätze zu erkennen, Schemainformationen zu extrahieren und den AWS Glue-Datenkatalog zu füllen. Vor dieser Integration mussten Sie Amazon IAM- und Amazon S3-Bucket-Richtlinien für den Crawler-Zugriff auf S3-Data Lake-Ziele einrichten. Kunden, die Lake Formation zur Verwaltung dieser Ziele verwenden, zogen es vor, alle Berechtigungen in Lake Formation zu zentralisieren, anstatt direkten S3-Zugriff für die Crawler-Rolle einzurichten. Mit dieser Integration von Glue Crawler und Lake Formation können Sie jetzt Lake Formation-Berechtigungen für den Zugriff des Crawlers auf Ihre verwalteten Lake Formation-Tabellen verwenden.
Wenn Sie den AWS Glue Crawler für die Verwendung von Lake Formation konfigurieren, verwendet der Crawler standardmäßig Lake Formation in demselben Konto, um die Anmeldeinformationen für den Datenzugriff abzurufen. Sie können den Crawler jedoch auch so konfigurieren, dass er Lake Formation für ein anderes Konto verwendet, indem Sie bei der Erstellung eine Konto-ID angeben. Die kontoübergreifende Funktion ermöglicht es Kunden, Berechtigungen von einem zentralen Governance-Konto aus zu verwalten. Kunden bevorzugen die zentrale Governance-Erfahrung gegenüber dem separaten Schreiben von Bucket-Richtlinien für jedes Bucket-Konto, dem der Bucket gehört. Um eine Data-Mesh-Architektur aufzubauen, können Sie in einer einzigen Lake Formation-Governance Berechtigungen erstellen, um den Zugriff auf Datenstandorte und Crawler zu verwalten, die sich über mehrere Konten in ihrem Data Lake erstrecken.
Die Unterstützung von AWS Glue Crawler für Lake Formation ist allgemein in allen Regionen verfügbar, in denen sowohl AWS Glue als auch Lake Formation verfügbar sind. Eine Liste der Regionen finden Sie in der AWS-Regionstabelle. Lesen Sie den Blogbeitrag und besuchen Sie die AWS Glue Crawler-Dokumentation, um mehr zu erfahren.