AWS Glue kündigt den Katalogverbund für Remote-Apache-Iceberg-Kataloge an
AWS Glue kündigt die allgemeine Verfügbarkeit des Katalogverbunds für Remote-Iceberg-Kataloge an. Diese Funktion bietet direkten und sicheren Zugriff auf Iceberg-Tabellen, die in Amazon S3 gespeichert und mit AWS-Analyse-Engines in Remote-Katalogen katalogisiert sind.
Mit dem Katalogverbund können Sie Verbindungen zu Remote-Iceberg-Katalogen herstellen und Remote-Iceberg-Tabellen mit Ihren bevorzugten AWS-Analytik-Engines abfragen, ohne Tabellen verschieben oder kopieren zu müssen. Er synchronisiert Metadaten in Echtzeit im AWS-Glue-Datenkatalog und in Remote-Katalogen, wenn Datenteams Remote-Tabellen abfragen. Dadurch sind die Abfrageergebnisse immer auf dem neuesten Stand. Sie können jetzt das beste Preis-Leistungs-Verhältnis für Ihre Workloads wählen, wenn Sie Remote-Iceberg-Tabellen mit Ihren bevorzugten AWS-Analytik-Engines analysieren und gleichzeitig konsistente Sicherheitskontrollen bei der Datenerkennung oder -abfrage beibehalten. Der Katalogverbund wird von einer Vielzahl von Analytik-Engines unterstützt, darunter Amazon Redshift, Amazon EMR, Amazon Athena, AWS Glue sowie Drittanbieter-Engines wie Apache Spark und Amazon SageMaker mit Serverless-Notebooks.
Der Katalogverbund verwendet AWS Lake Formation für Zugriffskontrollen, sodass Sie detaillierte Zugriffskontrollen, kontoübergreifende gemeinsame Nutzung und vertrauenswürdige Identitätsverbreitung verwenden können, wenn Sie Remote-Katalogtabellen mit anderen Datenverbrauchern teilen. Der Katalogverbund kann in Katalogimplementierungen integriert werden, die die Iceberg-REST-Spezifikationen unterstützen.
Der Katalogverbund ist in der Lake-Formation-Konsole und über die SDKs und APIs von AWS Glue und Lake Formation verfügbar. Dieses Feature ist in allen kommerziellen AWS-Regionen allgemein verfügbar, in denen AWS Glue und Lake Formation verfügbar sind. Mit nur wenigen Klicks in der Konsole können Sie sich mit Remote-Katalogen verbinden, deren Datenbanken und Tabellen ermitteln, Berechtigungen für den Zugriff auf Tabellendaten gewähren und Remote-Iceberg-Tabellen mit AWS-Analytik-Engines abfragen. Weitere Informationen finden Sie in der Dokumentation.