Amazon Glue ermöglicht erweiterte Apache-Spark-Funktionen für AWS-Lake-Formation-Tabellen mit vollem Tabellenzugriff
Amazon Glue unterstützt jetzt Lese- und Schreibvorgänge von AWS-Glue-5.0-Apache-Spark-Jobs in AWS-Lake-Formation-registrierten Tabellen, wenn die Jobrolle vollen Tabellenzugriff hat. Diese Funktion ermöglicht DML-Operationen (Data Manipulation Language), einschließlich CREATE-, ALTER-, DELETE-, UPDATE- und MERGE INTO-Anweisungen für Apache Hive- und Iceberg-Tabellen aus derselben Apache-Spark-Anwendung heraus.
Die Zugriffskontrolle (Fine-Grained Access Control; FGAC) von Lake Formation bietet zwar granulare Sicherheitskontrollen auf Zeilen-, Spalten- und Zellenebene, aber viele ETL-Workloads benötigen einfach vollen Tabellenzugriff. Dieses neue Feature ermöglicht es AWS-Glue-5.0-Spark-Jobs, Daten direkt zu lesen und zu schreiben, wenn der vollständige Tabellenzugriff gewährt wird. Dadurch wurden Einschränkungen aufgehoben, die zuvor bestimmte ETL-Operationen (Extract, Transform, Load) einschränkten. Sie können jetzt erweiterte Spark-Funktionen wie Resilient Distributed Datasets (RDDs), benutzerdefinierte Bibliotheken und benutzerdefinierte Funktionen (UDFs) mit Lake-Formation-Tabellen nutzen. Darüber hinaus können Datenteams komplexe, interaktive Spark-Anwendungen über SageMaker Unified Studio im Kompatibilitätsmodus ausführen und gleichzeitig die Sicherheitsgrenzen von Lake Formation auf Tabellenebene beibehalten.
Dieses Feature ist in allen AWS-Regionen verfügbar, in denen AWS Glue und AWS Lake Formation unterstützt werden. Weitere Informationen finden Sie auf der Produktseite zu AWS Glue und in unserer Dokumentation.