Amazon EMR auf EC2 bietet nun native Unterstützung für Apache Spark FGAC und AWS-Glue-Datenkatalog-Aufrufen
Amazon EMR auf EC2 kündigt zwei wesentliche Verbesserungen für die Governance an: Apache Spark Native Fine-Grained Access Control (FGAC) über AWS Lake Formation und Unterstützung für AWS-Glue-Datenkatalog-Ansichten. Diese Funktionen ermöglichen es Unternehmen, die Datensicherheit zu verbessern, die Zugriffsverwaltung zu vereinfachen und die Möglichkeiten zum Datenaustausch in ihren Analyseumgebungen zu erweitern.
Die native FGAC-Implementierung von Apache Spark ermöglicht es Kunden, detaillierte Zugriffsrichtlinien einmalig in AWS Lake Formation zu definieren und diese konsistent auf alle EMR-Cluster anzuwenden. Dies reduziert Sicherheitsrisiken und den Verwaltungsaufwand und bietet gleichzeitig einen einheitlichen Ansatz für die Daten-Governance. Kunden können nun die vertrauten Lake Formation-Berechtigungen und -Entzugserklärungen verwenden, um die Zugriffskontrollen für ihre Spark-Jobs und interaktiven Sitzungen auf EMR auf EC2 zu verwalten, ähnlich wie dies bei anderen AWS-Analysediensten der Fall ist.
Mit AWS-Glue-Datenkatalog-Aufrufen können Kunden Multi-Engine-SQL-Ansichten über AWS-Regionen, -Konten und -Organisationen hinweg erstellen, verwalten und abfragen. Diese Funktion ermöglicht es Administratoren, aus Spark-Jobs Ansichten zu erstellen, die von mehreren Engines abgefragt werden können, während der Datenzugriff über Lake Formation-Berechtigungen gesteuert wird. Diese Berechtigungen umfassen benannte Ressourcenzuweisungen, Datenfilter und Tags, wobei alle Zugriffsanfragen automatisch in AWS CloudTrail protokolliert werden, um eine umfassende Überprüfung zu ermöglichen.
Die nativen FGAC- und AWS-Glue-Datenkatalog-Ansichtsfunktionen von Apache Spark sind mit Amazon EMR Release 7.10 in allen AWS-Regionen verfügbar, in denen EMR auf EC2 verfügbar ist. Weitere Informationen finden Sie unter Verwendung von AWS Lake Formation mit Amazon EMR und Arbeiten mit AWS-Glue-Datenkatalog-Ansichten in der Amazon EMR-Dokumentation.