Veröffentlicht am: Oct 19, 2023
AWS Glue für Apache Spark unterstützt jetzt native Konnektivität zu Google BigQuery, wodurch Benutzer effizient Daten aus BigQuery lesen und schreiben können, ohne den BigQuery Connector für Apache Spark-Bibliotheken installieren oder verwalten zu müssen. Benutzer können BigQuery jetzt als Quelle oder Ziel in der grafischen Benutzeroberfläche von AWS Glue Studio ohne Code per Drag-and-Drop hinzufügen oder den Connector direkt in einem AWS Glue ETL-Job Script verwenden. In Kombination mit den ETL-Funktionen (Extract, Transform, Load) von AWS Glue vereinfacht dieser neue Connector die Erstellung von ETL-Pipelines, wodurch ETL-Entwickler Zeit beim Aufbau und der Wartung von Data Pipelines sparen können.
Erstellen Sie zunächst eine neue Verbindung zu Google BigQuery im AWS-Glue-Datenkatalog und fügen Sie Ihrem Glue ETL-Job eine BigQuery-Quelle oder ein BigQuery-Ziel hinzu. Beim Lesen aus BigQuery können Entwickler eine BigQuery-Tabelle direkt als Quelle wählen oder BigQuery SQL verwenden, um eine benutzerdefinierte Quelle zu definieren. Beim Schreiben in BigQuery können Benutzer bestehende BigQuery-Verbindungen wiederverwenden oder neue für die Verwendung als Ziel erstellen. Diese Funktionen ermöglichen es ETL-Entwicklern, mit BigQuery und AWS Glue in einer Vielzahl von Szenarien zu arbeiten.
Dieses Feature ist in allen kommerziellen AWS-Regionen verfügbar, in denen AWS Glue angeboten wird.
Weitere Informationen finden Sie in der Dokumentation zu AWS Glue.