Publié le: Oct 19, 2023
AWS Glue for Apache Spark prend désormais en charge la connectivité native à Google BigQuery, ce qui permet aux utilisateurs de lire et d'écrire efficacement des données depuis BigQuery sans avoir à installer ou gérer le connecteur BigQuery pour les bibliothèques Apache Spark. Les utilisateurs peuvent désormais ajouter BigQuery en tant que source ou cible dans l'interface visuelle sans code et par glisser-déposer d'AWS Glue Studio ou utiliser le connecteur directement dans un script de tâche ETL AWS Glue. Associé aux fonctionnalités ETL (Extract, Transform, Load) d'AWS Glue, ce nouveau connecteur simplifie la création de pipelines ETL, ce qui permet aux développeurs ETL de gagner du temps lors de la création et de la maintenance des pipelines de données.
Pour commencer, créez une nouvelle connexion Google BigQuery dans le catalogue de données AWS Glue et ajoutez une source ou une cible BigQuery à votre tâche Glue ETL. Lors de la lecture depuis BigQuery, les développeurs peuvent choisir une table BigQuery directement comme source ou utiliser BigQuery SQL pour définir une source personnalisée. Lorsqu'ils écrivent dans BigQuery, les utilisateurs peuvent réutiliser les connexions BigQuery existantes ou en créer de nouvelles à utiliser comme cible. Ces fonctionnalités permettent aux développeurs ETL de travailler avec BigQuery et AWS Glue dans divers scénarios.
Cette fonctionnalité est proposée dans toutes les régions AWS où AWS Glue est disponible.
Pour en savoir plus, consultez la documentation relative à AWS Glue.