Publicado: Oct 19, 2023
Agora, o AWS Glue para Apache Spark oferece suporte à conectividade nativa com o Google BigQuery, o que permite que os usuários leiam e gravem dados do BigQuery com eficiência sem a necessidade de instalar ou gerenciar o conector do BigQuery para bibliotecas do Apache Spark. Os usuários já podem adicionar o BigQuery como fonte ou destino na interface visual do tipo arrastar e soltar e sem código do AWS Glue Studio ou usar o conector diretamente em um script de trabalho de ETL do AWS Glue. Quando combinado com os recursos de extração, transformação e carregamento (ETL) do AWS Glue, esse novo conector simplifica a criação de pipelines de ETL, evitando que desenvolvedores de ETL percam tempo criando e mantendo pipelines de dados.
Para começar a usar, crie uma nova conexão do Google BigQuery no Catálogo de Dados do AWS Glue e adicione uma origem ou destino do BigQuery ao trabalho de ETL do Glue. Para fazer leituras no BigQuery, os desenvolvedores podem escolher diretamente uma tabela do BigQuery como fonte ou usar o SQL do BigQuery para definir uma fonte personalizada. Para fazer gravações no BigQuery, os usuários podem reutilizar conexões existentes do BigQuery ou criar outras para usar como destino. Esses recursos permitem que os desenvolvedores de ETL trabalhem com o BigQuery e o AWS Glue em diversos cenários.
Esse recurso está disponível em todas as regiões comerciais da AWS que oferecem o AWS Glue.
Para saber mais, acesse a documentação do AWS Glue.