Publicado en: Oct 19, 2023
AWS Glue para Apache Spark ahora admite la conectividad nativa con Google BigQuery, lo que permite a los usuarios leer y escribir datos de BigQuery de manera eficiente, sin necesidad de instalar o administrar el conector de BigQuery para las bibliotecas de Apache Spark. Los usuarios ahora pueden agregar BigQuery como fuente o destino en la interfaz visual de arrastrar y soltar de AWS Glue Studio, sin código, o usar el conector directamente en un script de trabajo de ETL de AWS Glue. Cuando se combina con las capacidades de extracción, transformación y carga (ETL) de AWS Glue, este nuevo conector simplifica la creación de canalizaciones de ETL, lo que permite a los desarrolladores de ETL ahorrar tiempo en la creación y el mantenimiento de las canalizaciones de datos.
Para empezar, cree una nueva conexión de Google BigQuery en el catálogo de datos de AWS Glue y agregue una fuente o un destino de BigQuery a su trabajo de ETL de Glue. Al leer BigQuery, los desarrolladores pueden elegir una tabla de este servicio directamente como fuente o usar BigQuery SQL para definir una fuente personalizada. Al escribir en BigQuery, los usuarios pueden reutilizar las conexiones de BigQuery existentes o crear conexiones nuevas para usarlas como destino. Estas capacidades permiten a los desarrolladores de ETL trabajar con BigQuery y AWS Glue en una variedad de situaciones.
Esta característica está disponible en todas las regiones comerciales de AWS en las que está disponible AWS Glue.
Para obtener más información, consulte la documentación de AWS Glue.