Publicado en: Apr 27, 2020
AWS Glue ahora es compatible con el streaming sin servidor de trabajos de ETL. Esta característica permite configurar fácilmente canalizaciones de incorporación continua que se encargan de preparar datos como transmisiones de eventos de IoT, secuencias de clics y registros de red para analizarlos en cuestión de segundos. Ahora, AWS Glue puede consumir datos de orígenes de streaming como Amazon Kinesis y Apache Kafka, limpiarlos y transformarlos sobre la marcha y, posteriormente, cargar los resultados en lagos de datos de Amazon S3, almacenes de datos u otro tipo de almacenamiento. El streaming de trabajos de ETL mediante AWS Glue se ejecuta en el motor de streaming estructurado Apache Spark, para que los clientes puedan usarlos y así completar, agregar y combinar datos, además de poder ejecutar diversas operaciones complejas de analítica y aprendizaje automático.
Hasta ahora, era necesario diseñar y compilar a mano los sistemas de gestión y monitoreo de transmisiones para crear las canalizaciones de incorporación de datos de streaming. El streaming de trabajos de ETL mediante AWS Glue aprovecha la infraestructura sin servidor de este servicio para simplificar la administración de recursos, optimizar los costos y permitirle configurar las canalizaciones de incorporación continua sin necesidad de escribir código, lo cual reduce el tiempo de implementación de meses a días.
Esta característica ya está disponible en las mismas regiones de AWS que AWS Glue.
Consulte la documentación para obtener más información acerca de esta característica.