Inserito il: Apr 27, 2020
AWS Glue ora supporta l'ETL in streaming serverless. Questa funzionalità facilita la configurazione di pipeline di assimilazione continue che preparano i flussi di dati al volo e li rendono disponibili per l’analisi in pochi secondi. Le operazioni ETL in streaming in AWS Glue possono utilizzare dati da fonti di streaming come Amazon Kinesis e Apache Kafka, pulirli e trasformarli al volo, quindi caricare senza interruzioni i risultati in data lake di Amazon S3, data warehouse e altri datastore. I clienti possono avvalersi di questa funzionalità per elaborare i dati di eventi quali flussi di eventi IoT, clickstream e log di rete. Le operazioni ETL in streaming in AWS Glue vengono eseguite sul motore streaming strutturato di Apache Spark, in modo che i clienti possano sceglierle per arricchire, aggregare e combinare i dati in streaming, nonché eseguire una serie di complesse operazioni di analisi e machine learning.
In precedenza, era necessario costruire e unire manualmente i sistemi di gestione e monitoraggio dei flussi per creare pipeline di assimilazione dei dati di streaming. Le operazioni ETL in streaming in AWS Glue sfruttano l'infrastruttura serverless di AWS Glue per semplificare la gestione delle risorse, ottimizzare i costi e consentire la configurazione di pipeline di assimilazione continue senza scrivere codice, riducendo in questo modo i tempi di implementazione da mesi a giorni.
Questa funzionalità è ora disponibile in tutte le regioni AWS dove è già presente AWS Glue.
Consulta la nostra documentazione per avere ulteriori informazioni su questa caratteristica.