Inserito il: Apr 27, 2020
AWS Glue supporta ora le operazioni ETL in streaming serverless. Questa funzione semplifica l'impostazione di pipeline di importazione continue che preparano dati come flussi di eventi IoT, clickstream e registri di rete e li rendono disponibili per l'analisi in pochi secondi. AWS Glue ora può utilizzare dati da fonti di streaming come Amazon Kinesis e Apache Kafka, pulirli e trasformarli al volo, quindi caricare senza interruzioni i risultati in data lake di Amazon S3, data warehouse e altri data store. Le operazioni ETL in streaming di AWS Glue vengono eseguite sul motore streaming strutturato di Apache Spark, in modo che i clienti possano sceglierle per arricchire, aggregare e combinare i dati, nonché eseguire una serie di complesse operazioni di analisi e machine learning.
In precedenza, era necessario costruire e unire manualmente i sistemi di gestione e monitoraggio dei flussi per creare pipeline di ingestione di dati di streaming. Le operazioni ETL in streaming in AWS Glue sfruttano l'infrastruttura serverless di AWS Glue per semplificare la gestione delle risorse, ottimizzare i costi e consentire la configurazione di pipeline di ingestione continue senza scrivere codice, riducendo in questo modo i tempi di implementazione da mesi a giorni.
Questa funzionalità è ora disponibile in tutte le regioni AWS dove è già presente AWS Glue.
Consulta la nostra documentazione per avere ulteriori informazioni su questa caratteristica.