Amazon Data Firehose
Carica flussi in tempo reale in modo affidabile su data lake, warehouse e servizi di analisi dei dati
Vantaggi
Streaming di dati in tempo reale
Acquisisci, trasforma e carica facilmente dati in streaming. Crea un flusso di consegna, seleziona una destinazione e avvia lo streaming dei dati in tempo reale in pochi clic.
Provisioning e dimensionamento automatici
Effettua automaticamente il provisioning e il dimensionamento delle risorse di calcolo, di memoria e di rete senza la necessità di un'amministrazione manuale.
Trasforma i dati in streaming non elaborati
Trasforma i dati in streaming non elaborati in formati come Apache Parquet e suddividili in maniera dinamica senza dover creare pipeline di elaborazione apposite.
Come funziona
Amazon Data Firehose fornisce un'opzione semplice per acquisire, trasformare e distribuire flussi di dati a data lake, data warehouse e servizi di analisi in pochi secondi. Per utilizzare Amazon Data Firehose, è necessario configurare un flusso definendo una sorgente, una destinazione e le trasformazioni necessarie. Amazon Data Firehose elabora continuamente il flusso, si dimensiona automaticamente in base alla quantità di dati disponibili e lo distribuisce in pochi secondi.
Crea
Seleziona la fonte per il flusso di dati, ad esempio un argomento nello Streaming gestito da Amazon per Kafka (MSK), un flusso in Kinesis Data Streams o inserisci dati utilizzando l'API PUT diretto di Firehose. Amazon Data Firehose è integrato in oltre 20 servizi AWS, quindi puoi configurare uno stream da fonti come Amazon CloudWatch Logs, log ACL web AWS WAF, AWS Network Firewall Logs, Amazon SNS o AWS IoT.
Trasformazione dei dati (facoltativo)
È possibile specificare se si desidera convertire il flusso di dati in formati come Parquet o ORC, decomprimere i dati, eseguire trasformazioni personalizzate dei dati utilizzando la propria funzione AWS Lambda o ripartire dinamicamente i record di input in base agli attributi per distribuirli in posizioni diverse.
Destinazione
Seleziona una destinazione per il tuo streaming, ad esempio Amazon S3, Amazon OpenSearch Service, Amazon Redshift, Splunk, Snowflake, Apache Iceberg Tables, Amazon S3 Tables o un endpoint HTTP personalizzato.
Per ulteriori informazioni su Amazon Data Firehose, consulta la documentazione di Amazon Data Firehose.
Casi d'uso
Trasmetti in data lake e warehouse
Trasmetti dati in streaming in Amazon S3 e converti i dati nei formati richiesti per l'analisi senza costruire pipeline di elaborazione.
Aumenta la sicurezza
Monitora la sicurezza della rete in tempo reale e crea avvisi quando si verificano potenziali minacce utilizzando gli strumenti SIEM (Security Information and Event Management) supportati.
Costruisci applicazioni di streaming ML
Arricchisci i tuoi flussi di dati con modelli di machine learning (ML) per analizzare i dati e prevedere gli endpoint di inferenza mentre i flussi si spostano verso la loro destinazione.