Passa al contenuto principale

Amazon Data Firehose

Funzionalità di Amazon Data Firehose

Perché Amazon Data Firehose?

Amazon Data Firehose è il mezzo più semplice per caricare dati in streaming in archivi di dati e strumenti di analisi. Data Firehose è un servizio completamente gestito che semplifica l'acquisizione, la trasformazione e il caricamento di enormi volumi di dati in streaming da centinaia di migliaia di fonti in Amazon S3, Amazon Redshift, Amazon OpenSearch Service, Snowflake, tabelle Apache Iceberg, tabelle Amazon S3, endpoint HTTP generici e fornitori di servizi come Datadog, New Relic, MongoDB e Splunk, consentendo analisi e approfondimenti in tempo reale.

Argomenti della pagina

Flussi Firehose

Apri tutto

Un flusso Firehose è l'entità di base di Firehose. Firehose si utilizza creando un flusso Firehose e inviandogli dati.

Funzionalità principali

Apri tutto

Puoi avviare Amazon Data Firehose e creare un flusso di distribuzione per caricare dati in Amazon S3, Amazon Redshift, Amazon OpenSearch Service, Snowflake, tabelle Apache Iceberg, tabelle Amazon S3, endpoint HTTP, Datadog, New Relic, MongoDB o Splunk con pochi clic nella Console di gestione AWS. È possibile immettere dati nel flusso di consegna richiamando l'API di Firehose oppure eseguendo l'agente Linux fornito con l'origine dati. Data Firehose carica quindi continuamente i dati nelle destinazioni specificate.

Una volta avviati, i flussi Firehose aumentano verticalmente e automaticamente per gestire gigabyte al secondo o frequenze superiori di velocità di trasmissione dei dati di input e mantenere la latenza dei dati ai livelli specificati per il flusso, entro i limiti. Non è necessario alcun intervento manuale.

È possibile specificare le dimensioni o l'intervallo dei batch per controllare la velocità del caricamento dei dati nelle destinazioni. Ad esempio, è possibile impostare l'intervallo del batch da zero secondi a 15 minuti. Inoltre, è possibile specificare se i dati debbano essere compressi o no. Il servizio supporta gli algoritmi di compressione più utilizzati, tra cui GZip, Snappy compatibile con Hadoop, Zip e Snappy. La divisione in batch e la compressione dei dati prima del caricamento permettono un controllo ottimale sulla velocità di ricezione di nuovi dati.

Firehose supporta i formati di dati a colonne come Apache Parquet e Apache ORC, ottimizzati per l'archiviazione e l'analisi a costi contenuti utilizzando servizi come Amazon Athena, Amazon Redshift Spectrum, Amazon EMR e altri strumenti basati su Hadoop. Firehose può convertire il formato dei dati in entrata da JSON a Parquet o ORC prima di archiviare i dati in Amazon S3, in modo da poter risparmiare sui costi di archiviazione e di analisi.

È possibile partizionare in maniera dinamica il flusso di dati prima della consegna ad S3 tramite chiavi definite in modo statico o dinamico, quali "customer_id" o "transaction_id".  Firehose raggruppa i dati sulla base di tali chiavi e li consegna tramite prefissi S3 unici, consentendo di effettuare analisi dei dati migliori ed economicamente vantaggiose in maniera semplice su S3 con Athena, EMR e Redshift Spectrum. Scopri di più

Amazon Data Firehose può essere configurato per preparare i flussi di dati prima che vengano caricati nei datastore. È sufficiente selezionare una funzione AWS Lambda dalla scheda relativa alla configurazione del flusso di Amazon Data Firehose nella Console di gestione AWS. Amazon Data Firehose applicherà automaticamente tale funzione su tutti i record di dati di input, caricando i dati trasformati nelle destinazioni. Amazon Data Firehose fornisce schemi Lambda predefiniti per la conversione delle origini dati più comuni, ad esempio i log di Apache e i log di sistema in formato JSON e CSV. Gli schemi predefiniti possono essere impiegati senza alcuna modifica oppure personalizzati, o ancora è possibile scrivere funzioni completamente personalizzate. È possibile inoltre configurare Amazon Data Firehose affinché esegua nuovi tentativi sui processi con errori ed effettui il backup dei flussi di dati grezzi.  Scopri di più

Firehose legge facilmente i dati da oltre 20 fonti di dati, tra cui cluster Amazon MSK e MSK Serverless, Amazon Kinesis Data Streams, Amazon CloudWatch Logs, Amazon SNS, AWS IoT Core e altro ancora.Amazon Data Firehose attualmente supporta Amazon S3, Amazon Redshift, Amazon OpenSearch Service, Snowflake, tabelle Apache Iceberg, tabelle Amazon S3, endpoint HTTP, Datadog, New Relic, MongoDog B e Splunk come destinazioni. È possibile specificare come destinazione in cui caricare i dati un bucket Amazon S3, una tabella Amazon Redshift, un dominio del Servizio OpenSearch di Amazon, endpoint HTTP generici o un fornitore di servizi.

Amazon Data Firehose può anche crittografare automaticamente i dati dopo che sono stati caricati nella destinazione prescelta. È possibile specificare durante la configurazione del flusso Firehose una chiave di crittografia del Sistema AWS di gestione delle chiavi (KMS).

Amazon Data Firehose applica diversi parametri tramite la console e Amazon CloudWatch, tra cui il volume di dati inviati, quello di dati caricati sulla destinazione, la durata del tragitto dall'origine dati alla destinazione, i limiti dei flussi di Firehose, il numero di record limitati e la percentuale di successo del caricamento.

I costi di Amazon Data Firehose sono calcolati in base alla quantità di dati trasmessi mediante il servizio e, ove applicabile, alla conversione del formato dei dati. Inoltre, saranno addebitati i costi di distribuzione e di trasferimento di dati di Amazon VPC, ove applicabile. Non sono previste tariffe minime né impegni anticipati. Non è necessario assegnare del personale che operi, ridimensioni e mantenga l'infrastruttura o le applicazioni personalizzate per acquisire e caricare flussi di dati.