Amazon Kinesis Data Firehose
Preparazione e caricamento di flussi di dati in tempo reale in datastore e strumenti di analisi
Amazon Kinesis Data Firehose è il mezzo più semplice per caricare flussi di dati in data lake, datastore e strumenti di analisi in modo affidabile. È in grado di acquisire, trasformare e caricare automaticamente flussi di dati in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service e Splunk, per ottenere analisi quasi in tempo reale con gli strumenti di business intelligence e i pannelli di controllo che usi tutti i giorni. Si tratta di un servizio completamente gestito che ridimensiona automaticamente le risorse in base al throughput dei dati e non richiede alcuna attività di amministrazione durante il funzionamento. Inoltre può elaborare in batch, comprimere, convertire e crittografare i dati prima del caricamento, riducendo al minimo lo storage utilizzato e migliorando il livello di sicurezza.
Per creare e configurare un flusso di distribuzione di Firehose bastano pochi clic nella Console di gestione AWS; il servizio inizierà entro alcuni minuti a inviare nel flusso i dati provenienti da centinaia di migliaia di origini diverse, caricandoli senza soluzione di continuità in AWS. È anche possibile configurare il flusso di distribuzione in modo che converta automaticamente i dati in entrata in formati a colonne, ad esempio Apache Parquet e Apache ORC, prima di inoltrarli in Amazon S3, per ridurre i costi di storage e analisi.
I costi di Kinesis Data Firehose sono calcolati in base alla quantità di dati trasmessi mediante il servizio e, ove applicabile, alla conversione del formato dei dati. Non sono previste tariffe minime né costi di configurazione.
Video: Cos'è Amazon Kinesis Data Firehose?
Vantaggi
Facilità d'uso
Con Amazon Kinesis Data Firehose bastano pochi clic nella Console di gestione AWS per acquisire, convertire e caricare flussi di dati. È sufficiente creare un flusso di distribuzione di Firehose e selezionare le destinazioni; verranno inviati in tempo reale e simultaneamente dati provenienti da centinaia di migliaia di origini dati. Il servizio si prenderà carico della gestione dei flussi, quindi ad esempio delle attività di ridimensionamento delle risorse, della gestione degli shard e del monitoraggio, operazioni necessarie per poter caricare i dati nelle destinazioni e secondo gli intervalli selezionati.
Integrato con data lake e datastore AWS
Amazon Kinesis Data Firehose si integra con Amazon S3, Amazon Redshift e Amazon Elasticsearch Service. Dalla Console di gestione AWS, è possibile selezionare come destinazione di Kinesis Data Firehose un bucket Amazon S3, una tabella Amazon Redshift o un dominio Amazon Elasticsearch. Sarà quindi possibile usare applicazioni e strumenti di analisi esistenti per esaminare il flusso di dati.
Trasformazione serverless dei dati
Amazon Kinesis Data Firehose permette di preparare i flussi di dati prima che vengano caricati nei datastore. Con Kinesis Data Firehose, è possibile convertire i flussi di dati grezzi dalle origini dati nei formati richiesti dai datastore di destinazione senza dover creare una pipeline di elaborazione apposita. Ulteriori informazioni »
Operatività quasi in tempo reale
Amazon Kinesis Data Firehose acquisisce e carica i dati quasi in tempo reale. Il servizio è in grado di caricare i nuovi dati in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service e Splunk entro 60 secondi dall'invio dei dati. Di conseguenza, consente maggiore rapidità di accesso ai nuovi dati e maggiore tempestività di reazione agli eventi aziendali e operativi.
Nessuna amministrazione manuale
Amazon Kinesis Data Firehose è un servizio completamente gestito che si occupa automaticamente delle operazioni di provisioning, gestione e ridimensionamento delle risorse di calcolo e di rete e della memoria necessarie per caricare i flussi di dati. Una volta completata la configurazione, Kinesis Data Firehose carica i dati in modo continuo seguendone il flusso.
Prezzi calcolati solo in base all'uso effettivo
I costi di Amazon Kinesis Data Firehose sono calcolati in base alla quantità di dati trasmessi mediante il servizio e, ove applicabile, alla conversione del formato dei dati. Non sono previste tariffe minime né impegni anticipati.
Come funziona
Casi d'utilizzo
Amazon Kinesis Data Firehose è il mezzo più semplice per caricare flussi di dati in data lake, datastore e strumenti di analisi in modo affidabile. È in grado di acquisire, trasformare e caricare automaticamente flussi di dati in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service e Splunk, per ottenere analisi quasi in tempo reale con gli strumenti di business intelligence e i pannelli di controllo che usi tutti i giorni. Di seguito sono riportati esempi di casi d’uso principali che riguardano i clienti che utilizzano Amazon Kinesis Firehose.
IoT Analytics
Con Amazon Kinesis Data Firehose, è possibile acquisire in modo continuo dati provenienti da dispositivi connessi quali elettrodomestici, sensori integrati e set-top box per TV. Kinesis Data Firehose carica i dati in Amazon S3 e Amazon Redshift, consentendo di fornire ai clienti accesso quasi in tempo reale a parametri, analisi e pannelli di controllo.
Analisi di clickstream
Amazon Kinesis Data Firehose può essere impiegato per abilitare la distribuzione in tempo reale dei parametri in contenuti digitali, consentendo ad autori ed esperti di marketing di raggiungere i clienti nel modo più efficace possibile. Inoltre consente di inviare miliardi di messaggi di piccole dimensioni, compressi, crittografati e distribuiti in Amazon Elasticsearch Service e Amazon Redshift. Una volta caricati in questi servizi, i dati possono essere aggregati, filtrati ed elaborati, aggiornando inoltre i pannelli di controllo che monitorano i contenuti quasi in tempo reale. Ad esempio, Hearst Corporation ha creato una piattaforma di analisi di clickstream che impiega Kinesis Data Firehose per trasmettere ed elaborare 30 terabyte di dati al giorno provenienti dagli oltre 300 siti Web in tutto il mondo. Con questa piattaforma, Hearst può rendere disponibile agli editor in pochi minuti l'intero flusso di dati, dai clic sui siti Web ai parametri aggregati. Leggi il caso di studio »
Analisi di log
I dati di log provenienti da applicazioni e server in esecuzione nel cloud e in locale possono aiutare a monitorare le applicazioni e risolvere i problemi più rapidamente. Ad esempio, è possibile rilevare gli errori di un'applicazione nel momento in cui si verificano e identificarne la causa primaria solo raccogliendo, monitorando e analizzando i dati di log. Amazon Kinesis Agent può essere installato e configurato con la massima semplicità sui server in uso, per tenere sotto controllo i file di log di applicazione e server e inoltrare i dati in Kinesis Data Firehose. Kinesis Data Firehose trasmette in modo continuo i dati di log in Amazon Elasticsearch Service, per poterli visualizzare e analizzare con Kibana.
Monitoraggio di sicurezza
Kinesis Data Firehose supporta l'utilizzo di destinazioni Splunk. Questo significa che è possibile acquisire e inoltrare i log di flusso del traffico di rete in Kinesis Data Firehose, il quale potrà trasformare, potenziare e caricare i dati in Splunk. Con questa soluzione, è possibile monitorare la sicurezza di rete in tempo reale e ricevere avvisi quando emerge una potenziale minaccia.
Casi di studio
Post del blog
Scalabilità serverless per acquisizione, aggregazione e visualizzazione di log di Apache
Inizia a usare Amazon Kinesis Data Firehose
Consulta la guida per gli sviluppatori
Ulteriori informazioni sulle caratteristiche di Amazon Kinesis Data Firehose
