Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose è il mezzo più semplice per caricare dati di streaming in data lake, archivi di dati e servizi di analisi in modo affidabile. Può acquisire, trasformare e distribuire flussi di dati su Amazon S3, Amazon Redshift, Amazon OpenSearch Service (successore di Amazon Elasticsearch Service), endpoint HTTP generici e fornitori di servizi come Datadog, New Relic, MongoDB e Splunk. Si tratta di un servizio completamente gestito che dimensiona automaticamente le risorse in base alla velocità effettiva dei dati e non richiede alcuna attività di amministrazione durante il funzionamento. Inoltre può elaborare in batch, comprimere, convertire e crittografare i tuoi flussi di dati prima del caricamento, riducendo al minimo lo storage utilizzato e migliorando il livello di sicurezza.
Per creare e configurare un flusso di distribuzione di Firehose bastano pochi clic nella console di gestione AWS, in pochi minuti il servizio inizierà ad acquisire flussi di dati provenienti da centinaia di migliaia di origini dati verso le destinazioni specificate. È anche possibile configurare il flusso di dati in modo che converta automaticamente i dati in entrata in formati aperti e standard, ad esempio Apache Parquet e Apache ORC, prima di distribuirli.
Con Amazon Kinesis Data Firehose non sono previste tariffe minime né costi di configurazione. I costi sono addebitati in base alla quantità di dati trasmessi attraverso il servizio, ove applicabile, per la conversione dei formati di dati e per la distribuzione e il trasferimento dei dati Amazon VPC.
Vantaggi
Facilità d'uso
Con Amazon Kinesis Data Firehose bastano pochi clic nella Console di gestione AWS per acquisire, convertire e caricare flussi di dati. Puoi creare rapidamente un flusso di distribuzione di Firehose e selezionare le destinazioni; verranno inviati in tempo reale e simultaneamente dati provenienti da centinaia di migliaia di origini dati. Il servizio si prenderà carico della gestione dei flussi, quindi ad esempio delle attività di ridimensionamento delle risorse, della gestione degli shard e del monitoraggio, operazioni necessarie per poter caricare i dati nelle destinazioni e secondo gli intervalli selezionati.
Integrazione con i servizi AWS e fornitori di servizi
Amazon Kinesis Data Firehose si integra con Amazon S3, Amazon Redshift e Amazon OpenSearch Service. Inoltre, può fornire dati a endpoint HTTP generici e direttamente a fornitori di servizi come Datadog, New Relic, MongoDB e Splunk. Dalla console di gestione AWS, è possibile indirizzare Kinesis Data Firehose verso le destinazioni che preferisci e utilizzare le applicazioni e gli strumenti esistenti per analizzare i flussi di dati.
Trasformazione dati integrata serverless
Kinesis Data Firehose permette di preparare i flussi di dati prima che vengano caricati nei datastore. È possibile convertire facilmente i flussi di dati grezzi dalle origini dati in formati come Apache Parquet e Apache ORC, senza dover creare una pipeline di elaborazione apposita. Inoltre, è possibile creare una partizione dinamica dei flussi di dati prima del trasferimento ad S3 tramite chiavi definite in maniera statistica o dinamica, come "customer_id" o "transaction_id", e distribuire i dati raggruppati tramite queste chiavi in prefissi S3 unici, permettendoti di migliorare le tue prestazioni più facilmente, di ridurre i costi delle analisi dei dati su S3 utilizzando Athena, EMR e Redshift Spectrum. Ulteriori informazioni »
Quasi in tempo reale
Amazon Kinesis Data Firehose acquisisce e carica i dati quasi in tempo reale. Il servizio è in grado di caricare i nuovi dati nelle tue destinazioni entro 60 secondi dall'invio dei dati. Di conseguenza, consente maggiore rapidità di accesso ai nuovi dati e maggiore tempestività di reazione agli eventi aziendali e operativi.
Nessuna amministrazione manuale
Amazon Kinesis Data Firehose è un servizio completamente gestito che si occupa automaticamente delle operazioni di provisioning, gestione e ridimensionamento delle risorse di calcolo e di rete e della memoria necessarie per elaborare e caricare i flussi di dati. Una volta impostato, Kinesis Data Firehose carica continuamente flussi di dati nelle destinazioni al loro arrivo.
Prezzi calcolati solo in base all'uso effettivo
I costi di Amazon Kinesis Data Firehose sono calcolati in base alla quantità di dati trasmessi mediante il servizio e, ove applicabile, alla conversione del formato dei dati. Inoltre, ti saranno addebitati i costi di distribuzione di Amazon VPC e di trasferimento di dati, ove applicabile. Non sono previste tariffe minime né impegni anticipati.
Come funziona
Casi d'uso
Amazon Kinesis Data Firehose è un servizio interamente gestito che non richiede amministrazione continua. Kinesis Data Firehose gestisce infrastruttura, storage, rete e configurazione necessari per acquisire e caricare i dati dalla fonte alla destinazione. Di seguito sono riportati esempi di casi d'uso principali che riguardano i clienti che utilizzano Amazon Kinesis Firehose.
Flusso dei dati su Data Lake e Data Warehouse
Kinesis Data Firehose consente un elevato volume di importazione di dati sul tuo Amazon S3 basato su Data Lake e Data Warehouse. È possibile configurare Kinesis Data Firehose per convertire i flussi di dati in formati come Apache Parquet e Apache ORC, richiesti dai datastore di destinazione, senza dover creare una pipeline di elaborazione apposita. Inoltre, è possibile suddividere in maniera dinamica il flusso di dati attraverso chiavi ben definite quali "customer_id" o "transaction_id". Kinesis Data Firehose raggruppa i dati sulla base di tali chiavi e li distribuisce tramite prefissi S3 unici, consentendo di effettuare analisi dei dati migliori ed economicamente vantaggiose in maniera semplice su S3 con Athena, EMR e Redshift Spectrum.
Flusso di applicazioni di Machine Learning
È possibile costruire flussi di applicazioni di Machine Learning (ML) con Kinesis Data Firehose. La funzione di trasformazione Lambda su Kinesis Data Firehose può rivolgersi ai modelli di ML per analisi, endpoint di inferenza ML per previsioni al fine di arricchire i flussi di dati mentre vengono consegnati alla destinazione.
Log e IoT Analytics
Con Amazon Kinesis Data Firehose, è possibile acquisire in modo continuo dati provenienti da dispositivi connessi quali elettrodomestici, sensori integrati e set-top box per TV. Kinesis Data Firehose carica i dati nelle destinazioni specificate consentendo di fornire ai clienti accesso quasi in tempo reale a parametri, analisi e pannelli di controllo. È possibile rilevare gli errori di un'applicazione nel momento in cui si verificano e identificarne la causa primaria solo raccogliendo, monitorando e analizzando i dati di log. Amazon Kinesis Agent può essere installato e configurato con la massima semplicità sui server in uso, per tenere sotto controllo i file di log di applicazione e server e inoltrare i dati a Kinesis Data Firehose. Kinesis Data Firehose trasmette in modo continuo i dati di log nelle tue destinazioni, per poterli visualizzare e analizzare con Kibana.
Monitoraggio di sicurezza
Kinesis Data Firehose supporta diversi strumenti di Informazioni di sicurezza e gestione degli eventi (SIEM), come Splunk, come destinazione. Questo significa che è possibile acquisire e inoltrare i log di flusso del traffico di rete in Kinesis Data Firehose, il quale potrà trasformare, potenziare e caricare i dati in Splunk. Con questa soluzione, è possibile monitorare la sicurezza di rete in tempo reale e ricevere avvisi quando emerge una potenziale minaccia.
Casi di studio
Inizia a usare Amazon Kinesis Data Firehose
Scopri di più su Kinesis Data Firehose tramite la guida per gli sviluppatori.
Ottieni l'accesso immediato al piano gratuito di AWS.
Ulteriori informazioni sulle caratteristiche di Amazon Kinesis Data Firehose