Prezzi di Analisi dei dati Amazon Kinesis

Analisi dei dati Amazon Kinesis è la maniera più facile di trasformare e analizzare dati streaming in tempo reale utilizzando Apache Flink, un framework open-source e motore per l'elaborazione dei dati streaming. Amazon Kinesis Data Analytics semplifica la costruzione e la gestione dei carichi di lavoro di Apache Flink e ti permette di integrare facilmente le applicazioni con altri servizi AWS.

I prezzi di Amazon Kinesis Data Analytics sono calcolati in base all'uso effettivo. Non sono previsti costi iniziali né risorse da gestire. Viene addebitata una tariffa oraria calcolata sul numero di unità di elaborazione di Amazon Kinesis (o KPU) utilizzate per eseguire le applicazioni. Una singola KPU comprende 1 vCPU di calcolo e 4 GB di memoria. 

Per le applicazioni Apache Flink, viene addebitata una singola KPU in più per applicazione, utilizzata per l'orchestrazione delle applicazioni. Alle applicazioni viene addebitato l'archiviazione delle esecuzione e i backup durevoli. L'esecuzione dell'archiviazione delle applicazioni è usata per le funzionalità di elaborazione con stato di Amazon Kinesis Data Analytics e viene addebitata per GB al mese. I backup durevoli delle applicazioni sono opzionali e forniscono un punto di ripristino point-in-time (PITR) per le applicazioni, con addebito per GB al mese.

In modalità streaming, Amazon Kinesis Data Analytics calibra automaticamente il numero di KPU richieste dall'applicazione di elaborazione di flusso, dal momento che le domande di memoria e calcolo variano. Puoi scegliere di effettuare un provisioning per la tua applicazione del numero di KPU necessario.

Ti vengono addebitate due KPU aggiuntive per ogni applicazione Studio in modalità interattiva. Una KPU è utilizzata per l'orchestrazione delle applicazioni Apache Flink e l'altra per l'ambiente di sviluppo interattivo serverless. Ti verrà anche addebitato il costo di archiviazione delle applicazioni in esecuzione utilizzato per le funzionalità di elaborazione con stato. L'archiviazione delle applicazioni in esecuzione è addebitata per GB al mese.

Quando sviluppi nel notebook Studio, non avrai l'opzione di creare backup durevoli delle applicazioni. Tuttavia, quando implementi la tua applicazione dalla modalità interattiva del notebook Studio alla modalità streaming, sarai in grado di creare backup durevoli dell'applicazione.

Consigliamo di testare i carichi di produzione dell'applicazione per ottenere una stima accurata del numero di KPU necessarie alla tua applicazione. L'utilizzo delle KPU può variare in modo considerevole in funzione del volume e della velocità dei dati, della complessità del codice, delle integrazioni e di altre variabili. Ciò vale in particolar modo se si utilizza il tempo di esecuzione di Apache Flink su Amazon Kinesis Data Analytics. Ad esempio, attraverso test interni abbiamo rilevato una velocità effettiva di centinaia di MB al secondo per KPU per applicazioni semplici prive di stato, e una velocità effettiva inferiore a 1 MB al secondo per KPU per applicazioni complesse che usano algoritmi intensivi di machine learning (ML). Ciò premesso, se non si sono ancora eseguiti i test sull'applicazione l'indicazione generale è di 1 MB al secondo per KPU.

Un cliente usa Amazon Kinesis Data Analytics Studio per filtrare continuamente i dati in streaming acquisiti da Kinesis Data Stream in modo da conservare solo i record ritenuti di interesse. Il cliente vuole la capacità di vedere e visualizzare i record in tempo reale e la capacità di scrivere facilmente query e programmi in SQL e Python. Non sei interessato a backup di stato durevoli. Hai effettuato un provisioning di 4 KPU per il notebook Studio in base alla velocità effettiva del flusso di input. I costi mensili di Kinesis Data Analytics saranno calcolati come segue:

Costi mensili

Nella Regione Stati Uniti orientale (Virginia settentrionale), il prezzo per ogni ora di utilizzo di una KPU è di 0,11 USD per l'applicazione di elaborazione di flussi. L'applicazione semplice usa 4 KPU per elaborare i flussi di dati in entrata. A ogni applicazione con notebook Studio (ovvero, modalità interattiva) vengono addebitate 2 KPU aggiuntive per applicazione. Addebiti mensili di KPU = 30 giorni x 24 ore x ((4 KPU + 2 KPU aggiuntive) x 0,11 USD/ora) = 475,20 USD

Le applicazioni Apache Flink usano 50 GB per l'archiviazione delle applicazioni in esecuzione per KPU e sono soggette all'addebito di 0,10 USD per GB al mese nella regione Stati Uniti orientali 1.

Addebiti mensili per l'archiviazione delle applicazioni in esecuzione = 30 giorni x 24 ore x 4 KPU x (50 GB x 0,10 USD per GB al mese) = 20,00 USD 

Costi totali = 475,20 USD + 20,00 USD = 495,20 USD

 

Utilizzi un'applicazione Amazon Kinesis Data Analytics Studio per costruire una finestra scorrevole sui dati in streaming raccolti da un argomento nel cluster Amazon Managed Streaming for Apache Kafka (Amazon MSK). Usi un notebook Studio con 4 KPU per 8 ore in due giorni per sviluppare e testare le query. Dopo lo sviluppo distribuisci l'applicazione come applicazione di streaming con 12 KPU. Una volta che l'applicazione di streaming è implementata, fermi il notebook Studio. L'applicazione di streaming può utilizzare uno stato durevole di applicazione e puoi creare backup di stato durevole ogni giorno.

Nella Regione Stati Uniti orientali (Virginia settentrionale), il prezzo per ogni ora di utilizzo di una KPU è di 0,11 USD per l'applicazione di elaborazione di flussi.

Costi mensili

Sviluppare e testare query con Kinesis Data Analytics Studio:
Addebiti di KPU = 2 giorni x 8 ore x (4 KPU + 2 KPU aggiuntive per notebook Studio) x 0,11 USD all'ora) = 10,56 USD

Le applicazioni Apache Flink usano 50 GB per l'archiviazione delle applicazioni in esecuzione per KPU e sono soggette all'addebito di 0,10 USD per GB al mese nella regione Stati Uniti orientali 1.

Addebiti per l'archiviazione delle applicazioni in esecuzione = 2 giorni x 8 ore x 4 KPU x (50 GB x 0,10 USD per GB al mese) = 0,44 USD

Implementare come applicazione di streaming per l'esecuzione continua e prelievo dei backup delle applicazioni:

Addebiti di KPU = 28 giorni x 24 ore x (2 KPU + 1 KPU aggiuntivo per applicazione di streaming) x 0,11 USD all'ora) = 221,76 USD

Le applicazioni Apache Flink usano 50 GB per l'archiviazione delle applicazioni in esecuzione per KPU e sono soggette all'addebito di 0,121 USD per GB al mese nella regione Stati Uniti orientali 1.

Addebiti per l'archiviazione delle applicazioni in esecuzione = 28 giorni x 24 ore x 2 KPU x (50 GB x 0,10 USD per GB al mese) = 9,33 USD

Addebiti per l'archiviazione durevole delle applicazioni = 28 x (1 MB per backup x 1 GB per 1,000 MB) x 0,023 USD per GB al mese = 0,01 USD (arrotondato)

Costi totali = 10.56 USD + (0,44 USD + 221,76 USD) + (9,33 USD + 0,01 USD) = 242,10 USD

Un cliente usa un'applicazione Apache Flink su Amazon Kinesis Data Analytics per trasformare in modo continuo i dati di log acquisiti da Kinesis Data Stream e distribuirli ad Amazon Simple Storage Service (Amazon S3). I dati di registro vengono trasformati usando diversi operatori tra cui l'applicazione di uno schema ai diversi eventi di registro, dividendo i dati per tipo di evento, suddividendoli per marcatura temporale e caricando i dati un'ora prima della consegna. L'applicazione ha più fasi di trasformazione ma nessuna è computazionalmente intensa. Questo flusso importa 2.000 record al secondo per 12 ore al giorno e aumenta a 8.000 record al secondo per 12 ore al giorno. Il cliente non deve creare backup durevoli delle applicazioni. I costi mensili di Kinesis Data Analytics saranno calcolati come segue:

Costi mensili

Nella Regione Stati Uniti Nella regione orientale (N. Virginia) è di 0.11 USD per KPU all'ora. Kinesis Data Analytics assegna 50 GB per l'archiviazione delle applicazioni in esecuzione per KPU e addebita 0,10 USD per GB al mese.

Carico di lavoro intenso: nel periodo di 12 ore di carico di lavoro intenso, l'applicazione di Kinesis Data Analytics elabora 8.000 record al secondo e aumenta automaticamente fino a 8 KPU. A seguito del periodo di carico di lavoro intenso, l'applicazione di Kinesis Data Analytics riduce l'applicazione dopo 6 ore di velocità effettiva inferiore. L'applicazione si ricalibra a 8 KPU per un totale di 18 ore al giorno.

30 giorni al mese x 18 ore al giorno = 540 ore al mese

Addebiti mensili di KPU = 540 ore al mese x 8 KPU x 0,11 USD all'ora = 475,20 USD

Addebiti mensili per l'archiviazione delle applicazioni in esecuzione = 540 ore al mese x 8 KPU x 50 GB per KPU x 0,10 USD per GB al mese = 30,00 USD

Addebiti mensili per archiviazione e KPU = 475,20 USD + 30,00 USD = 505,20 USD

Carico di lavoro leggero: nel periodo di carico di lavoro leggero delle rimanenti sei ore, l'applicazione di Kinesis Data Analytics elabora 2000 record al secondo e si riduce automaticamente fino a 2 KPU

30 giorni al mese x 6 ore al giorno = 180 ore al mese

Addebiti mensili di KPU = 180 ore al mese x 2 KPU x 0,11 USD all'ora = 39,60 USD

Addebiti mensili per l'archiviazione delle applicazioni in esecuzione = 180 ore al mese x 2 KPU x 50 GB x 0,10 USD per GB al mese = 2,50 USD

Addebiti mensili per archiviazione e KPU = 39,60 USD + 2,50 USD = 42,10 USD

A ogni applicazione Apache Flink viene addebitata una KPU aggiuntiva.

Addebiti mensili: 30 x 24 x 1 KPU x 0,11 USD all'ora = 79,20 USD

Costi totali = 505,20 USD + 42,10 USD + 79,20 USD = 626,50 USD

Usi un'applicazione Kinesis Data Analytics per SQL per elaborare una finestra scorrevole che visualizza 1 minuto delle sue transazioni di vendita online acquisite nei flussi Kinesis. Questo flusso in genere importa 1.000 record al secondo, ma il carico manifesta dei picchi una volta al giorno durante specifiche campagne promozionali, arrivando a 6.000 record al secondo per un'ora. I costi mensili di Kinesis Data Analytics saranno calcolati come segue:

Costi mensili

Nella Regione Stati Uniti orientali (Virginia settentrionale), il prezzo per ogni ora di utilizzo di una KPU è di 0,11 USD per l'applicazione di elaborazione di flussi. Il flusso di dati in entrata di Kinesis trasmette 1.000 record al secondo. Una volta al giorno, tuttavia, i picchi di stream arrivano a 6.000 record al secondo nel giro di un'ora.

Per lo ''stato costante'', che si verifica 23 ore su 24 al giorno, la query della finestra scorrevole usa 1 KPU per elaborare il carico di lavoro in queste ore.

30 giorni al mese x 23 ore al giorno = 690 ore al mese 
Stato costante = 690 ore al mese x (1 KPU x 0,11 USD all'ora) = 75,90 USD

Per ''stato di picco'', che si verifica 1 ora su 24 al giorno, la query della finestra scorrevole usa tra 1 o 2 KPU. Ti verranno addebitati i costi per 2 KPU per quell'unica ora del giorno.

30 giorni al mese x 1 ora al giorno = 30 ore al mese 
Stato di picco = 30 ore al mese x (2 PKU x 0,11 USD all'ora) = 6,60 USD

Costi totali = 75,90 USD + 6,60 USD = 82,50 USD

Nota: ci riserviamo il diritto di addebitare i costi di trasferimento dei dati standard di AWS per i dati trasferiti da e verso le applicazioni Amazon Kinesis Data Analytics.