Tarification Amazon Kinesis Data Analytics

Amazon Kinesis Data Analytics est le moyen le plus simple de transformer et d'analyser les données de streaming en temps réel à l'aide d'Apache Flink, un cadre et un moteur open source pour le traitement des flux de données. Amazon Kinesis Data Analytics simplifie la création et la gestion des charges de travail Apache Flink et vous permet d'intégrer facilement des applications à d'autres services AWS.

Avec Amazon Kinesis Data Analytics, vous ne payez qu'en fonction de votre consommation. Aucune ressources à allouer et aucuns coûts initiaux. Vous êtes facturé à l'heure en fonction du nombre d'unités de traitement Kinesis (ou KPU) utilisées pour exécuter vos applications. Une seule unité KPU comprend une vCPU de calcul et 4 Go de mémoire.

Pour les applications Apache Flink, une seule unité KPU supplémentaire par application vous est facturée pour l'orchestration des applications. Les applications sont également facturées pour le fonctionnement du stockage et les sauvegardes durables. Le stockage des applications en cours d'exécution est utilisé pour les fonctionnalités de traitement avec état dans Amazon Kinesis Data Analytics et est facturé par Go/mois. Les sauvegardes durables sont facultatives et permettent une restauration à un instant dans le passé des applications, facturées par Go/mois.

En mode streaming, Amazon Kinesis Data Analytics met à l'échelle automatiquement le nombre de KPU requis par votre application de traitement de flux en fonction des fluctuations de la demande de mémoire et de calcul. Vous pouvez choisir d'allouer à votre application le nombre de KPU nécessaire.

Vous êtes facturé deux KPU supplémentaires par application Studio en mode interactif. Une KPU est utilisée pour l'orchestration des applications Apache Flink et l'autre unité pour l'environnement de développement interactif sans serveur. Vous êtes également facturé pour le stockage d'application active utilisé pour les fonctionnalités de traitement avec état. Le stockage d'application active est facturé en Go par mois.

Lorsque vous développez dans le bloc-notes Studio, vous n'avez pas la possibilité de créer des sauvegardes durables d'application. Cependant, lorsque vous déployez votre application dans le bloc-notes du Studio, du mode interactif au mode streaming, vous pouvez créer des sauvegardes durables d'application.

Nous vous recommandons de tester votre application avec des charges de production pour obtenir une estimation précise du nombre de KPU nécessaires à votre application. L'utilisation des KPU peut varier considérablement en fonction du volume et de la vitesse de vos données, de la complexité du code, des intégrations, etc. Cela est particulièrement vrai lorsque vous utilisez l'environnement d'exécution Apache Flink dans Amazon Kinesis Data Analytics. Par exemple, lors de tests internes, nous avons observé un débit de plusieurs centaines de Mo par seconde par KPU pour des applications simples sans état, et un débit inférieur à 1 Mo par seconde par KPU pour des applications complexes qui utilisent beaucoup d'algorithmes de machine learning (ML). Compte tenu de ces éléments, les conseils généraux que nous fournissons avant de tester votre application sont de 1 Mo par seconde par KPU.

Vous utilisez Amazon Kinesis Data Analytics Studio pour filtrer en continu les données de streaming capturées par votre flux de données Kinesis et ne conserver que les enregistrements intéressants. Vous voulez avoir la possibilité d'afficher et de visualiser les enregistrements en temps réel et d'écrire facilement des requêtes et des programmes en SQL et en Python. Vous ne voulez pas de sauvegardes d'état durables. Vous allouez 4 KPU pour votre bloc-notes Studio en fonction du débit du flux d'entrée. Vos frais mensuels Kinesis Data Analytics sont calculés comme suit :

Frais mensuels

Les prix sont en USD. Le tarif dans la région USA Est (Virginie du Nord) est de 0,11 USD par heure d'utilisation de KPU pour votre application de traitement de flux. Cette application simple utilise 4 KPU pour traiter les flux de données entrantes. Chaque application de bloc-notes Studio (par exemple, en mode interactif) est facturée 2 KPU supplémentaires par application. Frais mensuels KPU = 30 jours * 24 heures * [(4 KPU + 2 KPU supplémentaires) * 0,11 USD/heure)] = 475,20 USD

Les applications Apache Flink utilisent 50 Go de stockage d'applications en cours d'exécution par KPU et sont facturées 0,10 USD par Go/mois dans la région USA Est-1.

Frais mensuels de stockage d'application active = 30 jours * 24 heures * 4 KPU * (50 Go * 0,10 USD/Go par mois) = 20,00 USD 

Total des frais = 475,20 USD + 20,00 USD = 495,20 USD

 

Vous utilisez Kinesis Data Analytics Studio pour créer une fenêtre coulissante sur des données de streaming capturées par une rubrique dans votre cluster Amazon Managed Streaming for Apache Kafka (Amazon MSK). Vous utilisez un bloc-notes Studio avec 4 KPU pendant huit heures sur deux jours pour développer et tester vos requêtes. Après le développement, vous déployez l'application comme application de streaming avec 12 KPU. Une fois l'application de streaming déployée, vous arrêtez le bloc-notes Studio. L'application de streaming peut utiliser un état d'application durable et vous créez des sauvegardes d'état durables tous les jours.

Les prix sont en USD. Le tarif dans la région USA Est (Virginie du Nord) est de 0,11 USD par heure d'utilisation d'unité KPU pour votre application de traitement de flux.

Frais mensuels

Développement et test de requête Kinesis Data Analytics Studio :
Frais KPU = 2 jours * 8 heures * (4 KPU + 2 KPU supplémentaires pour le bloc-notes Studio) * 0,11 USD/heure) = 10,56 USD

Les applications Apache Flink utilisent 50 Go de stockage d'applications en cours d'exécution par KPU et sont facturées 0,10 USD par Go/mois dans la région USA Est-1.

Frais de stockage d'application active = 2 jours * 8 heures * 4 KPU * (50 Go * 0,10 USD/Go par mois) = 0,44 USD

Déploiement en tant qu'application de streaming et sauvegardes d'application :

Frais KPU = 28 jours * 24 heures * (2 KPU + 1 KPU supplémentaire pour l'application de streaming) * 0,11 USD/heure) = 221,76 USD

Les applications Apache Flink utilisent 50 Go de stockage d'applications en cours d'exécution par KPU et sont facturées 0,121 USD par Go/mois dans la région USA Est-1.

Frais de stockage d'application active = 28 jours * 24 heures * 2 KPU * (50 Go * 0,10 USD/Go par mois) = 9,33 USD

Frais de stockage durable d'application = 28 * (1 Mo/sauvegarde * 1 Go/1 000 Mo) * 0,023 USD/Go par mois = 0,01 USD (arrondi au penny le plus proche)

Total des frais = 10,56 USD + 0,44 USD + 221,76 USD + 9,33 USD + 0,01 USD = 242,10 USD

Vous utilisez une application Apache Flink dans Kinesis Data Analytics pour transformer et distribuer en streaming les données de journal capturées par votre flux de données Kinesis à Amazon Simple Storage Service (Amazon S3). Les données de journal sont transformées à l'aide de plusieurs opérateurs, notamment l'application d'un schéma aux différents événements de journal, le partitionnement des données par type d'événement, le tri des données par horodatage et la mise en mémoire tampon des données pendant une heure avant leur distribution. L'application comporte de nombreuses étapes de transformation, mais aucune n'utilise intensivement des ressources informatiques. Ce flux ingère des données à raison de 2 000 enregistrements/seconde pendant 12 heures par jour et passe à 8 000 enregistrements/seconde pendant 12 heures par jour. Le client ne crée aucune sauvegarde durable d'application. Les frais mensuels Kinesis Data Analytics sont calculés comme suit :

Frais mensuels

Le prix dans la région USA Est (Virginie du Nord) est de 0,11 USD par KPU-heure. Kinesis Data Analytics alloue 50 Go de stockage d'application active par KPU et facture 0,10 USD par Go par mois.

Charge de travail :  pendant une période de 12 heures de charge de travail lourde, l'application Kinesis Data Analytics traite 8 000 enregistrements/seconde et monte automatiquement en charge jusqu'à 8 unités KPU. Après la période de charge de travail lourde, l'application Kinesis Data Analytics baisse en charge l'application après 6 heures de moindre débit. L'application procède à une mise à l'échelle de 8 KPU sur un total de 18 heures par jour.

30 jours/mois * 18 heures/jour = 540 heures/mois

Frais mensuels KPU = 540 heures/mois * 8 KPU * 0,11 USD/heure = 475,20 USD

Frais mensuels de stockage d'application active = 540 heures/mois * 8 KPU * 50 Go/KPU * 0,10 USD/Go par mois = 30,00 USD

Frais mensuels de KPU et de stockage = 475,20 USD + 30,00 USD = 505,20 USD

Charge de travail légère : pendant une période de charge de travail légère pour les six heures restantes, l'application Kinesis Data Analytics traite 2 000 enregistrements/seconde et baisse en charge automatiquement à 2 KPU

30 jours/mois * 6 heures/jour = 180 heures/mois

Frais mensuels KPU = 180 heures/mois * 2 KPU * 0,11 USD/heure = 39,60 USD

Frais mensuels de stockage d'application active = 180 heures/mois * 2 KPU * 50 Go * 0,10 USD/Go par mois = 2,50 USD

Frais mensuels KPU et de stockage = 39,60 USD + 2,50 USD = 42,10 USD

Chaque application Apache Flink est facturée une unité KPU supplémentaire par application.

Frais mensuels = 30 x 24 x 1 KPU x 0,11 USD/heure = 79,20 USD

Total des frais = 505,20 USD + 42,10 USD + 79,20 USD = 626,50 USD

Vous utilisez une application Kinesis Data Analytics pour SQL pour calculer la somme à fenêtre glissante d'une minute des articles vendus dans les transactions d'achat en ligne capturées dans votre flux Kinesis. Ce flux ingère normalement des données à raison de 1 000 enregistrements par seconde, mais les données connaissent un pic une fois par jour pendant les campagnes promotionnelles, pour atteindre 6 000 enregistrements par seconde en une heure. Les frais mensuels Kinesis Data Analytics sont calculés comme suit :

Frais mensuels

Le prix dans la région USA Est (Virginie du Nord) est de 0,11 USD par KPU-heure utilisée pour votre application de traitement des flux. Le flux de données Kinesis entrant transmet les données à raison de 1 000 enregistrements/seconde. Cependant, une fois par jour, au cours d'une heure, le flux passe à 6 000 enregistrements par seconde.

Lors de la « phase stable » qui se produit 23 heures sur 24 dans la journée, la requête à fenêtre glissante utilise 1 KPU pour traiter l'application pendant ces heures.

30 jours/mois * 23 heures/jour = 690 heures/mois 
Phase stable = 690 heures/mois * (une KPU * 0,11 USD/heure) = 75,90 USD

Lors de la « phase de pic » survenant une heure sur 24 dans une journée, la fenêtre glissante requiert l'utilisation d'une à deux KPU. Deux KPU sont donc facturées pour cette heure figurant sur les 24 heures de la journée.

30 jours/mois x 1 heure/jour = 30 heures/mois 
Phase de pic = 30 heures/mois x (2 KPU x 0,11 USD/heure) = 6,60 USD

Total des frais = 75,90 USD + 6,60 USD = 82,50 USD

Remarque : nous nous réservons le droit de facturer les coûts de transfert de données standard AWS pour les données transférées dans et hors des applications Amazon Kinesis Data Analytics..