Présentation

Streaming Data Solution for Amazon Kinesis fournit des modèles AWS CloudFormation dans lesquels les flux de données transitent par des producteurs, un stockage de streaming, des consommateurs et des destinations. La solution prévoit quatre modèles CloudFormation, ce qui permet de prendre en charge de multiples cas d'utilisation et besoins professionnels. Comme pour Streaming Data Solution for Amazon MSK, les modèles sont configurés pour appliquer les bonnes pratiques afin de surveiller les fonctionnalités à l'aide de tableaux de bord et d'alarmes et de sécuriser les données.
Les données de streaming doivent être capturées durablement par un stockage extrêmement évolutif, capable de gérer un volume élevé de données provenant des producteurs de données. Un producteur peut représenter des milliers de sources de données, chacune générant des données de diffusion en continu (streaming) qui soumettent simultanément des enregistrements de petites tailles (en kilo-octets).
Les données de streaming sont variées : fichiers journaux générés par les clients à l'aide d'applications mobiles ou Web, achats en ligne, activité des joueurs, informations provenant de réseaux sociaux, de salles de marché ou de services géospatiaux, télémétrie d'appareils ou d'instruments connectés dans des centres de données.
Avantages

Détails techniques

-
Option 1
-
Option 2
-
Option 3
-
Option 4
-
Option 1
-
Options 1 – Modèle AWS CloudFormation qui utilise Amazon API Gateway, Kinesis Data Streams et AWS Lambda
Étape 1
L'API REST d'Amazon API Gateway agit comme un proxy pour Amazon Kinesis Data Streams, notamment en ajoutant soit un enregistrement de données individuel, soit une liste d'enregistrements de données.Étape 2
Un groupe d'utilisateurs Amazon Cognito est utilisé pour contrôler qui peut appeler les méthodes de l'API REST.Étape 3
Kinesis Data Streams pour stocker les données entrantes en continu.Étape 4
Une fonction AWS Lambda traite les enregistrements du flux de données.Étape 5
Les erreurs et les échecs d'enregistrements qui se produisent pendant le traitement AWS Lambda sont annotés et les événements stockés dans Amazon Simple Queue Service (Amazon SQS). La file d'attente stocke les métadonnées des enregistrements en lots ayant échoué et des erreurs Lambda. Le client peut ainsi récupérer ces enregistrements et déterminer les prochaines étapes pour corriger les erreurs.Rubriques connexes
Blog de l'architecture AWSReal-Time In-Stream Inference with AWS Kinesis, SageMaker et Apache FlinkCet article présente l'architecture permettant d'obtenir une inférence en temps réel sur les données en streaming à l'aide de divers services AWS. Il couvre l'intégration d'Amazon Kinesis Data Analytics (KDA) à Apache Flink pour appeler de manière asynchrone les bases de données ou services sous-jacents.
FormationIntroduction to Amazon Kinesis AnalyticsCeci est un cours d'introduction d'Amazon Kinesis Analytics, une solution qui vous permet d'interroger des données de streaming ou de concevoir des applications de streaming complètes avec SQL.
FormationData Analytics FundamentalsCe cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.
À propos de ce déploiementVersion1.7.5Date de publication04/2023AuteurAWSTemps de déploiement estimé5 à 10 minEstimation du coûtOptions de déploiementPrêt à vous lancer ?Déployer cette solution en la lançant dans votre console AWS -
Option 2
-
Modèle AWS CloudFormation qui utilise Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon CloudWatch
Option 2 – Modèle AWS CloudFormation qui utilise le modèle AWS CloudFormation qui utilise Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon CloudWatch
Étape 1
Une instance Amazon Elastic Compute Cloud (Amazon EC2) utilise la bibliothèque Amazon Kinesis Producer (KPL) pour générer des données.Étape 3
Kinesis Data Analytics Studio traite les enregistrements entrants et enregistre les données traitées dans un compartiment Amazon Simple Storage Service (Amazon S3).Étape 4
Un tableau de bord Amazon CloudWatch contrôle l'état de l'application, sa progression, l'utilisation des ressources, les événements et les erreurs.
Rubriques connexes
Blog de l'architecture AWSReal-Time In-Stream Inference with AWS Kinesis, SageMaker et Apache FlinkCet article présente l'architecture permettant d'obtenir une inférence en temps réel sur les données en streaming à l'aide de divers services AWS. Il couvre l'intégration d'Amazon Kinesis Data Analytics (KDA) à Apache Flink pour appeler de manière asynchrone les bases de données ou services sous-jacents.
FormationIntroduction to Amazon Kinesis AnalyticsCeci est un cours d'introduction d'Amazon Kinesis Analytics, une solution qui vous permet d'interroger des données de streaming ou de concevoir des applications de streaming complètes avec SQL.
FormationData Analytics FundamentalsCe cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.
À propos de ce déploiementVersion1.7.5Date de publication04/2023AuteurAWSTemps de déploiement estimé5 à 10 minEstimation du coûtOptions de déploiementPrêt à vous lancer ?Déployer cette solution en la lançant dans votre console AWS -
Option 3
-
Modèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose et Amazon S3
Option 3 – Modèle AWS CloudFormation qui utilise Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose et Amazon S3
Étape 1
Amazon Kinesis Data Streams stocke le flux de données entrantes.Étape 2
Amazon Kinesis Data Firehose met les données entrantes en mémoire tampon avant de les transférer vers un compartiment Amazon S3. Il s'agit d'un service entièrement géré qui s'adapte automatiquement au débit de vos données et ne nécessite pas d'administration continue.Étape 3
Un tableau de bord Amazon CloudWatch contrôle l'ingestion et la mise en mémoire tampon des données. Les alarmes CloudWatch sont définies sur des métriques essentielles pour Kinesis Data Firehose.Rubriques connexes
Blog de l'architecture AWSReal-Time In-Stream Inference with AWS Kinesis, SageMaker et Apache FlinkCet article présente l'architecture permettant d'obtenir une inférence en temps réel sur les données en streaming à l'aide de divers services AWS. Il couvre l'intégration d'Amazon Kinesis Data Analytics (KDA) à Apache Flink pour appeler de manière asynchrone les bases de données ou services sous-jacents.
FormationIntroduction to Amazon Kinesis AnalyticsCeci est un cours d'introduction d'Amazon Kinesis Analytics, une solution qui vous permet d'interroger des données de streaming ou de concevoir des applications de streaming complètes avec SQL.
FormationData Analytics FundamentalsCe cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.
À propos de ce déploiementVersion1.7.5Date de publication04/2023AuteurAWSTemps de déploiement estimé5 à 10 minEstimation du coûtOptions de déploiementPrêt à vous lancer ?Déployer cette solution en la lançant dans votre console AWS -
Option 4
-
Modèle AWS CloudFormation qui utilise Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon API Gateway
Option 4 – Modèle AWS CloudFormation qui utilise Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon API Gateway
Étape 1
Une instance Amazon Elastic Compute Cloud (Amazon EC2) qui utilise la bibliothèque Amazon Kinesis Producer (KPL) pour générer des données.Étape 3
Kinesis Data Analytics traite les enregistrements entrants et fait appel de manière asynchrone à un point de terminaison externe.Étape 4
L'application de démonstration invoque une fonction AWS Lambda.Étape 5
L'API externe peut être toute intégration prise en charge par Amazon API Gateway (par exemple, un point de terminaison Amazon SageMaker).Étape 6
Un tableau de bord Amazon CloudWatch contrôle l'état de l'application, sa progression, l'utilisation des ressources, les événements et les erreurs.Blog de l'architecture AWSReal-Time In-Stream Inference with AWS Kinesis, SageMaker et Apache FlinkCet article présente l'architecture permettant d'obtenir une inférence en temps réel sur les données en streaming à l'aide de divers services AWS. Il couvre l'intégration d'Amazon Kinesis Data Analytics (KDA) à Apache Flink pour appeler de manière asynchrone les bases de données ou services sous-jacents.
FormationIntroduction to Amazon Kinesis AnalyticsCeci est un cours d'introduction d'Amazon Kinesis Analytics, une solution qui vous permet d'interroger des données de streaming ou de concevoir des applications de streaming complètes avec SQL.
FormationData Analytics FundamentalsCe cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.
À propos de ce déploiementVersion1.7.5Date de publication04/2023AuteurAWSTemps de déploiement estimé5 à 10 minEstimation du coûtOptions de déploiementPrêt à vous lancer ?Déployer cette solution en la lançant dans votre console AWS