Streaming Data Solution for Amazon Kinesis fournit des modèles AWS CloudFormation dans lesquels les flux de données transitent par des producteurs, un stockage de streaming, des consommateurs et des destinations. Afin de s'adapter aux différents cas d'utilisation et besoins professionnels, la solution propose quatre modèles AWS CloudFormation. Comme pour Streaming Data Solution for Amazon MSK, les modèles sont configurés pour appliquer les bonnes pratiques afin de surveiller les fonctionnalités à l'aide de tableaux de bord et d'alarmes et de sécuriser les données.
Avantages
Présentation de la solution AWS
-
Option 1
-
Option 2
-
Option 3
-
Option 4
-
Option 1
-
Modèle AWS CloudFormation utilisant Amazon API Gateway et AWS Lambda
Cliquer pour agrandirModèle AWS CloudFormation utilisant Amazon API Gateway et AWS Lambda
Architecture de Streaming Data Solution for Amazon Kinesis
Options 1 – Modèle AWS CloudFormation utilisant Amazon API Gateway, Kinesis Data Streams et AWS Lambda
Ce modèle AWS CloudFormation déploie une architecture de référence qui comprend les éléments suivants :
- L'API REST d'Amazon API Gateway agit comme un proxy pour Amazon Kinesis Data Streams, notamment en ajoutant soit un enregistrement de données individuel, soit une liste d'enregistrements de données.
- Un groupe d'utilisateurs Amazon Cognito est utilisé pour contrôler qui peut appeler les méthodes de l'API REST.
- Kinesis Data Streams pour stocker les données entrantes en continu.
- Une fonction AWS Lambda traite les enregistrements du flux de données.
- Les erreurs et les échecs d'enregistrements qui se produisent pendant le traitement AWS Lambda sont annotés et les événements stockés dans Amazon Simple Queue Service (Amazon SQS). La file d'attente stocke les métadonnées des enregistrements de lots ayant échoué et des erreurs Lambda. Le client peut ainsi récupérer ces enregistrements et déterminer les prochaines étapes pour corriger les erreurs.
Streaming Data Solution pour Amazon Kinesis
Estimation du coût Code source Option 1 : Modèle AWS CloudFormation utilisant API Gateway et AWS LambdaVersion 1.7.0
Date de publication : 11/2022
Auteur : AWSTemps de déploiement estimé : 5-10 min
Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.
-
Option 2
-
Modèle AWS CloudFormation utilisant Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon CloudWatch
Cliquer pour agrandirModèle AWS CloudFormation utilisant le modèle AWS CloudFormation utilisant Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon CloudWatch
Architecture de Streaming Data Solution for Amazon Kinesis
Option 2 – Modèle AWS CloudFormation utilisant le modèle AWS CloudFormation utilisant Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon CloudWatch
Ce modèle AWS CloudFormation déploie une architecture de référence qui comprend les éléments suivants :
- Une instance Amazon Elastic Compute Cloud (Amazon EC2) utilise la bibliothèque Amazon Kinesis Producer (KPL) pour générer des données.
- Amazon Kinesis Data Streams stocke le flux de données entrantes.
- Kinesis Data Analytics Studio traite les enregistrements entrants et enregistre les données traitées dans un compartiment Amazon Simple Storage Service (Amazon S3).
- Un tableau de bord Amazon CloudWatch contrôle l'état de l'application, sa progression, l'utilisation des ressources, les événements et les erreurs.
Streaming Data Solution pour Amazon Kinesis
Version 1.7.0
Date de publication : 11/2022
Auteur : AWSTemps de déploiement estimé : 5-10 min
Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.
-
Option 3
-
Modèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose et Amazon S3
Cliquer pour agrandirModèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose et Amazon S3
Architecture de Streaming Data Solution for Amazon Kinesis
Option 3 – Modèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose et Amazon S3
Cette option déploie une architecture de référence qui comprend les éléments suivants :
- Amazon Kinesis Data Streams stocke le flux de données entrantes.
- Amazon Kinesis Data Firehose met les données entrantes en mémoire tampon avant de les transférer vers un compartiment Amazon S3. Amazon Kinesis Firehose est un service entièrement géré qui s'adapte automatiquement au débit de données et ne nécessite pas d'administration continue.
- Un tableau de bord Amazon CloudWatch contrôle l'ingestion et la mise en mémoire tampon des données. Les alarmes CloudWatch sont définies sur des métriques essentielles pour Kinesis Data Firehose.
Streaming Data Solution pour Amazon Kinesis
Version 1.7.0
Date de publication : 11/2022
Auteur : AWS
Temps de déploiement estimé : 5-10 min
Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.
- Amazon Kinesis Data Streams stocke le flux de données entrantes.
-
Option 4
-
Modèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon API Gateway
Cliquer pour agrandirModèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon API Gateway
Architecture de Streaming Data Solution for Amazon Kinesis
Option 4 – Modèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon API Gateway
Cette option déploie une architecture de référence semblable à l'option 2 et comprend les éléments suivants :
- Une instance Amazon Elastic Compute Cloud (Amazon EC2) qui utilise la bibliothèque Amazon Kinesis Producer (KPL) pour générer des données.
- Kinesis Data Streams stocke les données de streaming entrantes.
- Kinesis Data Analytics traite les enregistrements entrants et fait appel de manière asynchrone à un point de terminaison externe.
- L'application de démonstration invoque une fonction AWS Lambda.
- L'API externe peut être toute intégration prise en charge par Amazon API Gateway (par exemple, un point de terminaison Amazon SageMaker).
- Un tableau de bord Amazon CloudWatch contrôle l'état de l'application, sa progression, l'utilisation des ressources, les événements et les erreurs.
Streaming Data Solution pour Amazon Kinesis
Version 1.7.0
Date de publication : 11/2022
Auteur : AWS
Temps de déploiement estimé : 5-10 min
Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.
- Une instance Amazon Elastic Compute Cloud (Amazon EC2) qui utilise la bibliothèque Amazon Kinesis Producer (KPL) pour générer des données.
Rubriques connexes
Cet article présente l'architecture permettant d'obtenir une inférence en temps réel sur les données en streaming à l'aide de divers services AWS. Il couvre l'intégration d'Amazon Kinesis Data Analytics (KDA) à Apache Flink pour appeler de manière asynchrone les bases de données ou services sous-jacents.
Parcourez notre bibliothèque de solutions AWS pour obtenir des réponses aux problèmes architecturaux courants.
Trouvez des partenaires AWS certifiés pour vous aider à démarrer.
Trouvez des diagrammes d'architecture prescriptifs, des exemple de code et du contenu technique pour les cas d'utilisation courants.