À quoi sert cette implémentation de solutions AWS ?
AWS Streaming Data Solution for Amazon Kinesis fournit des modèles AWS CloudFormation dans lesquels les flux de données transitent par des producteurs, un stockage de streaming, des consommateurs et des destinations. Afin de s'adapter aux différents cas d'utilisation et besoins professionnels, cette solution propose quatre modèles AWS CloudFormation. Comme AWS Streaming Data Solution for Amazon MSK, les modèles sont configurés pour appliqués les bonnes pratiques afin de surveiller la fonctionnalité à l’aide de tableaux de bord et d’alarmes et de sécuriser les données.
Configuration automatique
Quatre options de modèles
Cas d'utilisation en temps réel
Code source personnalisable
Présentation de l'implémentation des solutions AWS
Les diagrammes ci-dessous présentent les quatre modèles AWS CloudFormation que vous pouvez déployer automatiquement à l'aide du guide d'implémentation de la solution.
-
Option 1
-
Option 2
-
Option 3
-
Option 4
-
Option 1
-
Modèle AWS CloudFormation utilisant Amazon API Gateway et AWS Lambda
Cliquer pour agrandirFermerModèle AWS CloudFormation utilisant Amazon API Gateway et AWS Lambda
Solution AWS de données de streaming pour l'architecture de solution Amazon Kinesis
Options 1 – Modèle AWS CloudFormation utilisant Amazon API Gateway, Kinesis Data Streams et AWS Lambda
Ce modèle AWS CloudFormation déploie une architecture de référence qui comprend les éléments suivants :
- Amazon API Gateway ingère des données de streaming et traite ces données avec une fonction AWS Lambda.
- L'API REST d'Amazon API Gateway agit comme un proxy pour Amazon Kinesis Data Streams, en ajoutant soit un enregistrement de données individuel, soit une liste d'enregistrements de données.
- Stocke les enregistrements dans Kinesis Data Streams. Une fonction AWS Lambda traite les enregistrements du flux de données.
- Les erreurs et les échecs d'enregistrements qui se produisent pendant le traitement AWS Lambda sont annotés et les événements sont stockés dans Amazon Simple Queue Service (Amazon SQS).
- Une file d'attente Amazon Simple Queue Service stocke des métadonnées pour le lot d'enregistrements échoués et les erreurs Lambda, ce qui permet aux clients de récupérer ces enregistrements et de déterminer les prochaines étapes pour les résoudre.
AWS Streaming Data Solution for Amazon Kinesis
Version 1.3.0
Date de publication : 01/2021
Auteur : AWS
Temps de déploiement estimé : 5-10 min
Ressources de déploiement
Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.
-
Option 2
-
Modèle AWS CloudFormation utilisant Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon CloudWatch
Cliquer pour agrandirFermerModèle AWS CloudFormation utilisant le modèle AWS CloudFormation utilisant Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon CloudWatch
Solution AWS de données de streaming pour l'architecture de solution Amazon Kinesis
Option 2 – Modèle AWS CloudFormation utilisant le modèle AWS CloudFormation utilisant Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon CloudWatch
Ce modèle AWS CloudFormation déploie une architecture de référence qui comprend les éléments suivants :
- Amazon Kinesis Producer Library (KPL) Ingère les données de streaming et traite les données entrantes en utilisant Amazon Kinesis Data Analytics. Ce modèle fournit un exemple d'application qui publie des données dans le flux de données.
- Une instance Amazon Elastic Compute Cloud (Amazon EC2) utilise KPL pour générer des données.
- Amazon Kinesis Data Streams stocke les données de streaming entrantes et Amazon Kinesis Data Analytics traite les enregistrements entrants et sauvegarde les données traitées dans un compartiment Amazon Simple Storage Service (Amazon S3).
- Un tableau de bord Amazon CloudWatch surveille l'intégrité de l'application, sa progression, l'utilisation des ressources, les événements et les erreurs.
AWS Streaming Data Solution for Amazon Kinesis
Version 1.3.0
Date de publication : 01/2021
Auteur : AWS
Temps de déploiement estimé : 5-10 min
Ressources de déploiement
Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.
-
Option 3
-
Modèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose et Amazon S3
Cliquer pour agrandirFermerModèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose et Amazon S3
Solution AWS de données de streaming pour l'architecture de solution Amazon Kinesis
Option 3 – Modèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose et Amazon S3
Ce modèle AWS CloudFormation déploie une architecture de référence qui comprend les éléments suivants :
- Amazon Kinesis Data Streams ingère les données de streaming et Amazon Kinesis Data Firehose traite les données. Kinesis Data Firehose est un service entièrement géré qui s'adapte automatiquement au débit de données et ne nécessite pas d'administration continue.
- Un tableau de bord Amazon CloudWatch surveille l'ingestion et la mise en mémoire tampon des données. Les alarmes CloudWatch sont définies sur des métriques essentielles pour Kinesis Data Firehose.
AWS Streaming Data Solution for Amazon Kinesis
Version 1.3.0
Date de publication : 01/2021
Auteur : AWS
Temps de déploiement estimé : 5-10 min
Ressources de déploiement
Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.
-
Option 4
-
Modèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon API Gateway
Cliquer pour agrandirFermerModèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon API Gateway
Solution AWS de données de streaming pour l'architecture de solution Amazon Kinesis
Option 4 – Modèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon API Gateway
Ce modèle AWS CloudFormation déploie une architecture de référence similaire à l'option 2. Cependant, ce modèle appelle de manière asynchrone un point de terminaison externe dans une application de streaming.
L'application de démonstration incluse avec ce modèle appelle une fonction AWS Lambda, et l'API externe peut être n'importe quelle intégration prise en charge par Amazon API Gateway, (par exemple, un point de terminaison Amazon SageMaker).
AWS Streaming Data Solution for Amazon Kinesis
Version 1.3.0
Date de publication : 01/2021
Auteur : AWS
Temps de déploiement estimé : 5-10 min
Ressources de déploiement
Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.
Parcourez notre bibliothèque des implémentations des solutions AWS pour obtenir des réponses aux problèmes d'architecture courants.
Trouvez des partenaires consultants et technologiques certifiés AWS pour vous aider à commencer.
Parcourez notre portefeuille d'offres de conseil pour obtenir une aide approuvée AWS au déploiement de solutions.