À quoi sert cette solution AWS ?
Streaming Data Solution for Amazon MSK fournit des modèles AWS CloudFormation dans lesquels les flux de données transitent par des producteurs, un stockage de streaming, des consommateurs et des destinations. Afin de s'adapter aux différents cas d'utilisation et besoins professionnels, cette solution propose quatre modèles AWS CloudFormation. Comme Streaming Data Solution for Amazon Kinesis, les modèles sont configurés pour appliquer les meilleures pratiques afin de surveiller la fonctionnalité à l'aide de tableaux de bord et d'alarmes et de sécuriser les données.
Avantages
Présentation de la solution AWS
-
Option 1
-
Option 2
-
Option 3
-
Option 4
-
Option 1
-
Modèle AWS CloudFormation utilisant Amazon Managed Streaming for Apache Kafka (Amazon MSK)
Cliquez pour agrandir
Streaming Data Solution pour l'architecture Amazon MSK
Option 1 – Modèle AWS CloudFormation utilisant Amazon MSK
Ce modèle AWS CloudFormation déploie l'architecture suivante :
- Un cluster Amazon MSK.
- Une instance Amazon EC2 qui contient les bibliothèques client Apache Kafka requises pour communiquer avec le cluster Amazon MSK. Cette machine client se trouve sur le même VPC que le cluster et est accessible via AWS Systems Manager Session Manager.
Streaming Data Solution pour Amazon MSK
Estimation du coût Code source Option 1 : Modèle AWS CloudFormation utilisant Amazon MSKVersion 1.7.0
Date de publication : 11/2022
Auteur : AWS
Temps de déploiement estimé : 25 à 30 min
Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.
-
Option 2
-
Modèle AWS CloudFormation utilisant Amazon MSK et AWS Lambda
Cliquez pour agrandir
Streaming Data Solution pour l'architecture Amazon MSK
Options 2 – Modèle AWS CloudFormation en utilisant Amazon MSK et AWS Lambda
Ce modèle AWS CloudFormation déploie une architecture de référence qui comprend les éléments suivants:
- Une fonction Lambda qui traite les enregistrements dans une rubrique Apache Kafka. La fonction par défaut est une application Node.js qui journalise les messages reçus. Elle peut être personnalisée pour répondre aux besoins de votre entreprise.
Streaming Data Solution pour Amazon MSK
Estimation du coût Code source Options 2 : Modèle AWS CloudFormation utilisant Amazon MSK et AWS LambdaVersion 1.7.0
Date de publication : 11/2022
Auteur : AWS
Temps de déploiement estimé : 5 min
Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.
- Une fonction Lambda qui traite les enregistrements dans une rubrique Apache Kafka. La fonction par défaut est une application Node.js qui journalise les messages reçus. Elle peut être personnalisée pour répondre aux besoins de votre entreprise.
-
Option 3
-
Modèle AWS CloudFormation utilisant Amazon MSK, AWS Lambda et Amazon Kinesis Data Firehose
Cliquez pour agrandir
Streaming Data Solution pour l'architecture Amazon MSK
Option 3 – Modèle AWS CloudFormation en utilisant Amazon MSK, AWS Lambda et Amazon Kinesis Data Firehose
Ce modèle AWS CloudFormation déploie une architecture de référence qui comprend les éléments suivants :
- Une fonction AWS Lambda qui traite les enregistrements dans une rubrique Apache Kafka.
- Un flux de diffusion Amazon Kinesis Data Firehose qui met en mémoire les données avant de les envoyer à leur destination.
- Un compartiment Amazon Simple Storage Service (Amazon S3) qui stocke tous les événements d'origine provenant du cluster Amazon MSK.
Streaming Data Solution pour Amazon MSK
Estimation du coût Code source Option 3 : Modèle AWS CloudFormation utilisant Amazon MSK, AWS Lambda et Amazon Kinesis Data FirehoseVersion 1.7.0
Date de publication : 11/2022
Auteur : AWS
Temps de déploiement estimé : 10 min
Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.
- Une fonction AWS Lambda qui traite les enregistrements dans une rubrique Apache Kafka.
-
Option 4
-
Modèle AWS CloudFormation utilisant Amazon MSK, Amazon Kinesis Data Analytics et Amazon S3
Cliquez pour agrandir
Streaming Data Solution pour l'architecture Amazon MSK
Option 4 – Modèle AWS CloudFormation en utilisant Amazon MSK, Amazon Kinesis Data Analytics et Amazon S3
Ce modèle AWS CloudFormation déploie une architecture de référence qui comprend les éléments suivants :
- Un bloc-notes Kinesis Data Analytics Studio qui lit les événements d’une rubrique existante dans un cluster Amazon MSK.
- Un compartiment Amazon Simple Storage Service (Amazon S3) qui stocke la sortie.
Streaming Data Solution pour Amazon MSK
Estimation du coût Code source Option 4 : Modèle AWS CloudFormation utilisant Amazon MSK, Amazon Kinesis Data Analytics et Amazon S3Version 1.7.0
Date de publication : 11/2022
Auteur : AWS
Temps de déploiement estimé : 10 min
Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.
- Un bloc-notes Kinesis Data Analytics Studio qui lit les événements d’une rubrique existante dans un cluster Amazon MSK.
Rubriques connexes
Parcourez notre bibliothèque de solutions AWS pour obtenir des réponses aux problèmes architecturaux courants.
Trouvez des partenaires AWS certifiés pour vous aider à démarrer.
Trouvez des diagrammes d'architecture prescriptifs, des exemple de code et du contenu technique pour les cas d'utilisation courants.