Présentation
Streaming Data Solution for Amazon MSK fournit des modèles AWS CloudFormation dans lesquels les flux de données transitent par des producteurs, un stockage de streaming, des consommateurs et des destinations. Cette solution prévoit quatre modèles AWS CloudFormation pour prendre en charge de multiples cas d'utilisation et besoins de votre entreprise. Comme Streaming Data Solution for Amazon Kinesis, les modèles sont configurés pour appliquer les meilleures pratiques afin de surveiller la fonctionnalité à l'aide de tableaux de bord et d'alarmes et de sécuriser les données.
Les données de streaming doivent être capturées durablement par un stockage extrêmement évolutif, capable de gérer un volume élevé de données provenant des producteurs de données. Un producteur peut représenter des milliers de sources de données, chacune générant des données de diffusion en continu (streaming) qui soumettent simultanément des enregistrements de petites tailles (en kilo-octets).
Les données de streaming sont variées : fichiers journaux générés par les clients à l'aide d'applications mobiles ou Web, achats en ligne, activité des joueurs, informations provenant de réseaux sociaux, de salles de marché ou de services géospatiaux, télémétrie d'appareils ou d'instruments connectés dans des centres de données.
Avantages
Détails techniques
-
Option 1
-
Option 2
-
Option 3
-
Option 4
-
Option 1
-
Modèle AWS CloudFormation utilisant Amazon Managed Streaming for Apache Kafka (Amazon MSK)
Modèle AWS CloudFormation utilisant Amazon Managed Streaming for Apache Kafka (Amazon MSK)
Option 1 – Modèle AWS CloudFormation utilisant Amazon MSK
Étape 1
Ce modèle d'AWS CloudFormation déploie un cluster Amazon MSK.
Étape 2
Un groupe d'utilisateurs Amazon Cognito permet de contrôler qui peut appeler les méthodes de l'API REST.Option 1 – Modèle AWS CloudFormation utilisant Amazon MSK
Étape 1
Ce modèle d'AWS CloudFormation déploie un cluster Amazon MSK.
Étape 2
Un groupe d'utilisateurs Amazon Cognito permet de contrôler qui peut appeler les méthodes de l'API REST.Rubriques connexes
Blog sur l'architecture AWSSauvegarde Amazon MSK pour l'archivage, la relecture ou l'analyseLire le blogCet article explique les modèles et les solutions qui peuvent être utilisés pour sauvegarder les rubriques MSK sur S3, ce qui permet aux clients de réduire les paramètres de rétention des données à long terme dans MSK. Certains clients stockent des données à long terme dans MSK pour les charges de travail de l'analyse des données et du Machine Learning. Nous partageons un modèle permettant de simplifier cette architecture en transférant les données des rubriques dans S3 et d'utiliser S3 pour l'analyse et le ML.
FormationData Analytics FundamentalsS'inscrire maintenantCe cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.
FormationAmazon MSK LabsS'inscrire maintenantCe site héberge des informations et des ateliers de formation et d'entraînement à l'utilisation d'Amazon MSK. Ces ateliers peuvent être exécutés soit sur des comptes AWS personnels ou professionnels soit sur des comptes alloués par les gestionnaires de comptes AWS pour des événements qui utilisent Event Engine.
À propos de ce déploiementVersion1.7.6Date de publication05/2023AuteurAWSTemps de déploiement estimé25 à 30 minTélécharger le guide d'implémentation Code source Modèle CloudFormation S'abonner au flux RSSEstimation du coûtOptions de déploiementPrêt à vous lancer ?Déployer cette solution en la lançant dans votre console AWS -
Option 2
-
Modèle AWS CloudFormation utilisant Amazon MSK et AWS Lambda
Modèle AWS CloudFormation utilisant Amazon MSK et AWS Lambda
Options 2 – Modèle AWS CloudFormation utilisant Amazon MSK et AWS Lambda
Étape 1
Ce modèle AWS CloudFormation déploie une fonction Lambda qui traite les enregistrements dans une rubriques Apache Kafka. La fonction par défaut est une application Node.js qui journalise les messages reçus. Elle peut être personnalisée pour répondre aux besoins de votre entreprise.Options 2 – Modèle AWS CloudFormation utilisant Amazon MSK et AWS Lambda
Étape 1
Ce modèle AWS CloudFormation déploie une fonction Lambda qui traite les enregistrements dans une rubriques Apache Kafka. La fonction par défaut est une application Node.js qui journalise les messages reçus. Elle peut être personnalisée pour répondre aux besoins de votre entreprise.Rubriques connexes
Blog sur l'architecture AWSSauvegarde Amazon MSK pour l'archivage, la relecture ou l'analyseLire le blogCet article explique les modèles et les solutions qui peuvent être utilisés pour sauvegarder les rubriques MSK sur S3, ce qui permet aux clients de réduire les paramètres de rétention des données à long terme dans MSK. Certains clients stockent des données à long terme dans MSK pour les charges de travail de l'analyse des données et du Machine Learning. Nous partageons un modèle permettant de simplifier cette architecture en transférant les données des rubriques dans S3 et d'utiliser S3 pour l'analyse et le ML.
FormationData Analytics FundamentalsS'inscrire maintenantCe cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.
FormationAmazon MSK LabsS'inscrire maintenantCe site héberge des informations et des ateliers de formation et d'entraînement à l'utilisation d'Amazon MSK. Ces ateliers peuvent être exécutés soit sur des comptes AWS personnels ou professionnels soit sur des comptes alloués par les gestionnaires de comptes AWS pour des événements qui utilisent Event Engine.
À propos de ce déploiementVersion1.7.6Date de publication05/2023AuteurAWSTemps de déploiement estimé25 à 30 minTélécharger le guide d'implémentation Code source Modèle CloudFormation S'abonner au flux RSSEstimation du coûtOptions de déploiementPrêt à vous lancer ?Déployer cette solution en la lançant dans votre console AWS -
Option 3
-
Modèle AWS CloudFormation utilisant Amazon MSK, AWS Lambda et Amazon Kinesis Data Firehose
Modèle AWS CloudFormation utilisant Amazon MSK, AWS Lambda et Amazon Kinesis Data Firehose
Option 3 – Modèle AWS CloudFormation qui utilise Amazon MSK, AWS Lambda et Amazon Kinesis Data Firehose
Étape 1
Une fonction AWS Lambda qui traite les enregistrements dans une rubrique Apache Kafka.Étape 2
Un flux de diffusion Amazon Kinesis Data Firehose qui met en mémoire les données avant de les envoyer à leur destination.Étape 3
Un compartiment Amazon Simple Storage Service (Amazon S3) qui stocke tous les événements d'origine provenant du cluster Amazon MSK.Option 3 – Modèle AWS CloudFormation qui utilise Amazon MSK, AWS Lambda et Amazon Kinesis Data Firehose
Étape 1
Une fonction AWS Lambda qui traite les enregistrements dans une rubrique Apache Kafka.Étape 2
Un flux de diffusion Amazon Kinesis Data Firehose qui met en mémoire les données avant de les envoyer à leur destination.Étape 3
Un compartiment Amazon Simple Storage Service (Amazon S3) qui stocke tous les événements d'origine provenant du cluster Amazon MSK.Rubriques connexes
Blog sur l'architecture AWSSauvegarde Amazon MSK pour l'archivage, la relecture ou l'analyseLire le blogCet article explique les modèles et les solutions qui peuvent être utilisés pour sauvegarder les rubriques MSK sur S3, ce qui permet aux clients de réduire les paramètres de rétention des données à long terme dans MSK. Certains clients stockent des données à long terme dans MSK pour les charges de travail de l'analyse des données et du Machine Learning. Nous partageons un modèle permettant de simplifier cette architecture en transférant les données des rubriques dans S3 et d'utiliser S3 pour l'analyse et le ML.
FormationData Analytics FundamentalsS'inscrire maintenantCe cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.
FormationAmazon MSK LabsS'inscrire maintenantCe site héberge des informations et des ateliers de formation et d'entraînement à l'utilisation d'Amazon MSK. Ces ateliers peuvent être exécutés soit sur des comptes AWS personnels ou professionnels soit sur des comptes alloués par les gestionnaires de comptes AWS pour des événements qui utilisent Event Engine.
À propos de ce déploiementVersion1.7.6Date de publication05/2023AuteurAWSTemps de déploiement estimé25 à 30 minTélécharger le guide d'implémentation Code source Modèle CloudFormation S'abonner au flux RSSEstimation du coûtOptions de déploiementPrêt à vous lancer ?Déployer cette solution en la lançant dans votre console AWS -
Option 4
-
Modèle AWS CloudFormation qui utilise Amazon MSK, Amazon Kinesis Data Analytics et Amazon S3
Modèle AWS CloudFormation qui utilise Amazon MSK, Amazon Kinesis Data Analytics et Amazon S3
Option 4 – Modèle AWS CloudFormation qui utilise Amazon MSK, Amazon Kinesis Data Analytics et Amazon S3
Étape 1
Un bloc-notes Kinesis Data Analytics Studio qui lit les événements d'une rubrique existante dans un cluster Amazon MSK.Étape 2
Un compartiment Amazon Simple Storage Service (Amazon S3) qui stocke la sortie.Option 4 – Modèle AWS CloudFormation qui utilise Amazon MSK, Amazon Kinesis Data Analytics et Amazon S3
Étape 1
Un bloc-notes Kinesis Data Analytics Studio qui lit les événements d'une rubrique existante dans un cluster Amazon MSK.Étape 2
Un compartiment Amazon Simple Storage Service (Amazon S3) qui stocke la sortie.Rubriques connexes
Blog sur l'architecture AWSSauvegarde Amazon MSK pour l'archivage, la relecture ou l'analyseLire le blogCet article explique les modèles et les solutions qui peuvent être utilisés pour sauvegarder les rubriques MSK sur S3, ce qui permet aux clients de réduire les paramètres de rétention des données à long terme dans MSK. Certains clients stockent des données à long terme dans MSK pour les charges de travail de l'analyse des données et du Machine Learning. Nous partageons un modèle permettant de simplifier cette architecture en transférant les données des rubriques dans S3 et d'utiliser S3 pour l'analyse et le ML.
FormationData Analytics FundamentalsS'inscrire maintenantCe cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.
FormationAmazon MSK LabsS'inscrire maintenantCe site héberge des informations et des ateliers de formation et d'entraînement à l'utilisation d'Amazon MSK. Ces ateliers peuvent être exécutés soit sur des comptes AWS personnels ou professionnels soit sur des comptes alloués par les gestionnaires de comptes AWS pour des événements qui utilisent Event Engine.
À propos de ce déploiementVersion1.7.6Date de publication05/2023AuteurAWSTemps de déploiement estimé25 à 30 minTélécharger le guide d'implémentation Code source Modèle CloudFormation S'abonner au flux RSSEstimation du coûtOptions de déploiementPrêt à vous lancer ?Déployer cette solution en la lançant dans votre console AWS
