Streaming Data Solution for Amazon MSK

Un service de flux de données en temps réel extrêmement évolutif et durable qui vous permet de capturer des données en continu pour les traiter.

Présentation

Streaming Data Solution for Amazon MSK fournit des modèles AWS CloudFormation dans lesquels les flux de données transitent par des producteurs, un stockage de streaming, des consommateurs et des destinations. Cette solution prévoit quatre modèles AWS CloudFormation pour prendre en charge de multiples cas d'utilisation et besoins de votre entreprise. Comme Streaming Data Solution for Amazon Kinesis, les modèles sont configurés pour appliquer les meilleures pratiques afin de surveiller la fonctionnalité à l'aide de tableaux de bord et d'alarmes et de sécuriser les données.

Les données de streaming doivent être capturées durablement par un stockage extrêmement évolutif, capable de gérer un volume élevé de données provenant des producteurs de données. Un producteur peut représenter des milliers de sources de données, chacune générant des données de diffusion en continu (streaming) qui soumettent simultanément des enregistrements de petites tailles (en kilo-octets).

Les données de streaming sont variées : fichiers journaux générés par les clients à l'aide d'applications mobiles ou Web, achats en ligne, activité des joueurs, informations provenant de réseaux sociaux, de salles de marché ou de services géospatiaux, télémétrie d'appareils ou d'instruments connectés dans des centres de données.

Cas d'utilisation de cette solution AWS
Entreposage de données Données diffusées en temps réel

Avantages

Configuration automatique
Configurez automatiquement les services AWS requis pour capturer, stocker, traiter et diffuser facilement des données de streaming.
Quatre options de modèles
Choisir parmi quatre options de modèles AWS CloudFormation différents Testez les nouvelles combinaisons de service pour votre environnement de production et améliorez les applications existantes.
Cas d'utilisation en temps réel
Capturez des journaux d'applications à volume élevé, analysez les données de parcours de navigation, diffusez en continu vers un lac de données, et plus encore.
Code source personnalisable
Personnalisez le code réutilisable de la solution, puis utilisez les fonctionnalités de surveillance afin d'effectuer rapidement la transition du test à la production.

Détails techniques

Les diagrammes ci-dessous présentent les quatre modèles AWS CloudFormation que vous pouvez déployer automatiquement à l'aide du guide d'implémentation de la solution.
  • Option 1
  • Modèle AWS CloudFormation utilisant Amazon Managed Streaming for Apache Kafka (Amazon MSK)
    Option 1 – Modèle AWS CloudFormation utilisant Amazon MSK
    Blog sur l'architecture AWS
    Sauvegarde Amazon MSK pour l'archivage, la relecture ou l'analyse

    Cet article explique les modèles et les solutions qui peuvent être utilisés pour sauvegarder les rubriques MSK sur S3, ce qui permet aux clients de réduire les paramètres de rétention des données à long terme dans MSK. Certains clients stockent des données à long terme dans MSK pour les charges de travail de l'analyse des données et du Machine Learning. Nous partageons un modèle permettant de simplifier cette architecture en transférant les données des rubriques dans S3 et d'utiliser S3 pour l'analyse et le ML.

    Lire le blog 
    Formation
    Data Analytics Fundamentals

    Ce cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.

    S'inscrire maintenant 
    Formation
    Amazon MSK Labs

    Ce site héberge des informations et des ateliers de formation et d'entraînement à l'utilisation d'Amazon MSK. Ces ateliers peuvent être exécutés soit sur des comptes AWS personnels ou professionnels soit sur des comptes alloués par les gestionnaires de comptes AWS pour des événements qui utilisent Event Engine.

    S'inscrire maintenant 
    À propos de ce déploiement
    Version
    1.8.1
    Publication
    10/2023
    Auteur
    AWS
    Temps de déploiement estimé
    25 à 30 min
    Estimation du coût
    Télécharger le guide d'implémentation  Code source  Modèle CloudFormation  S'abonner au flux RSS 
    Options de déploiement
    Prêt à vous lancer ?
    Déployer cette solution en la lançant dans votre console AWS
    Cette solution AWS vous a-t-elle aidé ?
    Donner mon avis
  • Option 2
  • Modèle AWS CloudFormation utilisant Amazon MSK et AWS Lambda
    Options 2 – Modèle AWS CloudFormation utilisant Amazon MSK et AWS Lambda

    Étape 1
    Ce modèle AWS CloudFormation déploie une fonction Lambda qui traite les enregistrements dans une rubriques Apache Kafka. La fonction par défaut est une application Node.js qui journalise les messages reçus. Elle peut être personnalisée pour répondre aux besoins de votre entreprise.

     

    Blog sur l'architecture AWS
    Sauvegarde Amazon MSK pour l'archivage, la relecture ou l'analyse

    Cet article explique les modèles et les solutions qui peuvent être utilisés pour sauvegarder les rubriques MSK sur S3, ce qui permet aux clients de réduire les paramètres de rétention des données à long terme dans MSK. Certains clients stockent des données à long terme dans MSK pour les charges de travail de l'analyse des données et du Machine Learning. Nous partageons un modèle permettant de simplifier cette architecture en transférant les données des rubriques dans S3 et d'utiliser S3 pour l'analyse et le ML.

    Lire le blog 
    Formation
    Data Analytics Fundamentals

    Ce cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.

    S'inscrire maintenant 
    Formation
    Amazon MSK Labs

    Ce site héberge des informations et des ateliers de formation et d'entraînement à l'utilisation d'Amazon MSK. Ces ateliers peuvent être exécutés soit sur des comptes AWS personnels ou professionnels soit sur des comptes alloués par les gestionnaires de comptes AWS pour des événements qui utilisent Event Engine.

    S'inscrire maintenant 
    À propos de ce déploiement
    Version
    1.8.1
    Publication
    10/2023
    Auteur
    AWS
    Temps de déploiement estimé
    25 à 30 min
    Estimation du coût
    Télécharger le guide d'implémentation  Code source  Modèle CloudFormation  S'abonner au flux RSS 
    Options de déploiement
    Prêt à vous lancer ?
    Déployer cette solution en la lançant dans votre console AWS
    Cette solution AWS vous a-t-elle aidé ?
    Donner mon avis
  • Option 3
  • Modèle AWS CloudFormation utilisant Amazon MSK, AWS Lambda et Amazon Kinesis Data Firehose
    Option 3 – Modèle AWS CloudFormation qui utilise Amazon MSK, AWS Lambda et Amazon Kinesis Data Firehose
    Blog sur l'architecture AWS
    Sauvegarde Amazon MSK pour l'archivage, la relecture ou l'analyse

    Cet article explique les modèles et les solutions qui peuvent être utilisés pour sauvegarder les rubriques MSK sur S3, ce qui permet aux clients de réduire les paramètres de rétention des données à long terme dans MSK. Certains clients stockent des données à long terme dans MSK pour les charges de travail de l'analyse des données et du Machine Learning. Nous partageons un modèle permettant de simplifier cette architecture en transférant les données des rubriques dans S3 et d'utiliser S3 pour l'analyse et le ML.

    Lire le blog 
    Formation
    Data Analytics Fundamentals

    Ce cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.

    S'inscrire maintenant 
    Formation
    Amazon MSK Labs

    Ce site héberge des informations et des ateliers de formation et d'entraînement à l'utilisation d'Amazon MSK. Ces ateliers peuvent être exécutés soit sur des comptes AWS personnels ou professionnels soit sur des comptes alloués par les gestionnaires de comptes AWS pour des événements qui utilisent Event Engine.

    S'inscrire maintenant 
    À propos de ce déploiement
    Version
    1.8.1
    Publication
    10/2023
    Auteur
    AWS
    Temps de déploiement estimé
    25 à 30 min
    Estimation du coût
    Télécharger le guide d'implémentation  Code source  Modèle CloudFormation  S'abonner au flux RSS 
    Options de déploiement
    Prêt à vous lancer ?
    Déployer cette solution en la lançant dans votre console AWS
    Cette solution AWS vous a-t-elle aidé ?
    Donner mon avis
  • Option 4
  • Modèle AWS CloudFormation utilisant Amazon MSK, service géré Amazon pour Apache Flink et Amazon S3
    Option 4 – Modèle AWS CloudFormation utilisant Amazon MSK, service géré Amazon pour Apache Flink et Amazon S3
    Blog sur l'architecture AWS
    Sauvegarde Amazon MSK pour l'archivage, la relecture ou l'analyse

    Cet article explique les modèles et les solutions qui peuvent être utilisés pour sauvegarder les rubriques MSK sur S3, ce qui permet aux clients de réduire les paramètres de rétention des données à long terme dans MSK. Certains clients stockent des données à long terme dans MSK pour les charges de travail de l'analyse des données et du Machine Learning. Nous partageons un modèle permettant de simplifier cette architecture en transférant les données des rubriques dans S3 et d'utiliser S3 pour l'analyse et le ML.

    Lire le blog 
    Formation
    Data Analytics Fundamentals

    Ce cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.

    S'inscrire maintenant 
    Formation
    Amazon MSK Labs

    Ce site héberge des informations et des ateliers de formation et d'entraînement à l'utilisation d'Amazon MSK. Ces ateliers peuvent être exécutés soit sur des comptes AWS personnels ou professionnels soit sur des comptes alloués par les gestionnaires de comptes AWS pour des événements qui utilisent Event Engine.

    S'inscrire maintenant 
    À propos de ce déploiement
    Version
    1.8.1
    Publication
    10/2023
    Auteur
    AWS
    Temps de déploiement estimé
    25 à 30 min
    Estimation du coût
    Télécharger le guide d'implémentation  Code source  Modèle CloudFormation  S'abonner au flux RSS 
    Options de déploiement
    Prêt à vous lancer ?
    Déployer cette solution en la lançant dans votre console AWS
    Cette solution AWS vous a-t-elle aidé ?
    Donner mon avis