Streaming Data Solution for Amazon Kinesis

Un service de flux de données en temps réel extrêmement évolutif et durable qui vous permet de capturer des données en continu pour les traiter.
Lire le guide d'implémentation

Présentation

Streaming Data Solution for Amazon Kinesis fournit des modèles AWS CloudFormation dans lesquels les flux de données transitent par des producteurs, un stockage de streaming, des consommateurs et des destinations. La solution prévoit quatre modèles CloudFormation, ce qui permet de prendre en charge de multiples cas d'utilisation et besoins professionnels. Comme pour Streaming Data Solution for Amazon MSK, les modèles sont configurés pour appliquer les bonnes pratiques afin de surveiller les fonctionnalités à l'aide de tableaux de bord et d'alarmes et de sécuriser les données.

Les données de streaming doivent être capturées durablement par un stockage extrêmement évolutif, capable de gérer un volume élevé de données provenant des producteurs de données. Un producteur peut représenter des milliers de sources de données, chacune générant des données de diffusion en continu (streaming) qui soumettent simultanément des enregistrements de petites tailles (en kilo-octets).

Les données de streaming sont variées : fichiers journaux générés par les clients à l'aide d'applications mobiles ou Web, achats en ligne, activité des joueurs, informations provenant de réseaux sociaux, de salles de marché ou de services géospatiaux, télémétrie d'appareils ou d'instruments connectés dans des centres de données.

Cas d'utilisation de cette solution AWS
Intelligence économique et analytique Entreposage de données Exploitation des données

Avantages

Configuration automatique
Configurez automatiquement les services AWS requis pour capturer, stocker, traiter et diffuser facilement des données de streaming.
Quatre options de modèles
Choisir parmi quatre options de modèles AWS CloudFormation différents Testez les nouvelles combinaisons de service pour votre environnement de production et améliorez les applications existantes.
Cas d'utilisation en temps réel
Capturez des journaux d'applications à volume élevé, analysez les données de parcours de navigation, diffusez en continu vers un lac de données, et plus encore.
Code source personnalisable
Personnalisez le code réutilisable de la solution, puis utilisez les fonctionnalités de surveillance afin d'effectuer rapidement la transition du test à la production.

Détails techniques

Les diagrammes ci-dessous présentent les quatre modèles AWS CloudFormation que vous pouvez déployer automatiquement à l'aide du guide d'implémentation de la solution.
  • Option 1
  • Modèle AWS CloudFormation utilisant Amazon API Gateway et AWS Lambda
    Options 1 – Modèle AWS CloudFormation qui utilise Amazon API Gateway, Kinesis Data Streams et AWS Lambda

    Rubriques connexes

    Blog de l'architecture AWS
    Real-Time In-Stream Inference with AWS Kinesis, SageMaker et Apache Flink

    Cet article présente l'architecture permettant d'obtenir une inférence en temps réel sur les données en streaming à l'aide de divers services AWS. Il couvre l'intégration d'Amazon Kinesis Data Analytics (KDA) à Apache Flink pour appeler de manière asynchrone les bases de données ou services sous-jacents.

    Lire l'intégralité de l'article de blog 
    Formation
    Introduction to Amazon Kinesis Analytics

    Ceci est un cours d'introduction d'Amazon Kinesis Analytics, une solution qui vous permet d'interroger des données de streaming ou de concevoir des applications de streaming complètes avec SQL.

    S'inscrire maintenant 
    Formation
    Data Analytics Fundamentals

    Ce cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.

    S'inscrire maintenant 
    À propos de ce déploiement
    Version
    1.7.5
    Date de publication
    04/2023
    Auteur
    AWS
    Temps de déploiement estimé
    5 à 10 min
    Estimation du coût
    Afficher les détails
    Lire le guide d'implémentation
    Télécharger le guide d'implémentation  Code source  Modèle CloudFormation  S'abonner au flux RSS 
    Options de déploiement
    Prêt à vous lancer ?
    Déployer cette solution en la lançant dans votre console AWS
    Lancez dans la console AWS
    Cette solution AWS vous a-t-elle aidé ?
    Oui
    Non
    Donner mon avis
  • Option 2

  • Modèle AWS CloudFormation qui utilise Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon CloudWatch 

    Option 2 – Modèle AWS CloudFormation qui utilise le modèle AWS CloudFormation qui utilise Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon CloudWatch

    Rubriques connexes

    Blog de l'architecture AWS
    Real-Time In-Stream Inference with AWS Kinesis, SageMaker et Apache Flink

    Cet article présente l'architecture permettant d'obtenir une inférence en temps réel sur les données en streaming à l'aide de divers services AWS. Il couvre l'intégration d'Amazon Kinesis Data Analytics (KDA) à Apache Flink pour appeler de manière asynchrone les bases de données ou services sous-jacents.

    Lire l'intégralité de l'article de blog 
    Formation
    Introduction to Amazon Kinesis Analytics

    Ceci est un cours d'introduction d'Amazon Kinesis Analytics, une solution qui vous permet d'interroger des données de streaming ou de concevoir des applications de streaming complètes avec SQL.

    S'inscrire maintenant 
    Formation
    Data Analytics Fundamentals

    Ce cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.

    S'inscrire maintenant 
    À propos de ce déploiement
    Version
    1.7.5
    Date de publication
    04/2023
    Auteur
    AWS
    Temps de déploiement estimé
    5 à 10 min
    Estimation du coût
    Afficher les détails
    Lire le guide d'implémentation
    Télécharger le guide d'implémentation  Code source  Modèle CloudFormation  S'abonner au flux RSS 
    Options de déploiement
    Prêt à vous lancer ?
    Déployer cette solution en la lançant dans votre console AWS
    Lancez dans la console AWS
    Cette solution AWS vous a-t-elle aidé ?
    Oui
    Non
    Donner mon avis
  • Option 3
  • Modèle AWS CloudFormation utilisant Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose et Amazon S3
    Option 3 – Modèle AWS CloudFormation qui utilise Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose et Amazon S3

    Rubriques connexes

    Blog de l'architecture AWS
    Real-Time In-Stream Inference with AWS Kinesis, SageMaker et Apache Flink

    Cet article présente l'architecture permettant d'obtenir une inférence en temps réel sur les données en streaming à l'aide de divers services AWS. Il couvre l'intégration d'Amazon Kinesis Data Analytics (KDA) à Apache Flink pour appeler de manière asynchrone les bases de données ou services sous-jacents.

    Lire l'intégralité de l'article de blog 
    Formation
    Introduction to Amazon Kinesis Analytics

    Ceci est un cours d'introduction d'Amazon Kinesis Analytics, une solution qui vous permet d'interroger des données de streaming ou de concevoir des applications de streaming complètes avec SQL.

    S'inscrire maintenant 
    Formation
    Data Analytics Fundamentals

    Ce cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.

    S'inscrire maintenant 
    À propos de ce déploiement
    Version
    1.7.5
    Date de publication
    04/2023
    Auteur
    AWS
    Temps de déploiement estimé
    5 à 10 min
    Estimation du coût
    Afficher les détails
    Lire le guide d'implémentation
    Télécharger le guide d'implémentation  Code source  Modèle CloudFormation  S'abonner au flux RSS 
    Options de déploiement
    Prêt à vous lancer ?
    Déployer cette solution en la lançant dans votre console AWS
    Lancez dans la console AWS
    Cette solution AWS vous a-t-elle aidé ?
    Oui
    Non
    Donner mon avis
  • Option 4
  • Modèle AWS CloudFormation qui utilise Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon API Gateway
    Option 4 – Modèle AWS CloudFormation qui utilise Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics et Amazon API Gateway
    Blog de l'architecture AWS
    Real-Time In-Stream Inference with AWS Kinesis, SageMaker et Apache Flink

    Cet article présente l'architecture permettant d'obtenir une inférence en temps réel sur les données en streaming à l'aide de divers services AWS. Il couvre l'intégration d'Amazon Kinesis Data Analytics (KDA) à Apache Flink pour appeler de manière asynchrone les bases de données ou services sous-jacents.

    Lire l'intégralité de l'article de blog 
    Formation
    Introduction to Amazon Kinesis Analytics

    Ceci est un cours d'introduction d'Amazon Kinesis Analytics, une solution qui vous permet d'interroger des données de streaming ou de concevoir des applications de streaming complètes avec SQL.

    S'inscrire maintenant 
    Formation
    Data Analytics Fundamentals

    Ce cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.

    S'inscrire maintenant 
    À propos de ce déploiement
    Version
    1.7.5
    Date de publication
    04/2023
    Auteur
    AWS
    Temps de déploiement estimé
    5 à 10 min
    Estimation du coût
    Afficher les détails
    Lire le guide d'implémentation
    Télécharger le guide d'implémentation  Code source  Modèle CloudFormation  S'abonner au flux RSS 
    Options de déploiement
    Prêt à vous lancer ?
    Déployer cette solution en la lançant dans votre console AWS
    Lancez dans la console AWS
    Cette solution AWS vous a-t-elle aidé ?
    Oui
    Non
    Donner mon avis