À quoi sert cette implémentation des solutions AWS ?
La solution AWS de données de streaming pour Amazon Kinesis configure automatiquement les services AWS requis pour capturer, stocker, traiter et diffuser facilement des données de streaming. Elle vous aide à résoudre des cas d'utilisation de streaming en temps réel tels que la capture de journaux d'applications à volume élevé, l'analyse des données de parcours de navigation, la diffusion continue vers un lac de données, etc. Ses deux modèles AWS CloudFormation permettent de traiter des cas d'utilisation et des besoins professionnels variés. Ainsi, les développeurs peuvent y avoir recours pour tester de nouvelles combinaisons de services comme base de leur environnement de production ou pour améliorer une application qu'ils ont déjà implémentée.
Ils gagnent plusieurs jours sur leurs projets, car certaines tâches sont inutiles ou raccourcies, telles que : modélisation et mise en service des ressources avec AWS CloudFormation ; configuration d'alarmes, de tableaux de bord et de journalisation Amazon CloudWatch ; implémentation manuelle des meilleures pratiques de données de streaming dans AWS. Cette solution, indépendante des données et de la logique applicative, permet de démarrer avec du code réutilisable, facile à personnaliser. Après le déploiement, les fonctions de surveillance permettent de passer facilement à la production.
La solution AWS de données de streaming pour Amazon Kinesis utilise des modèles dans lesquels les flux de données transitent par des producteurs, un stockage de streaming, des consommateurs et des destinations. Les producteurs génèrent des données en continu et les envoient au stockage de streaming ; là, elles sont capturées de façon durable et mises à disposition d'un consommateur pour traitement. Les consommateurs de données traitent les données, puis les envoient vers une destination.
Actuellement, cette solution intègre deux modèles, mais d'autres sont en cours de développement. Les modèles AWS CloudFormation utilisent Amazon Kinesis Data Streams pour stocker les données de streaming. Le premier utilise Amazon API Gateway pour l'ingestion et AWS Lambda en tant que client. Le second utilise l'ingestion directe vers Kinesis Data Streams depuis Amazon Elastic Compute Cloud (Amazon EC2), Amazon Kinesis Data Analytics en tant que consommateur, et Amazon Simple Storage Service (Amazon S3) en tant que destination de stockage. Chaque modèle permet de combiner différents composants et les étend pour répondre à vos besoins.
Présentation de l'implémentation des solutions AWS
Cette solution configure automatiquement les services AWS requis pour capturer, stocker, traiter et diffuser facilement des données de streaming. Elle offre deux options assorties d'exemples de code personnalisables. Choisissez le modèle adapté à votre cas d'utilisation et aux besoins de votre activité, puis reportez-vous au guide d'implémentation.
Option 1
Option 2
Option 1
Modèle AWS CloudFormation utilisant Amazon API Gateway et AWS Lambda
Modèle AWS CloudFormation utilisant Amazon API Gateway et AWS Lambda
Ce modèle utilise API Gateway pour l'ingestion, ce qui fournit une couche d'abstraction depuis le stockage de données de streaming (Kinesis Data Streams). Cette couche d'abstraction permet d'appliquer l'authentification personnalisée des producteurs de données, de contrôler les quotas de certains producteurs et de modifier le flux Kinesis cible.
Ce modèle utilise AWS Lambda comme consommateur de données. Il convient aux cas d'utilisation qui ne requièrent pas d'état interne tel que le filtrage, le traitement des événements de l'activité et le nettoyage des données. AWS Lambda réserve une petite place aux scénarios d'erreur. Sa mise à l'échelle et son fonctionnement sont simples.
Solution AWS de données de streaming pour l'architecture de solution Amazon Kinesis
Option 2 – Modèle AWS CloudFormation utilisant l'ingestion directe et Amazon Kinesis Data Analytics
Le modèle AWS CloudFormation intègre une instance Amazon Elastic Compute Cloud (Amazon EC2) qui génère des données avec la bibliothèque Amazon Kinesis Producer Library et écrit dans Kinesis Data Streams où les enregistrements de données sont stockés. Une application Amazon Kinesis Data Analytics pour Apache Flink traite les enregistrements entrants et enregistre les données dans un compartiment Amazon Simple Storage Service (Amazon S3). Un tableau de bord Amazon CloudWatch surveille l'intégrité de l'application, sa progression, l'utilisation des ressources ainsi que des événements et des erreurs spécifiques.
Ce modèle AWS CloudFormation utilise l'ingestion directe entre Amazon EC2 et Kinesis Data Streams. Il convient lorsque vous contrôlez le code écrit dans Kinesis Data Streams. La mise en tampon sur le producteur de données est économique et limite la quantité de ressources à gérer.
Kinesis Data Analytics pour Apache Flink est un consommateur de données adapté aux cas d'utilisation qui exigent une application durable et un traitement unique, par exemple. Il permet également de traiter d'importants flux de données avec une faible latence et une disponibilité importante. Ces capacités sont adaptées, par exemple, au processus ETL de streaming (extraction, transformation, chargement), à l'analyse en temps réel, à l'analyse prédictive et au machine learning.
Voici ce qu'intègrent les modèles Amazon CloudFormation créés par la solution AWS de données de streaming pour Amazon Kinesis pour les services que vous sélectionnez : configurations par défaut recommandées pour les ressources créées, journaux, métriques, alarmes et tableaux de bord Amazon CloudWatch logs, rôles et stratégies gérées AWS Identity and Access Management (IAM), configuration Amazon CloudTrail et bonnes pratiques de sécurité, notamment le chiffrement avec AWS Key Management Service.
Fonctions
Configurations automatisées
Configurez automatiquement les services AWS requis pour capturer, stocker, traiter et diffuser facilement des données de streaming.
Flexibilité
Ses deux modèles AWS CloudFormation permettent de traiter des cas d'utilisation et des besoins professionnels variés. Ainsi, les développeurs peuvent y avoir recours pour tester de nouvelles combinaisons de services comme base de leur environnement de production ou pour améliorer une application qu'ils ont déjà implémentée.
Cas d'utilisation de streaming en temps réel
Capturez des journaux d'applications à volume élevé, analysez les données de parcours de navigation, diffusez en continu vers un lac de données, etc.
Indépendance vis-à-vis des données et de la logique applicative
Personnalisez rapidement le code réutilisable de la solution. Après le déploiement, passez souplement à la production avec les fonctions de surveillance qui utilisent Amazon CloudWatch.
Déployer vous-même votre solution
Parcourez notre bibliothèque des implémentations des solutions AWS pour obtenir des réponses aux problèmes d'architecture courants.
