À quoi sert l'implémentation des solutions AWS ?

De nombreux clients Amazon Web Services (AWS) utilisent les rapports de données par lots pour obtenir des informations stratégiques sur les tendances commerciales à long terme, et de plus en plus de clients nécessitent des données de streaming pour extraire des informations exploitables de leurs données en temps réel. AWS fournit la plupart des modules de service utiles à la création d'une architecture de traitement de données sécurisée, flexible et économique dans le cloud. Ils incluent les AWS Managed Services qui permettent d'intégrer, de stocker, de traiter et d'analyser les données en temps réel et par lots.

Cette solution AWS déploie automatiquement une architecture d'analyse de données en temps réel hautement disponible et économique sur le Cloud AWS qui tire partie des services Apache Spark Streaming et Amazon Kinesis. La compréhension de la section suivante nécessite des connaissances de base en matière d'architecture sur le Cloud AWS, de données de streaming et d'analyse des données.

Présentation de l'implémentation des solutions AWS

Cette solution configure automatiquement une architecture de traitement de données en temps réel ou par lots sur AWS. Real-Time Analytics with Spark Streaming est une solution conçue pour compléter les applications Apache Spark Streaming personnalisées et tirer parti d'Amazon EMR pour le traitement de grands volumes de données à travers des instances Amazon Elastic Compute Cloud (Amazon EC2) se mettant dynamiquement à l'échelle. Le diagramme ci-dessous présente l'architecture des analyses en temps réel que vous pouvez déployer en quelques minutes à l'aide du guide d'implémentation de la solution et du modèle AWS CloudFormation fourni.

Real-Time Analytics with Spark Streaming | Diagramme d'architecture
 Cliquez pour agrandir

Architecture de la solution Real-Time Analytics with Spark Streaming

Cette solution déploie un réseau Amazon Virtual Private Cloud (Amazon VPC) avec un sous-réseau public et un sous-réseau privé. Le sous-réseau public contient une passerelle NAT et un hôte Bastion. Le sous-réseau privé héberge le cluster Amazon EMR avec Apache Zeppelin.

Utilisez votre application personnalisée Spark Streaming ou déployez l'application de démonstration fournie par AWS pour lancer un exemple d'environnement de traitement de données. L'application est déployée sur le cluster Amazon EMR.

Amazon Kinesis Data Streams collecte des données à partir de sources de données et les envoie via la passerelle NAT au cluster Amazon EMR. Une fois les données traitées par l'application Spark Streaming, elles sont stockées dans un compartiment Amazon S3.

Real-Time Analytics with Spark Streaming

Version 1.1.0
Dernière mise à jour : 04/2020
Auteur : AWS

Temps de déploiement estimé : 15 min

Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.

Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.  

Caractéristiques

Implémentation de référence Real-Time Analytics with Spark Streaming

La solution Real-Time Analytics with Spark Streaming est une implémentation de référence fournit par AWS qui met automatiquement en service et configure les services AWS nécessaires au traitement de données en temps réel et par lots en quelques minutes.

Application Spark Streaming

La solution est conçue pour pouvoir utiliser votre propre application codée en Java ou Scala, mais inclut aussi une application de démonstration que vous pouvez déployer à des fins de tests.

Support Apache Zeppelin

La solution tire parti d'Apache Zeppelin, un bloc-notes Web d'analyse de données interactive qui permet aux clients de visualiser à la fois leurs données en temps réel et leurs données par lots.
Icône Créer
Déployer vous-même votre solution

Parcourez notre bibliothèque des implémentations des solutions AWS pour obtenir des réponses aux problèmes d'architecture courants.

En savoir plus 
Rechercher un partenaire APN
Rechercher un partenaire APN

Trouvez des partenaires consultants et technologiques certifiés AWS pour vous aider à commencer.

En savoir plus 
Icône Explorer
Explorer les offres de conseil pour les solutions AWS

Parcourez notre portefeuille d'offres de conseil pour obtenir une aide approuvée AWS au déploiement de solutions.

En savoir plus