À quoi sert cette implémentation des solutions AWS ?

De nombreuses organisations utilisent des données par lots et des rapports en temps réel pour obtenir des informations stratégiques et exploitables sur les tendances commerciales à long terme. Un nombre croissant de clients utilisent le traitement des données diffusées en continu avec les données nouvelles et dynamiques générées en continu dans les cas d’utilisation Big Data. Les données diffusées en continu sont utilisées pour produire des rapports, réaliser des actions basées sur des seuils ou effectuer des formes plus complexes d'analyse des données, comme l'application d'algorithmes de machine learning.

La solution Real-Time Analytics with Spark Streaming configure automatiquement les services AWS nécessaires pour ingérer, stocker, traiter et analyser facilement les données en temps réel et par lots en utilisant les fonctions de l'architecture d'aide à la décision et de l'architecture de données Big Data. Cette solution déploie dans le Cloud AWS une architecture d'analyse des données de diffusion en continu hautement disponible, sécurisée, flexible et rentable qui exploite Apache Spark Streaming et d Amazon Kinesis. La section suivante suppose que vous disposez d'une connaissance de base de l'architecture dans le Cloud AWS, des données de diffusion en continu et de l'analyse des données.

Présentation de l'implémentation des solutions AWS

Cette solution configure automatiquement une architecture de traitement de données en temps réel ou par lots sur AWS. Real-Time Analytics with Spark Streaming est une solution conçue pour compléter les applications Apache Spark Streaming personnalisées et tirer parti d'Amazon EMR pour le traitement de grands volumes de données à travers des instances Amazon Elastic Compute Cloud (Amazon EC2) se mettant dynamiquement à l'échelle. Le diagramme ci-dessous présente l'architecture des analyses en temps réel que vous pouvez déployer en quelques minutes à l'aide du guide d'implémentation de la solution et du modèle AWS CloudFormation fourni.

Real-Time Analytics with Spark Streaming | Diagramme d'architecture
 Cliquez pour agrandir

Architecture de la solution Real-Time Analytics with Spark Streaming

Cette solution déploie un réseau Amazon Virtual Private Cloud (Amazon VPC) avec un sous-réseau public et un sous-réseau privé. Le sous-réseau public contient une passerelle NAT et un hôte Bastion. Le sous-réseau privé héberge le cluster Amazon EMR avec Apache Zeppelin.

Utilisez votre application personnalisée Spark Streaming ou déployez l'application de démonstration fournie par AWS pour lancer un exemple d'environnement de traitement de données. L'application est déployée sur le cluster Amazon EMR.

Amazon Kinesis Data Streams collecte des données à partir de sources de données et les envoie via la passerelle NAT au cluster Amazon EMR. Une fois les données traitées par l'application Spark Streaming, elles sont stockées dans un compartiment Amazon S3.

Real-Time Analytics with Spark Streaming

Version 1.1.0
Dernière mise à jour : 04/2020
Auteur : AWS

Temps de déploiement estimé : 15 min

Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.

Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.  

Cette implémentation des solutions vous a-t-elle aidé ?
Donner mon avis 

Fonctions

Implémentation de référence Real-Time Analytics with Spark Streaming

La solution Real-Time Analytics with Spark Streaming est une implémentation de référence fournit par AWS qui met automatiquement en service et configure les services AWS nécessaires au traitement de données en temps réel et par lots en quelques minutes.

Application Spark Streaming

La solution est conçue pour pouvoir utiliser votre propre application codée en Java ou Scala, mais inclut aussi une application de démonstration que vous pouvez déployer à des fins de tests.

Support Apache Zeppelin

La solution tire parti d'Apache Zeppelin, un bloc-notes Web d'analyse de données interactive qui permet aux clients de visualiser à la fois leurs données en temps réel et leurs données par lots.
Icône Créer
Déployer vous-même votre solution

Parcourez notre bibliothèque des implémentations des solutions AWS pour obtenir des réponses aux problèmes d'architecture courants.

En savoir plus 
Rechercher un partenaire APN
Rechercher un partenaire APN

Trouvez des partenaires consultants et technologiques certifiés AWS pour vous aider à commencer.

En savoir plus 
Icône Explorer
Explorer les offres de conseil pour les solutions AWS

Parcourez notre portefeuille d'offres de conseil pour obtenir une aide approuvée AWS au déploiement de solutions.

En savoir plus