De nombreuses organisations utilisent des données par lots et des rapports de données en streaming en temps réel pour obtenir des informations stratégiques et exploitables sur les tendances commerciales à long terme. Un nombre croissant de clients utilisent le traitement des données diffusées en continu avec les données nouvelles et dynamiques générées en continu dans les cas d’utilisation Big Data. Les données en streaming sont utilisées pour produire des rapports, réaliser des actions basées sur des seuils ou effectuer des formes plus complexes d'analyse des données, comme l'application d'algorithmes de machine learning.
La solution Real-Time Analytics with Spark Streaming configure automatiquement les services AWS nécessaires pour ingérer, stocker, traiter et analyser facilement les données en temps réel et par lots en utilisant les fonctions de l'architecture d'aide à la décision et de l'architecture de données Big Data. Cette solution déploie dans le Cloud AWS une architecture d'analytique des données en streaming hautement disponible, sécurisée, flexible et rentable qui exploite Apache Spark Streaming et Amazon Kinesis.
Présentation
Le diagramme ci-dessous présente l'architecture que vous pouvez créer à l'aide de l'exemple de code sur GitHub.
Architecture de la solution Real-Time Analytics with Spark Streaming
Cette solution déploie un réseau Amazon Virtual Private Cloud (Amazon VPC) avec un sous-réseau public et un sous-réseau privé. Le sous-réseau public contient une passerelle NAT et un hôte Bastion. Le sous-réseau privé héberge le cluster Amazon EMR avec Apache Zeppelin.
Amazon Kinesis Data Streams collecte des données à partir de sources de données et les envoie via la passerelle NAT au cluster Amazon EMR. Une fois les données traitées par l'application Spark Streaming, elles sont stockées dans un compartiment Amazon S3.
Real-Time Analytics with Spark Streaming
Version 1.2.0
Date de la dernière mise à jour : 12/2021
Auteur : AWS
Fonctions
Implémentation de référence Real-Time Analytics with Spark Streaming
Support Apache Zeppelin
Application Spark Streaming
Parcourez notre bibliothèque de solutions AWS pour obtenir des réponses aux problèmes architecturaux courants.
Trouvez des partenaires AWS certifiés pour vous aider à démarrer.
Trouvez des diagrammes d'architecture prescriptifs, des exemple de code et du contenu technique pour les cas d'utilisation courants.