Vous pouvez créer des applications de streaming avec Apache Flink et Apache Beam
Étape 1 : téléchargez les bibliothèques open source vers votre IDE favori
Vous pouvez commencer par télécharger les bibliothèques open source qui contiennent le kit SDK AWS, Apache Flink et les connecteurs des services AWS.
Étape 2 : créez un exemple d'application à l'aide d'Apache Flink ou d'Apache Beam
Vous écrivez le code Apache Flink de votre application à l'aide de flux de données et d'opérateurs de flux. Les flux de données d'application constituent la structure de données utilisée pour le traitement à l'aide de votre code applicatif. Les données circulent en continu dans les flux de données d'application depuis les sources. Un ou plusieurs opérateurs de flux sont utilisés pour définir votre traitement des flux de données d'application.
Étape 3 : chargez votre code dans Kinesis Data Analytics
Une fois votre code créé, chargez-le dans Amazon Kinesis Data Analytics. Le service gère toutes les opérations nécessaires à l'exécution en continu de vos applications en temps réel, notamment la mise à l'échelle automatique en fonction du volume et du débit de vos données entrantes.
Pour démarrer à utiliser Amazon Kinesis Data Analytics Studio, c'est très simple
Étape 1 : création d'une application Amazon Kinesis Data Analytics Studio
Vous pouvez commencer à partir de Amazon Kinesis Data Analytics, Amazon MSK ou de la console Amazon Kinesis Data Streams. Vous pouvez également utiliser des connecteurs personnalisés pour vous connecter à d'autres sources de données.
Étape 2 : écrire du code dans le bloc-notes sans serveur de SQL, Python et Scala, et développer rapidement des applications Apache Flink
Vous pouvez exécuter rapidement des paragraphes individuels dans la note, afficher des résultats dans le contexte et utiliser la visualisation intégrée de Apache Zeppelin pour accélérer le développement. Vous pouvez également utiliser des fonctions définies par l'utilisateur dans votre code.
Étape 3 : créer et déployer en tant qu'application de streaming Kinesis Data Analytics
Vous pouvez déployer votre code comme une application de traitement de flux en continu en quelques clics. Votre application déployée sera une application Kinesis Data Analytics pour Apache Flink avec un état durable et une mise à l'échelle automatique. Vous aurez également la possibilité de modifier les sources, les destinations, la journalisation et les niveaux de surveillance avec de mettre votre code en production.
Mise en route avec Amazon Kinesis Data Analytics SQL
Pour commencer, créez une nouvelle application Amazon Kinesis Data Analytics. Sélectionnez ensuite le flux de démonstration que nous proposons en entrée, choisissez un modèle, puis modifiez la requête SQL. Les résultats s'affichent directement dans la console. Vous pouvez également charger la sortie dans Amazon Elasticsearch Service et la consulter avec Kibana. En quelques minutes, vous êtes prêt à déployer une application de flux de données complète.
Étape 1 : configuration du flux en entrée
Vous devez, tout d'abord, accéder à la console Amazon Kinesis Data Analytics et sélectionner un flux de données Kinesis ou un flux de diffusion Kinesis Data Firehose. Amazon Kinesis Data Analytics intègre les données, reconnaît automatiquement les formats de date standard et suggère un schéma. Vous pouvez ensuite affiner ce schéma ou, si vos données en entrée ne sont pas structurées, définir un nouveau schéma à l'aide de notre éditeur de schémas intuitif.
Étape 2 : rédaction des requêtes SQL
Vous devez ensuite écrire les requêtes SQL permettant de traiter les données de streaming. Pour cela, vous utilisez l'éditeur SQL d'Amazon Kinesis Data Analytics et des modèles intégrés que vous testez directement sur les données de streaming.
Étape 3 : configuration du flux en sortie
Enfin, vous indiquez où les résultats doivent être chargés. L'intégration d'Amazon Kinesis Data Analytics à Amazon Kinesis Data Streams et Amazon Kinesis Data Firehose a été prévue pour vous permettre de transmettre facilement les résultats traités vers Amazon S3, Amazon Redshift, Amazon Elasticsearch Service ou votre propre destination personnalisée.
Formation en ligne
Formation autonome sur la création d'applications Apache Flink sur Amazon Kinesis Data Analytics
Dans cet atelier, vous créerez une architecture de streaming de bout en bout pour ingérer, analyser et visualiser des données en streaming en temps quasi réel. Vous avez entrepris d'améliorer les opérations d'une compagnie de taxis dans la ville de New York. Vous analyserez les données télémétriques d'une flotte de taxis de la ville de New York en temps quasi réel afin d'en optimiser les opérations.
AWS Streaming Data Solution for Amazon Kinesis
Utilisez une solution préconçue pour démarrer rapidement. AWS Streaming Data Solution for Amazon Kinesis vous aide à résoudre des cas d'utilisation de streaming en temps réel tels que la capture de journaux d'applications à volume élevé, l'analyse des données de parcours de navigation, la diffusion continue vers un lac de données, etc.
Introduction à Amazon Kinesis Data Analytics avec Apache Flink
La vidéo de formation de 15 minutes explique comment utiliser les applications Apache Flink dans Amazon Kinesis Data Analytics pour obtenir plus rapidement des informations à partir de vos données.
Démarrer avec Amazon Kinesis Data Analytics
Créez votre première application de streaming à partir de la console Amazon Kinesis Data Analytics.