- Analytique›
- Service géré Amazon pour Apache Flink›
- Mise en route
Démarrer avec le service géré Amazon pour Apache Flink
Pourquoi choisir un service géré pour Apache Flink ?
Créer des applications de streaming avec Apache Flink et Apache Beam
1
Étape 1 : télécharger les bibliothèques open source vers votre IDE préféré
Vous pouvez commencer par télécharger les bibliothèques open source qui contiennent le kit SDK AWS, Apache Flink et les connecteurs des services AWS.
2
Étape 2 : créez un exemple d'application à l'aide d'Apache Flink ou d'Apache Beam
Vous écrivez le code Apache Flink de votre application à l'aide de flux de données et d'opérateurs de flux. Les flux de données d'application constituent la structure de données utilisée pour le traitement à l'aide de votre code applicatif. Les données circulent en continu dans les flux de données d'application depuis les sources. Un ou plusieurs opérateurs de flux sont utilisés pour définir votre traitement des flux de données d'application.
3
Étape 3 : charger votre code sur le service géré Amazon pour Apache Flink
Une fois créé, chargez votre code sur le service géré Amazon pour Apache Flink. Le service prend en charge toutes les opérations nécessaires à l'exécution continue de vos applications en temps réel, y compris la mise à l'échelle automatique en fonction du volume et du débit de vos données entrantes.
Utiliser intuitivement le service géré Amazon pour Apache Flink Studio
1
Étape 1 : créer une application de service géré Amazon pour Apache Flink Studio
Commencez par le service géré Amazon pour Apache Flink, Amazon MSK ou la console Amazon Kinesis Data Streams. Utilisez des connecteurs personnalisés pour vous connecter à d'autres sources de données.
2
Étape 2 : écrire du code dans le bloc-notes sans serveur en SQL, Python et Scala et développez des applications Apache Flink
Exécutez des paragraphes individuels dans le bloc-notes, affichez des résultats dans le contexte et utilisez la visualisation intégrée de Apache Zeppelin pour accélérer le développement. Vous pouvez également utiliser des fonctions définies par l'utilisateur dans votre code.
3
Étape 3 : créer et déployer en tant qu'application de streaming du service géré Amazon pour Apache Flink
Déployez votre code comme une application de traitement des flux en cours d'exécution continue en quelques étapes. Votre application déployée sera un service géré Amazon pour Apache Flink avec un état durable et un autoscaling. Vous avez également la possibilité de modifier les sources, les destinations, la journalisation et les niveaux de surveillance avant de mettre votre code en production.
Formation en ligne
Dans cet atelier, vous créerez une architecture de streaming de bout en bout pour ingérer, analyser et visualiser des données de streaming en temps quasi réel. Vous devrez optimiser les opérations d'une compagnie de taxis à New York en analysant les données télémétriques de la flotte de taxis en temps quasi réel.
Utilisez une solution prédéfinie pour démarrer rapidement. Avec AWS Streaming Data Solution pour le service géré Amazon pour Apache Flink, vous pouvez résoudre des cas d'utilisation de streaming en temps réel comme la capture de journaux d'applications à volume élevé, l'analyse des données de parcours de navigation, la diffusion continue vers un lac de données, etc.
Dans cet atelier, vous allez créer une application de traitement des flux pour identifier les clients qui entrent dans votre casino et qui misent gros. L'application vous enverra un e-mail lorsque de gros dépensiers s'assoient à une table de jeu. Elle vous permettra également d'identifier les tables qui nécessitent une recharge de jetons, ainsi que les tricheurs potentiels de votre casino grâce à leurs habitudes de paris et de gains.
Dans cette série d’apprentissage en cinq parties, vous allez créer une architecture moderne de flux de données pour un classement des jeux en temps réel à l’aide du service géré Amazon pour Apache Flink Studio. Cette architecture inclut l’ingestion de données, l’enrichissement en temps réel avec la saisie des données relatives aux modifications de base de données (CDC), le traitement des données, ainsi que le calcul, le stockage et la visualisation des résultats.