Le mieux pour commencer à utiliser Amazon Kinesis Data Analytics est d'acquérir une expérience pratique en créant un exemple d'application. Il vous suffit de vous rendre sur la console Amazon Kinesis Data Analytics et de créer une nouvelle application Amazon Kinesis Data Analytics. Utilisez les étapes suivantes en fonction de votre choix : (i) une application Apache Flink utilisant un environnement de développement intégré (IDE) (Java, Scala ou Python) ou une application Apache Beam (Java), (ii) une application de bloc-notes Studio (Apache Flink SQL, Python ou Scala via une expérience de développement interactive) ou (iii) une application Kinesis Data Analytics basée sur SQL via un éditeur de console :

Tout d'abord, créez une application Kinesis Data Analytics qui lit et traite en continu les données de streaming. Téléchargez des bibliothèques Apache Flink open source en utilisant votre IDE préféré, puis rédigez votre code applicatif et testez-le avec des données de streaming en direct. Vous pouvez configurer les destinations vers lesquelles vous souhaitez sue Kinesis Data Analytics envoie les résultats.

Vous trouverez des instructions concernant le téléchargement des bibliothèques et la création de votre première application dans le guide du développeur Amazon Kinesis Data Analytics pour Apache Flink. Vous y trouverez également les composants nécessaires à l'exécution des applications qui utilisent Apache Beam. Vous pouvez trouver un équivalent de code dans d'autres langages pris en charge par Apache Flink dans la documentation officielle d'Apache Flink pour la version Apache Flink que vous utilisez sur Amazon Kinesis Data Analytics.

Étape 1 : téléchargez les bibliothèques open source vers votre IDE favori

Créez une application Java

Vous pouvez commencer par télécharger les bibliothèques open source qui contiennent le kit AWS SDK, Apache Flink et les connecteurs pour les services AWS. 

Exemple de code Java

Vous écrivez le code Apache Flink de votre application à l'aide de flux de données et d'opérateurs de flux. Les flux de données d'application constituent la structure de données utilisée pour le traitement à l'aide de votre code applicatif. Les données circulent en continu dans les flux de données d'application depuis les sources. Un ou plusieurs opérateurs de flux sont utilisés pour définir votre traitement des flux de données d'application.

Étape 3 : chargez votre code dans Kinesis Data Analytics

Configurez l'application Java

Une fois votre code créé, chargez-le dans Amazon Kinesis Data Analytics. Le service gère toutes les opérations nécessaires à l'exécution en continu de vos applications en temps réel, notamment la mise à l'échelle automatique en fonction du volume et du débit de vos données entrantes.

La section Mise en route avec Amazon Kinesis Data Analytics pour les applications Apache Flink du manuel du développeur propose une démonstration simple pour la création de votre première application.

Utiliser une solution existante pour démarrer rapidement

AWS Streaming Data Solution for Amazon Kinesis vous aide à résoudre des cas d'utilisation de streaming en temps réel tels que la capture de journaux d'applications à volume élevé, l'analyse des données de parcours de navigation, la diffusion continue vers un lac de données, etc.

La vidéo de formation de 15 minutes explique comment utiliser les applications Apache Flink dans Amazon Kinesis Data Analytics pour obtenir plus rapidement des informations à partir de vos données.

Pour commencer à utiliser Amazon Kinesis Data Analytics Studio, c'est très simple

Pour commencer, créez une application Amazon Kinesis Data Analytics Studio. Démarrez l'application, ouvrez le bloc-notes Apache Zeppelin et écrivez votre code d'application dans SQL, Python et Scala avec un moteur de traitement de flux alimenté par Apache Flink. Testez votre application avec des données de streaming en direct et observez à quoi ressemblent vos données de streaming avec des requêtes SQL et la visualisation intégrée. Vous pouvez configurer les destinations vers lesquelles vous souhaitez que Kinesis Data Analytics envoie les résultats. En option, vous pouvez promouvoir votre code dans la note vers une application de streaming Apache Flink longue avec un état durable et une mise à l'échelle automatique.

Vous pouvez obtenir des conseils sur la façon de démarrer dans le guide du développeur Amazon Kinesis Data Analytics Studio. Vous trouverez également des exemples vous permettant d'essayer diverses requêtes SQL et des exemples de programmes Python et Scala sur vos données de streaming.

Étape 1 : création d'une application Amazon Kinesis Data Analytics Studio

Créer une application Java

Vous pouvez commencer à partir de Amazon Kinesis Data Analytics, Amazon MSK ou de la console Amazon Kinesis Data Streams. Vous pouvez également utiliser des connecteurs personnalisés pour vous connecter à d'autres sources de données.

Exemple de code Java

Vous pouvez exécuter rapidement des paragraphes individuels dans la note, afficher des résultats dans le contexte et utiliser la visualisation intégrée de Apache Zeppelin pour accélérer le développement. Vous pouvez également utiliser des fonctions définies par l'utilisateur dans votre code.

Étape 3 : créer et déployer en tant qu'application de streaming Kinesis Data Analytics

Configurer l'application Java

Vous pouvez déployer votre code comme une application de traitement de flux en continu en quelques clics. Votre application déployée sera une application Kinesis Data Analytics pour Apache Flink avec un état durable et une mise à l'échelle automatique. Vous aurez également la possibilité de modifier les sources, les destinations, la journalisation et les niveaux de surveillance avec de mettre votre code en production.

Mise en route avec Amazon Kinesis Data Analytics SQL

Pour commencer, créez une nouvelle application Amazon Kinesis Data Analytics. Sélectionnez ensuite le flux de démonstration que nous proposons en entrée, choisissez un modèle, puis modifiez la requête SQL. Les résultats s'affichent directement dans la console. Vous pouvez également charger la sortie dans Amazon Elasticsearch Service et la consulter avec Kibana. En quelques minutes, vous êtes prêt à déployer une application de flux de données complète.

Étape 1 : configuration du flux en entrée

Configurez le flux en entrée

Vous devez, tout d'abord, accéder à la console Amazon Kinesis Data Analytics et sélectionner un flux de données Kinesis ou un flux de diffusion Kinesis Data Firehose. Amazon Kinesis Data Analytics intègre les données, reconnaît automatiquement les formats de date standard et suggère un schéma. Vous pouvez ensuite affiner ce schéma ou, si vos données en entrée ne sont pas structurées, définir un nouveau schéma à l'aide de notre éditeur de schémas intuitif.

Lire la documentation 

Étape 2 : rédaction des requêtes SQL

Rédigez vos requêtes SQL

Vous devez ensuite écrire les requêtes SQL permettant de traiter les données de streaming. Pour cela, vous utilisez l'éditeur SQL d'Amazon Kinesis Data Analytics et des modèles intégrés que vous testez directement sur les données de streaming.

Lire la documentation 

Étape 3 : configuration du flux en sortie

Configurez le flux en sortie

Enfin, vous indiquez où les résultats doivent être chargés. L'intégration d'Amazon Kinesis Data Analytics à Amazon Kinesis Data Streams et Amazon Kinesis Data Firehose a été prévue pour vous permettre de transmettre facilement les résultats traités vers Amazon S3, Amazon Redshift, Amazon Elasticsearch Service ou votre propre destination personnalisée.

Lire la documentation 

Exemples de démarrage

Ces ressources fournissent des exemples d'applications de données en streaming et des instructions étape par étape pour que vous puissiez les essayer et acquérir une expérience pratique.

Fonctionnement

Ce Guide du développeur SQL vous offre une vue d'ensemble de l'architecture d'Amazon Kinesis Data Analytics, de la création des applications et de la configuration des flux en entrée et en sortie.

Mise en route

Dans le Guide du développeur, nous abordons la configuration d'un compte AWS, l'interface de ligne de commande (AWS CLI) et la création de votre application de démarrage Amazon Kinesis Data Analytics.

Exemples d'applications

Ce Guide d'exemples d'applications fournit des exemples de code et des instructions étape par étape pour vous aider à créer des applications Amazon Kinesis Data Analytics et tester vos résultats.

Vidéos de démonstration

Pour commencer à utiliser Kinesis Data Analytics, c'est très simple. Les vidéos de démonstration vous facilitent la tâche en vous proposant des analyses techniques de cas d'utilisation et de traitement de flux courants. Elles présentent également les fonctionnalités les plus importantes dans les détails, afin de vous permettre de bien travailler. Suivez les liens ci-dessous pour voir les enregistrements :

Introduction à Amazon Kinesis Data Analytics (2:21)
Alimenter les tableaux de bord en temps réel (3:14)
Créer des alertes en temps réel (2:59)
Générer des analyses de séries chronologiques (2:32)

Mise en route avec Amazon Kinesis Data Analytics

Créez un compte AWS
Créez un compte AWS

Obtenez un accès instantané à l'offre gratuite d'AWS.

Consultez le guide de mise en route
Consultez le guide de mise en route

Découvrez comment utiliser Amazon Kinesis Data Analytics dans ce guide étape par étape concernant SQL ou Java.

Commencez à créer dans la console
Création d'applications de streaming sur AWS

Créez votre première application de streaming à partir de la console Amazon Kinesis Data Analytics.