Généralités

Q : Qu'est-ce qu'Amazon Kinesis Data Analytics ?
Amazon Kinesis Data Analytics est l’outil le plus simple qui permet d’analyser les données en streaming, d’obtenir des informations exploitables et de répondre aux besoins de votre entreprise et de vos clients en temps réel. Amazon Kinesis Data Analytics simplifie la création, la gestion et l’intégration des applications de streaming dans d’autres services AWS. Vous pouvez créer rapidement des requêtes SQL et des applications Apache Flink sophistiquées dans un langage pris en charge, tel que Java ou Scala, en utilisant des modèles et des opérateurs intégrés pour les fonctions de traitement courantes afin d'organiser, de transformer, d'agréger et d'analyser des données à n'importe quelle échelle.
 
Amazon Kinesis Data Analytics prend en charge toutes les opérations nécessaires pour exécuter vos applications en temps réel en continu et assure une mise à l’échelle automatique en fonction du volume et du débit de vos données entrantes. Avec Amazon Kinesis Data Analytics, vous ne payez que les ressources consommées par vos applications de streaming. Il n'y a pas de montant minimum ni de frais d'installation.
 
Q : En quoi consiste le traitement des flux en temps réel et pourquoi en ai-je besoin ?
Les données nous parviennent à la vitesse de l'éclair en raison de l'augmentation fulgurante des sources de données en temps réel. La consignation de données des applications mobiles et Web, l'achat des données de sites d’e-commerce ou encore la collecte des données des capteurs des appareils de l'Internet des objets fournissent des informations permettant aux entreprises d'en savoir plus sur l'activité actuelle de leurs clients, de leur organisation et de leur exploitation. Grâce à une visibilité immédiate sur ces données, vous pouvez surveiller vos activités en temps réel et saisir sans attendre les nouvelles opportunités commerciales. Par exemple, vous pouvez proposer des offres commerciales aux clients en fonction de leur localisation à un moment donné, ou surveiller l’humeur des réseaux sociaux et les changements d’attitude des clients pour identifier et saisir de nouvelles opportunités.
 
Pour tirer parti de ces opportunités, vous avez besoin d'un ensemble d'outils d'analyse pour collecter et analyser les données de streaming en temps réel différent de celui qui est généralement disponible pour les données statiques stockées. Avec les outils d'analyse traditionnels, vous collectez les informations, les stockez dans une base de données et les analysez quelques heures, jours ou semaines plus tard. L'analyse de données en temps réel nécessite une approche différente, ainsi que d'autres outils et services. Au lieu d'exécuter des requêtes de base de données sur des données stockées, les services d'analyse des données de streaming traitent en continu les données avant que celles-ci soient stockées. Les données de streaming circulent à une vitesse incroyable, qui peut varier constamment à la hausse et à la baisse. Les services d'analyse des données de streaming doivent donc être capables de traiter ces données à mesure qu'elles arrivent, souvent à une vitesse de plusieurs millions d'événements par heure.
 
Q : Que puis-je faire avec Kinesis Data Analytics ?
Les cas d’emploi de Kinesis Data Analytics sont nombreux, pour traiter les données en continu et obtenir des informations en quelques secondes ou minutes, sans devoir attendre plusieurs jours ou semaines. Kinesis Data Analytics vous permet de concevoir rapidement des applications de traitement des flux de bout en bout pour l'analyse des journaux et des parcours de navigation, l'Internet des objets (IoT), les technologies publicitaires, les jeux et bien plus encore. Les trois cas d’emploi les plus courants sont les processus ETL de streaming, la génération de métriques en continu et l’analyse de réactivité.
 
ETL de streaming
Les applications d’ETL de streaming vous permettent de nettoyer, d’organiser et de transformer les données brutes avant le chargement de votre lac de données ou entrepôt de donnée en temps réel. Cela réduit ou élimine les étapes d’ETL par lots. Ces applications peuvent mettre en mémoire tampon de petits enregistrements sous la forme de gros fichiers avant la livraison, et réaliser des jointures complexes dans les flux et les tables. Par exemple, vous pouvez créer une application qui lit en continu les données de capteur IoT stockées dans Amazon Managed Streaming for Apache Kafka (Amazon MSK), organiser les données par type de capteur, supprimer les doublons, normaliser les données selon un schéma spécifique, puis transmettre les données à Amazon S3.
 
Génération de métriques en continu
Les applications de génération de métriques en continu vous permettent de surveiller et de comprendre les tendances de vos données sur la durée. Vos applications peuvent agréger les données de streaming sous forme d’informations critiques et les intégrer en toute transparence à des bases de données de génération de rapports et à des services de surveillance, afin de les mettre au service de vos applications et utilisateurs en temps réel. Grâce à Kinesis Data Analytics, vous pouvez utiliser du code SQL ou Apache Flink pour générer en continu des analyses de séries chronologiques sur des fenêtres de temps. Par exemple, vous pouvez concevoir un classement en direct pour un jeu sur appareil mobile en déterminant toutes les minutes les meilleurs joueurs, et en l’envoyant à Amazon DynamoDB. Vous pouvez également suivre le trafic de votre site Web en calculant toutes les cinq minutes le nombre de visiteurs uniques et en envoyant les résultats traités à Amazon Redshift.
 
Analyses de réactivité en temps réel
Les applications d’analyses de réactivité en temps réel envoient des alarmes ou des notifications en temps réel lorsque certaines métriques atteignent des seuils prédéfinis ou, dans les cas les plus avancés, lorsque votre application détecte des anomalies à l'aide des algorithmes Machine Learning. Ces applications vous permettent de réagir aux évolutions de votre activité en temps réel, par exemple en anticipant l’abandon des utilisateurs dans les applications mobiles et en identifiant les systèmes dégradés. Par exemple, une application peut déterminer la disponibilité ou le taux de réussite d'une API destinée aux clients au fil du temps, puis envoyer les résultats à Amazon CloudWatch. Vous pouvez créer une autre application pour rechercher des événements qui répondent à certains critères, puis avertir automatiquement les clients appropriés à l'aide d’Amazon Kinesis Data Streams et d'Amazon Simple Notification Service (SNS).
 
Q : Comment démarrer avec les applications Apache Flink for Kinesis Data Analytics ?
Connectez-vous à la console Amazon Kinesis Data Analytics, puis créez une application de traitement des flux. Vous pouvez également utiliser l' interface de ligne de commande (CLI) AWS et les kits SDK AWS. Une fois que vous avez créé une application, accédez à l’environnement de développement intégré de votre choix, connectez-vous à AWS, et installez les bibliothèques open source Apache Flink et les SDK AWS que vous aurez choisie. Apache Flink est un cadre et un moteur open source pour le traitement des flux de données et des kits SDK AWS. Les bibliothèques extensibles comprennent plus de 25 opérateurs de traitement de flux pré-construits, tels que comme window et aggregate, et des intégrations de services AWS comme Amazon MSK, Amazon Kinesis Data Streams et Amazon Kinesis Data Firehose. Une fois votre code créé, vous le chargez sur Amazon Kinesis Data Analytics. Le service prend en charge toutes les opérations nécessaires pour exécuter vos applications en temps réel en continu, notamment la mise à l'échelle automatique en fonction du volume et du débit de vos données entrantes.
 
Q : Comment démarrer avec les applications Apache Beam pour Kinesis Data Analytics ?
Utiliser Apache Beam pour créer votre application Kinesis Data Analytics est un processus semblable au démarrage avec Apache Flink. Veuillez suivre les instructions dans la question ci-dessus et assurez-vous d'installer tous les composants nécessaires à l'exécution des applications sur Apache Beam, conformément aux instructions du guide du développeur. Notez que Kinesis Data Analytics prend en charge le kit SDK Java uniquement lorsqu'il s'exécute sur Apache Beam.
 
Q : Comment démarrer avec les applications SQL pour Kinesis Data Analytics ?
Connectez-vous à la console Amazon Kinesis Data Analytics, puis créez une application de traitement des flux. Vous pouvez également utiliser l' interface de ligne de commande (CLI) AWS et les kits SDK AWS. Vous pouvez concevoir une application de bout en bout en suivant trois étapes simples : 1) configurer les données de streaming entrantes, 2) rédiger les requêtes SQL et 3) pointer l'emplacement où vous souhaitez que les résultats soient chargés. Kinesis Data Analytics reconnaît les formats de données standard tels que JSON, CSV et TSV et crée automatiquement un schéma de base. Vous pouvez ajuster ce schéma ou, si vos données ne sont pas structurées, en définir un nouveau à l'aide de notre éditeur de schémas intuitif. Le service applique ensuite le schéma au flux de données entrantes et le fait ressembler à une table SQL constamment mise à jour. Vous pouvez donc rédiger des requêtes SQL standard dedans. Vous pouvez utiliser notre éditeur SQL pour concevoir vos requêtes.
 
L'éditeur SQL intègre toutes les options requises, dont la vérification et le test de la syntaxe sur des données en direct. Nous vous offrons également des modèles qui fournissent le code SQL correspondant à un simple filtre de flux à la détection avancée d'anomalies et à des analyses top-K. Kinesis Data Analytics s'occupe de mettre en service et de mettre à l'échelle de manière extensible l'ensemble de l'infrastructure afin de gérer n'importe quel débit de données. Vous n'avez donc pas besoin de planifier, de mettre en service ou de gérer l'infrastructure.
 
Q : Quelles sont les limites de Kinesis Data Analytics ?
Kinesis Data Analytics met à l'échelle votre application de manière extensible pour s'adapter au débit de données de votre flux source et à la complexité de vos requêtes dans la plupart des scénarios. Pour des informations détaillées sur Service Limits, consultez la section limites dans le guide du développeur Amazon Kinesis Data Analytics for SQL. Pour obtenir des informations détaillées sur Service Limits pour les applications Apache Flink, consultez la section Limites dans le guide du développeur Amazon Kinesis Data Analytics for Apache Flink.
 
Q : Amazon Kinesis Data Analytics prend-il en charge l'enregistrement des schémas ?
Oui, à l'aide de connecteurs Apache Flink DataStream, les applications Amazon Kinesis Data Analytics for Apache Flink peuvent utiliser AWS Glue Schema Registry, une fonctionnalité sans serveur d'AWS Glue. Vous pouvez intégrer Apache Kafka/Amazon MSK et Amazon Kinesis Data Streams à vos charges de travail Amazon Kinesis Data Analytics for Apache Flink en tant que puits ou source. Consultez la documentation utilisateur de Schema Registry pour démarrer et pour en savoir plus.

Concepts clés

Q : Qu'est-ce qu'une application Kinesis Data Analytics ?
Une application représente l'entité Kinesis Data Analytics avec laquelle vous travaillez. Les applications Kinesis Data Analytics lisent et traitent en continu les données de streaming en temps réel. Vous écrivez le code de l'application en utilisant SQL ou un langage compatible avec Apache Flink pour traiter les données en continu entrantes et produire la sortie. Ensuite, Kinesis Data Analytics écrit la sortie dans une destination configurée.
 
Chaque application comprend trois composants principaux :
 
Données entrantes : source de données de streaming de votre application. Dans la configuration des données entrantes, vous mappez la source de données de streaming sur des flux de données entrantes intégrés à l'application. Les données passent de vos sources de données aux flux de données intégrés à l’application. Les données de ces flux de données intégrés dans l'application sont traités à l'aide de votre code d'application, en envoyant les données traitées aux flux ou destinations de données intégrés suivants. Vous ajoutez les données entrantes dans le code des applications Apache Flink et via l’API des applications SQL.
 
Code d'application : suite d’opérateurs Apache Flink ou d'instructions SQL qui traitent les données entrantes et génèrent les données sortantes. Dans sa forme la plus simple, le code d’application peut être un simple opérateur Apache Flink ou une simple instruction SQL qui lit un flux de données intégré à l’application associé à une source de streaming, puis l’écrit dans un flux de données intégré associé à une sortie. Vous pouvez écrire du code Apache Flink dans les langages compatibles ou le code SQL qui fractionne le flux de données intégré à l’application initial en plusieurs flux et leur applique une logique supplémentaire.
 
Données sortantes : vous pouvez créer un ou plusieurs flux intégrés à l'application afin d’y stocker les résultats intermédiaires. Le cas échéant, vous pouvez ensuite configurer les données sortantes de l'application, afin les données des flux spécifiques intégrés à l'application soient conservées dans une destination externe. Vous ajoutez ces données sortantes dans le code des applications Apache Flink ou l’API des applications SQL.
 
Q : Qu'est-ce qu'un flux de données intégré à l'application ?
Un flux de données intégré à l'application représente une entité qui stocke en continu les données dans votre application afin que vous puissiez les traiter. Vos applications effectuent en continu des opérations de lecture et d’écriture dans les flux de données intégrés à l’application. Pour les applications Apache Flink, vous interagissez avec un flux intégré à l’application en traitant les données via les opérateurs de flux. Les opérateurs transforment un ou plusieurs flux de données en un nouveau flux de données. Pour les applications SQL, vous interagissez avec un flux intégré comme vous le feriez avec une table SQL, à l’aide d’instructions SQL. Vous appliquez des instructions SQL à un ou plusieurs flux de données et insérez les résultats dans un nouveau flux de données.
 
Q : Quel code d'application est pris en charge ?
Pour les applications Apache Flink, Kinesis Data Analytics prend en charge les applications créées à l'aide des bibliothèques Apache Flink open source et des kits SDK AWS. Pour les applications Apache Beam, Kinesis Data Analytics prend en charge les applications créées à l'aide des bibliothèques Apache Flink open source et des kits SDK AWS reposant sur Java. Pour les applications SQL, Kinesis Data Analytics prend en charge le langage SQL ANSI avec certaines extensions du langage SQL standard afin de faciliter votre travail avec les données de streaming.

Gestion des applications

Q : Comment puis-je surveiller l'activité et les performances de mes applications Kinesis Data Analytics ?
AWS vous fournit divers outils que vous pouvez utiliser pour surveiller vos applications Kinesis Data Analytics, y compris l'accès aux applications Flink Dashboard for Apache Flink. Vous pouvez configurer certains de ces outils afin qu'ils surveillent vos applications pour vous. Pour plus d’informations sur la surveillance de vos applications, consultez :
 
Q : Comment puis-je gérer et contrôler les accès à mes applications Kinesis Data Analytics ?
Kinesis Data Analytics a besoin d'autorisations pour lire les enregistrements provenant des sources de données de streaming que vous indiquez dans votre application. Kinesis Data Analytics a également besoin d'autorisations pour écrire les données sortantes de votre application sur des destinations que vous spécifiez dans la configuration des données sortantes de votre application. Vous pouvez accorder ces autorisations en créant des rôles IAM que Kinesis Data Analytics peut endosser. Les autorisations accordées à ce rôle déterminent les tâches que le service Kinesis Data Analytics peut effectuer lorsqu'il endosse le rôle. Pour plus d'informations, consultez :
 
Q : Comment le service Kinesis Data Analytics met-il à l'échelle mon application ?
Kinesis Data Analytics dimensionne votre application de manière extensible pour s'adapter au débit de données de votre flux source et à la complexité de vos requêtes dans la plupart des scénarios. Kinesis Data Analytics alloue des capacités sous la forme d'unités de traitement Amazon Kinesis (KPU). Une unité KPU vous fournit 1 vCPU et 4 Go de mémoire.
 
Pour les applications Apache Flink, Kinesis Data Analytics affecte 50 Go de stockage d’application active par KPU, que votre application utilise pour les points de contrôle et dont vous pouvez utiliser comme disque temporaire. Un point de contrôle est une sauvegarde à jour d’une application active qui permet de reprendre immédiatement les opérations après une interruption. Vous pouvez également contrôler l’exécution parallèle de vos tâches d’application Kinesis Data Analytics for Apache Flink (par exemple, la lecture à partir d’une source ou l’exécution d’un opérateur) à l’aide des paramètres Parallelism et ParallelismPerKPU dans l’API. Parallelism définit le nombre d’instances simultanées dans une tâche. L’ensemble des opérateurs, sources et puits sont exécutés avec un parallélisme défini (par défaut, 1). Parallelism per KPU (Parallelism par KPU) définit le nombre de tâches parallèles qui peuvent être programmées par Kinesis Processing Unit (KPU) dans votre application (par défaut 1). Pour plus d’informations, consultez Mise à l’échelle dans le guide du développeur Amazon Kinesis Data Analytics for Apache Flink.
 
Pour les applications SQL, chaque source de streaming est associée au flux intégré à l'application correspondant. Bien que cela ne soit pas nécessaire pour la majorité des clients, vous pouvez utiliser les unités de traitement Kinesis de manière plus efficace en augmentant le nombre de flux intégrés à l'application auxquels votre source est mappée et en définissant le paramètre de parallélisme des données entrantes. Kinesis Data Analytics attribue de façon égale les partitions de la source de données de streaming, telles que les partitions de flux de données Amazon Kinesis, au nombre de flux intégrés à l'application que vous avez indiqués. Par exemple, si vous disposez d'un flux de données Amazon Kinesis de 10 partitions en tant que source de données de streaming et que vous spécifiez un parallélisme des données entrantes de deux, Kinesis Data Analytics attribue alors cinq partitions aux deux flux intégrés à l'application intitulés « SOURCE_SQL_STREAM_001 » et « SOURCE_SQL_STREAM_002 ». Pour en savoir plus, consultez la section relative à la configuration de l'entrée d'application dans le guide du développeur Amazon Kinesis Data Analytics for SQL.
 
Q : Quelles sont les bonnes pratiques inhérentes à la création et à la gestion de mes applications Kinesis Data Analytics ?
Pour plus d'informations sur les bonnes pratiques pour Apache Flink, consultez la section Bonnes pratiques du guide du développeur Amazon Kinesis Data Analytics for Java. Cette section est consacrée aux bonnes pratiques en matière de tolérance aux pannes, de performances, de journalisation, de codage, etc.
 
Pour plus d’informations sur les bonnes pratiques SQL, consultez la section Bonnes pratiques du guide du développeur Amazon Kinesis Data Analytics for SQL. Cette section est consacrée à la gestion des applications, à la définition du schéma d'entrée, à la connexion aux sorties et à la création du code d'application.
 
Q : Puis-je accéder aux ressources derrière un Amazon VPC avec une application Java Kinesis Data Analytics for Apache Flink ?
Oui. Vous pouvez accéder à des ressources derrière un Amazon VPC. Pour apprendre à configurer votre application pour l'accès VPC, consultez Utilisation d'un Amazon VPC dans le guide du développeur Amazon Kinesis Data Analytics.
 
Q : Une seule application Java Kinesis Data Analytics for Apache Flink peut-elle avoir accès à plusieurs VPC ?
Non. Si plusieurs sous-réseaux sont spécifiés, ils doivent tous se trouver dans le même VPC. Vous pouvez vous connecter à d'autres VPC en appairant vos VPC.
 
Q : Une application Java Kinesis Data Analytics for Apache Flink connectée à un VPC peut-elle également accéder à Internet et aux points de terminaison d'un service AWS ?
Les applications Java Kinesis Data Analytics for Apache Flink configurées de manière à accéder aux ressources au sein d'un VPC ne peuvent pas, par défaut, accéder à Internet. Pour savoir comment configurer l'accès à Internet pour votre application, consultez Internet et accès aux services dans le guide du développeur Amazon Kinesis Data Analytics.  

Tarification et facturation

Q : Combien coûte Kinesis Data Analytics ?
Avec Amazon Kinesis Data Analytics, vous ne payez qu'en fonction de votre consommation. Aucune ressource à allouer ou aucun coût initial ne s’applique à Amazon Kinesis Data Analytics.
 
Vous êtes facturé à l'heure en fonction du nombre d'unités de traitement Amazon Kinesis (ou KPU) utilisées pour exécuter votre application de streaming. Une unité KPU est une unité de capacité de traitement des flux comprenant 1 vCPU de calcul et 4 Go de mémoire. Amazon Kinesis Data Analytics met automatiquement à l'échelle le nombre de KPU requis par votre application de traitement des flux, car les besoins en mémoire et en calcul varient en réponse à la complexité de traitement et au débit des données de streaming traitées.
 
Pour les applications Apache Flink et Apache Beam, une seule unité KPU supplémentaire par application vous est facturée pour l'orchestration des applications. Le stockage d'applications actives et les sauvegardes d'applications durables sont également facturés pour les applications Apache Flink et Apache Beam. Le stockage d'applications actives est utilisé pour des fonctionnalités de traitement dynamique dans Amazon Kinesis Data Analytics et est facturé en Go par mois. Les sauvegardes d'applications durables sont facultatives, facturées en Go par mois et assurent une restauration à un instant dans le passé pour les applications.
 
Pour en savoir plus sur la tarification, consultez la page relative à la tarification d'Amazon Kinesis Data Analytics.
 
Q : Le service Kinesis Data Analytics est-il disponible dans le cadre de l'offre gratuite d'AWS ?
Non. Kinesis Data Analytics n'est actuellement pas disponible dans le cadre de l'offre gratuite d'AWS. L'offre gratuite d'AWS est un programme qui permet d'essayer gratuitement un certain nombre de services AWS.
 
Q : Suis-je facturé pour une application Kinesis Data Analytics active, mais qui ne traite aucune donnée provenant de la source ?
Pour les applications Apache Flink et Apache Beam, vous payez au minimum deux KPU et 50 Go de stockage d'applications actives si votre application Kinesis Data Analytics est active. Pour les applications SQL, vous êtes facturé au minimum une KPU si votre application Kinesis Data Analytics est active.
 
Q : En dehors des frais Kinesis Data Analytics, quels sont les autres frais qui peuvent m’être facturés ?
Le service Kinesis Data Analytics est une solution de traitement des flux entièrement gérée, indépendante de la source de données de streaming depuis laquelle elle lit les données et des destinations sur lesquelles elle écrit les données traitées. Vous êtes facturé indépendamment pour les services qui lisent des données dans votre application et ceux qui en y écrivent.
Q : Qu'est-ce qu'Apache Flink ?
Apache Flink est une infrastructure open source et un moteur de traitement de données de flux et par lots. Il simplifie la création des applications de streaming, car il fournit de puissants opérateurs et résout les principaux problèmes, comme le traitement des doublons. Apache Flink offre des fonctions de distribution de données, de communication et de tolérance aux pannes pour les calculs distribués sur les flux de données.
 
Q : Comment développer des applications ?
Vous pouvez commencer par télécharger les bibliothèques open source qui contiennent le kit SDK AWS, Apache Flink et les connecteurs des services AWS. Consultez le guide du développeur Amazon Kinesis Data Analytics for Apache Flink pour savoir comment télécharger les bibliothèques et créer votre première application.
 
Q : A quoi ressemble mon code d'application ?
Vous écrivez le code Apache Flink de votre application à l'aide de flux de données et d'opérateurs de flux. Les flux de données d’application constituent la structure de données sur laquelle vous effectuez le traitement avec votre code. Les données circulent en continu dans les flux de données d'application depuis les sources. Un ou plusieurs opérateurs de flux sont utilisés pour définir votre traitement dans les flux de données d’application, y compris la transformation, la partition, l’agrégation, la jointure et la fenêtre. Les flux de données et les opérateurs peuvent être combinés en série et en chaînes parallèles. Vous trouverez ci-dessous un court exemple de code fictif. 
DataStream <GameEvent> rawEvents = env.addSource(
	New KinesisStreamSource(“input_events”));
DataStream <UserPerLevel> gameStream =
	rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId, 
			event.gameMetadata.levelId,event.userId));
gameStream.keyBy(event -> event.gameId)
            .keyBy(1)
            .window(TumblingProcessingTimeWindows.of(Time.minutes(1)))
            .apply(...) - > {...};
gameStream.addSink(new KinesisStreamSink("myGameStateStream"));
Q : Comment utiliser les opérateurs ?
Les opérateurs prennent un flux de données d’application comme données entrantes et envoient les données traitées vers un flux de données d’application en tant que données sortantes. Vous pouvez combiner des opérateurs pour créer des applications à plusieurs étapes. Leur implémentation et leur fonctionnement ne requièrent pas de connaissances avancées sur les systèmes distribués.
 
Q : Quels sont les opérateurs pris en charge ?
Kinesis Data Analytics for Apache Flink inclut plus de 25 opérateurs d’Apache Flink que vous pouvez utiliser pour résoudre un large éventail de cas d’utilisation, notamment Map, KeyBy, aggregations, Window Join et Window. Map vous permet d’effectuer un traitement arbitraire, en prenant un élément dans un flux de données entrant et en produisant un autre élément. KeyBy organise les données de façon logique à l’aide d’une clé spécifiée, ce qui vous permet de regrouper le traitement des points de données similaires. Les agrégations exécutent le traitement dans plusieurs clés (somme, minimum et maximum). Window Join joint deux flux de données sur une clé et une fenêtre spécifiées. Window effectue un regroupement par date à l’aide d’une clé et d’une opération généralement basée sur le temps, comme le décompte des éléments uniques sur une période de 5 minutes.
 
Vous pouvez créer des opérateurs personnalisés si ceux fournis ne répondent pas à vos besoins. La section relative aux opérateurs dans le guide du développeur Amazon Kinesis Data Analytics for Apache Flink contient d’autres exemples. La liste complète des opérateurs Apache Flink figure dans la section relative aux opérateurs de la documentation Apache Flink.
 
Q : Quelles sont les intégrations prises en charge dans une application Java Kinesis Data Analytics for Apache Flink ?
Vous pouvez configurer des intégrations intégrées avec un minimum de code, ou bien créer votre propre intégration pour vous connecter à pratiquement toutes les sources de données. Les bibliothèques open source basées sur Apache Flink prennent en charge des sources et des destinations (récepteurs) de streaming pour la livraison des données traitées. Cela comprend également la prise en charge de l'enrichissement des données via des connecteurs d'entrée/de sortie asynchrones. Vous trouverez ci-dessous la liste des connecteurs spécifiques inclus dans les bibliothèques open source.
  • Sources de données de streaming : Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams
  • Destinations ou puits : Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon DynamoDB, Amazon Elasticsearch Service et Amazon S3 (via les intégrations de puits de fichiers)
Apache Flink inclut également d'autres connecteurs, notamment Apache Kafka, Apache Cassandra, Elasticsearch, etc.
 
Q : Une application Java Kinesis Data Analytics for apache Flink peut-elle répliquer des données dans les flux et/ou les rubriques ?
Oui. Vous pouvez utiliser les applications Java Kinesis Data Analytics for Apache Flink pour répliquer des données entre Amazon Kinesis Data Streams, Amazon MSK et d'autres systèmes. Un exemple fourni dans notre documentation indique comment lire les données d'une rubrique Amazon MSK et les écrire dans une autre.
 
Q : Les intégrations personnalisées sont-elles prises en charge ?
Vous pouvez ajouter une source ou une destination à votre application en vous appuyant sur un ensemble de primitives qui vous permettent de réaliser des opérations de lecture et d’écriture à partir de fichiers, répertoires, interfaces de connexion ou tout autre élément accessible sur Internet. Apache Flink fournit ces primitives pour les sources de données et les puits de données. Les primitives incluent des configurations, comme la capacité de lire et écrire des données de manière continue ou ponctuelle, asynchrone ou synchrone, et bien plus encore. Par exemple, vous pouvez configurer une application pour lire en continu les données d’Amazon S3 en étendant l’intégration source existante basée sur les fichiers.
 
Q : Quel modèle de distribution fournissent les applications Kinesis Data Analytics for Apache Flink ?
Les applications Apache Flink dans Kinesis Data Analytics utilisent un modèle de distribution « d’unicité » si une application est créée à l’aide d’opérateurs idempotents, y compris des sources et des puits. Cela signifie que les données traitées influeront sur les résultats en aval une seule fois. Les points de contrôle enregistrent l'état actuel de l'application et permettent aux applications Kinesis Data Analytics for Apache Flink de récupérer la position de l'application afin de fournir la même sémantique qu'une exécution sans échec. Les points de contrôle des applications Apache for Flink sont fournis via la fonctionnalité de points de contrôle d’Apache Flink. Par défaut, les applications Kinesis Data Analytics for Apache Flink utilisent la sémantique d’unicité d’Apache Flink. Votre application prendra en charge exactement une sémantique de traitement si vous concevez vos applications à l’aide de sources, d’opérateurs et de puits qui utilisent la sémantique d’unicité d’Apache Flink.
 
Q : Ai-je accès au stockage local depuis le stockage de mon application ?
Oui. Les applications Kinesis Data Analytics for Apache Flink fournissent à votre application 50 Go de stockage d’application active par unité de traitement Kinesis (KPU). Kinesis Data Analytics aligne le stockage sur votre application. Le stockage d’application active sert à enregistrer l’état de l’application à l’aide de points de contrôle. Votre code d’application peut également y accéder et l’utiliser comme disque temporaire pour la mise en cache de données ou à toute autre fin. Kinesis Data Analytics peut supprimer des données du stockage d’application active qui n’ont pas été enregistrées via des points de contrôle (par exemple, des opérateurs, des sources, des puits) à tout moment. Toutes les données placées dans le stockage d’application active sont chiffrées au repos.
 
Q : Comment le service Kinesis Data Analytics for Apache Flink sauvegarde-t-il automatiquement mon application ?
Kinesis Data Analytics sauvegarde automatiquement l’état de votre application active à l’aide de points de contrôle et d’instantanés. Les points de contrôle enregistrent l’état actuel de l’application et permettent aux applications Kinesis Data Analytics for Apache Flink de récupérer la position de l'application afin de fournir la même sémantique qu'une exécution sans échec. Les points de contrôle utilisent le stockage d’application active. Les clichés utilisent un point de récupération à un instant précis pour les applications. Les clichés utilisent les sauvegardes d’application à long terme.
 
Q : Que sont les clichés d’application ?
Les clichés permettent de créer votre application et de la restaurer à un instant précis. Vous pouvez donc conserver une version de l’application dans son état précédent et revenir en arrière (rollback) à tout moment. Vous contrôlez le nombre de clichés disponibles (0-1000). Les clichés utilisent les sauvegardes d’application à long terme, et Kinesis Data Analytics facture en fonction de leur taille. Par défaut, Kinesis Data Analytics chiffre les données des clichés. Vous pouvez supprimer des clichés individuels via l’API, ou tous les clichés en supprimant l’application.
 
Q : Quelles sont les versions d'Apache Flink prises en charge ?
Les applications Amazon Kinesis Data Analytics for Apache Flink prennent en charge Apache Flink 1.6, 1.8 et Java 1.11 (recommandé). 
 
Apache Flink 1.11 dans Kinesis Data Analytics prend en charge le kit de développement Java version 11 et Scala 2.1.2. Pour en savoir plus, consultez la section Créer une application dans le guide du développeur AWS.
 
Q : Kinesis Data Analytics pour les applications Apache Flink peut-il fonctionner sur Apache Beam ?
Oui, il prend en charge les applications de streaming créées à l'aide du kit SDK Java d' Apache Beam (version 2.23). Vous pouvez créer des applications de streaming Apache Beam dans Java et les exécuter à l'aide d'Apache Flink 1.8 sur Amazon Kinesis Data Analytics, Apache Spark (sur site) et d'autres moteurs d'exécution pris en charge par Apache.

Q : Qu'est-ce qu'Apache Beam ?
Apache Beam est un modèle unifié open source permettant de définir des applications et de traitement de données par lot et de streaming qui peuvent être exécutées par plusieurs moteurs d'exécution.

Création d'applications SQL

Configuration des données entrantes pour les applications SQL

Q : Quels sont les types de données entrantes pris en charge dans une application SQL Kinesis Data Analytics ?
Les applications SQL dans Kinesis Data Analytics prennent en charge deux types de données entrantes : les sources de données de streaming et les sources de données de référence. Une source de données de streaming présente des données générées en continu qui sont lues dans votre application afin d'être traitées. Une source de données de référence présente des données statiques que votre application utilise pour enrichir les données provenant des sources de données de streaming. Chaque application ne peut disposer que d'une seule source de données de streaming et que d'une seule source de données de référence. Une application lit et traite en continu de nouvelles données provenant de sources de données de streaming, telles qu'Amazon Kinesis Data Streams ou Amazon Kinesis Data Firehose. Une application lit une source de données de référence, dont Amazon S3, dans son intégralité afin de l'utiliser pour enrichir la source de données de streaming à l'aide des jointures SQL.
 
Q : En quoi consiste une source de données de référence ?
Une source de données de référence présente des données statiques que votre application utilise pour enrichir les données provenant des sources de données de streaming. Les données de référence sont stockées en tant qu'objet dans votre compartiment S3. Lorsque l'application SQL démarre, Kinesis Data Analytics lit l'objet S3 et crée une table SQL au sein de l'application pour stocker les données de référence. Votre code d'application peut ensuite les associer à un flux intégré à l'application. Vous pouvez mettre à jour les données figurant dans la table SQL en appelant l' API UpdateApplication.
 
Q : Comment configurer une source de données de streaming dans mon application SQL ?
Une source de données de streaming peut être un flux de données Amazon Kinesis ou un flux de diffusion Amazon Kinesis Data Firehose. Votre application SQL Kinesis Data Analytics lit en continu de nouvelles données provenant de sources de données de streaming à mesure qu'elles arrivent en temps réel. Les données sont mises à disposition dans votre code SQL via un flux intégré à l'application. Un flux intégré à l'application fonctionne comme une table SQL puisque vous pouvez en créer une, l'insérer et effectuer une sélection dans celle-ci. Cependant, la différence réside dans le fait qu'un flux intégré à l'application est continuellement mis à jour avec de nouvelles données provenant de la source de données de streaming.
 
Vous pouvez utiliser AWS Management Console pour ajouter une source de données de streaming. Pour en savoir plus sur les sources de données, consultez la section relative à la configuration de l'entrée de l'application dans le guide du développeur Kinesis Data Analytics for SQL.
 
Q : Comment configurer une source de données de référence dans mon application SQL ?
Une source de données de référence peut être un objet Amazon S3. Votre application SQL Kinesis Data Analytics lit l'objet S3 dans son intégralité lorsqu'elle démarre. Les données sont mises à disposition dans votre code SQL via une table. La plupart du temps, une source de données de référence est utilisée pour enrichir les données provenant d'une source de données de streaming à l'aide d'une jointure SQL.
 
Avec l'interface de ligne de commande AWS, vous pouvez ajouter une source de données de référence en indiquant le compartiment et l'objet S3, le rôle IAM et le schéma associé. Kinesis Data Analytics charge ces données lorsque vous lancez l'application, puis les charge à nouveau chaque fois que vous appelez l'API de mise à jour.
 
Q : Quels sont les formats de données pris en charge pour les applications SQL ?
Les applications SQL dans Kinesis Data Analytics peuvent détecter le schéma et analyser automatiquement les enregistrements JSON et CSV encodés au format UTF-8 à l'aide de l' API DiscoverInputSchema. Ce schéma s'applique aux données lues à partir du flux dans le cadre de leur insertion dans un flux intégré à l'application.
 
Pour les autres données encodées au format UTF-8 qui n'utilisent pas de séparateur ou qui utilisent un séparateur autre que CSV, ou dans les situations où l'API de découverte n'a pas découvert l'intégralité du schéma, vous pouvez définir un schéma à l'aide de l'éditeur de schémas interactif ou vous servir des fonctions de manipulation des chaînes pour structurer vos données. Pour plus d’informations, consultez la section relative à l' utilisation de la fonction de découverte de schéma et édition associée dans le guide du développeur Amazon Kinesis Data Analytics for SQL.
 
Q : Comment mon flux de données entrantes est-il exposé à mon code SQL ?
Kinesis Data Analytics for SQL applique le schéma que vous avez indiqué et insère vos données dans un ou plusieurs flux intégrés à l'application pour les sources de données de streaming et dans une seule table SQL pour les sources de données de référence. Le nombre par défaut de flux intégrés à l'application doit satisfaire aux besoins de la plupart de vos cas d'utilisation. Vous devez augmenter ce nombre si vous estimez que votre application n'est pas en phase avec les données les plus récentes de votre flux source, tel que cela est défini par la métrique CloudWatch MillisBehindLatest. Le nombre requis de flux intégrés à l'application est affecté par le débit de votre flux source et la complexité de vos requêtes. Le parallélisme des données entrantes est un paramètre vous permettant de spécifier le nombre de flux intégrés à l'application, et mappés avec votre flux source.

Création du code des applications SQL

Q : À quoi ressemble le code d'une application SQL ?
Un code d'application est une série d'instructions SQL qui traitent les données entrantes et génèrent les données sortantes. Ces instructions SQL fonctionnent sur les flux intégrés à l'application et sur les tables de référence. Un flux au sein d'une application est similaire à une table continuellement mise à jour sur laquelle vous pouvez effectuer des opérations SQL SELECT et INSERT. Les sources et destinations que vous avez configurées sont exposées à votre code SQL par le biais des flux intégrés à l'application. Vous pouvez également créer des flux intégrés à l'application supplémentaires pour stocker les résultats de requête intermédiaires.
 
Servez-vous du modèle suivant pour travailler avec des flux intégrés à l'application :
  • Utilisez toujours une instruction SELECT dans le cadre d'une instruction INSERT. Lorsque vous sélectionnez des lignes, vous insérez les résultats dans un autre flux intégré à l'application.
  • Utilisez une instruction INSERT dans le cadre d'une pompe. Vous employez une pompe pour donner un caractère continu à une instruction INSERT et écrivez sur un flux intégré à l'application.
  • Vous utilisez une pompe pour relier les flux intégrés à l'application entre eux en effectuant une sélection dans un flux au sein d'une application et en l'insérant dans un autre flux intégré à l'application.
 
Le code SQL suivant vous permet de disposer d'une application simple et efficace : 
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" (
    ticker_symbol VARCHAR(4),
    change DOUBLE,
    price DOUBLE);

CREATE OR REPLACE PUMP "STREAM_PUMP" AS 
  INSERT INTO "DESTINATION_SQL_STREAM"    
    SELECT STREAM ticker_symbol, change, price    
    FROM "SOURCE_SQL_STREAM_001";
Pour en savoir plus sur le code d'application, consultez la section relative au code de l'application dans le guide du développeur Amazon Kinesis Data Analytics for SQL.
 
Q : Comment Kinesis Data Analytics peut-il m'aider à écrire du code SQL ?
Kinesis Data Analytics comporte une bibliothèque de modèles d'analyse pour les cas d'utilisation courants, dont les filtres de données de streaming, les fenêtres bascules et la détection d'anomalies. Vous pouvez accéder à ces modèles depuis l'éditeur SQL, dans AWS Management Console. Une fois que vous avez créé une application et accédé à l'éditeur SQL, les modèles se trouvent dans le coin supérieur gauche de la console.
 
Q : Comment puis-je exécuter des opérations de détection d'anomalies en temps réel dans Kinesis Data Analytics ?
Kinesis Data Analytics inclut des fonctions SQL préconçues pour différentes analyses avancées, y compris pour la détection des anomalies. Vous pouvez appeler simplement cette fonction depuis votre code SQL pour détecter les anomalies en temps réel. Kinesis Data Analytics utilise l'algorithme de forêts aléatoires pour implémenter une fonction de détection d'anomalies. Pour obtenir plus d'informations sur les forêts aléatoires, consultez le livre blanc Streaming Data Anomaly Detection.

Configuration des destinations dans les applications SQL

Q : Quelles sont les destinations prises en charge ?
Kinesis Data Analytics for SQL prend en charge jusqu'à trois destinations par application. Vous pouvez conserver les résultats SQL dans Amazon S3, Amazon Redshift, Amazon Elasticsearch Service (par le biais d'Amazon Kinesis Data Firehose) et Amazon Kinesis Data Streams. Vous pouvez écrire sur une destination qui n'est pas directement prise en charge par Kinesis Data Analytics en envoyant les résultats SQL à Amazon Kinesis Data Streams et en tirant parti de son intégration à AWS Lambda pour les envoyer vers la destination de votre choix.
 
Q : Comment puis-je configurer une destination ?
Dans votre code d'application, vous écrivez les données sortantes des instructions SQL sur un ou plusieurs flux intégrés à l'application. Vous pouvez également ajouter une configuration des données sortantes à votre application, de sorte que tous les éléments écrits sur des flux spécifiques intégrés à l'application soient conservés dans quatre destinations externes au maximum. Ces destinations externes peuvent être un compartiment Amazon S3, une table Amazon Redshift, un domaine Amazon Elasticsearch Service (par le biais d'Amazon Kinesis Data Firehose) et un flux de données Amazon Kinesis. Chaque application prend en charge jusqu'à quatre destinations, qui peuvent être une combinaison des éléments mentionnés ci-dessus. Pour en savoir plus, consultez la section relative à la configuration des flux de sortie dans le guide du développeur Amazon Kinesis Data Analytics for SQL.
 
Q : La destination de mon choix n'est pas directement prise en charge. Comment puis-je envoyer des résultats SQL vers cette destination ?
Vous pouvez utiliser AWS Lambda pour écrire des données sur une destination qui n'est pas directement prise en charge à l'aide de Kinesis Data Analytics for SQL. Nous vous recommandons d'écrire les résultats sur un flux Amazon Kinesis, puis d'utiliser AWS Lambda pour lire les résultats traités et les envoyer vers la destination de votre choix. Pour en savoir plus, consultez la section contenant un exemple d'intégration d'AWS Lambda dans le guide du développeur Amazon Kinesis Data Analytics for SQL. Vous pouvez également utiliser un flux de diffusion Kinesis Data Firehose pour charger les données dans Amazon S3, puis déclencher une fonction AWS Lambda pour lire les données et les envoyer vers la destination de votre choix. Pour obtenir des informations supplémentaires à ce sujet, consultez la section relative à l' utilisation d'AWS Lambda avec Amazon S3 dans le guide du développeur AWS Lambda.
 
Q : Quel modèle de livraison fournit le service Kinesis Data Analytics ?
Les applications SQL dans Kinesis Data Analytics utilisent un modèle de livraison « au moins à une reprise » pour transmettre les données sortantes de l'application aux destinations configurées. Les applications Kinesis Data Analytics vérifient les points de contrôle internes, qui sont des moments où les enregistrements des données sortantes ont été livrées vers les destinations et où aucune perte de données n'a été subie. Le service utilise les points de contrôle au besoin pour garantir que les données sortantes de votre application sont transmises au moins à une reprise aux destinations configurées. Pour en savoir plus sur la livraison, consultez la section relative à la configuration des données sortantes d'une application dans le guide du développeur Amazon Kinesis Data Analytics for SQL.

Comparaison avec d’autres solutions de traitement des flux de données

Q : Quelles différences existe-t-il entre Amazon Kinesis Data Analytics et l'exécution de mon application à l'aide de la bibliothèque cliente Amazon Kinesis ?
La bibliothèque client Amazon Kinesis (KCL) est une bibliothèque pré-intégrée qui vous permet de concevoir des applications destinées aux clients pour la lecture et le traitement des données d'un flux de données Amazon Kinesis. La bibliothèque KCL gère des problèmes complexes, tels que l'adaptation à des flux de données aux volumes fluctuants, l'équilibrage de la charge pour les données de streaming, la coordination des services distribués et le traitement des données avec tolérance aux pannes. Elle vous permet ainsi de vous concentrer sur la logique métier lors de la conception des applications.
 
Avec Kinesis Data Analytics, vous pouvez traiter et interroger des données de streaming en temps réel. Vous utilisez le langage SQL standard pour traiter vos flux de données. Ainsi, vous n'avez pas besoin d'apprendre de nouveaux langages de programmation. Il vous suffit de faire en sorte que Kinesis Data Analytics pointe vers un flux de données entrant, de rédiger vos requêtes SQL, puis d'indiquer l'emplacement où vous souhaitez que les résultats soient chargés. Kinesis Data Analytics utilise la bibliothèque KCL pour lire les données provenant des sources de données de streaming dans le cadre de votre application sous-jacente. Le service vous épargne ces détails, ainsi que la plupart des concepts complexes associés à l'utilisation de la bibliothèque KCL, tels que l'enregistrement des points de contrôle.
 
Si vous souhaitez bénéficier d'une solution entièrement gérée et vous servir de SQL pour traiter les données de votre flux, nous vous conseillons d'utiliser Kinesis Data Analytics. Utilisez la bibliothèque KCL si vous devez concevoir une solution de traitement personnalisée dont les exigences ne sont pas satisfaites par Kinesis Data Analytics et si vous êtes en mesure de gérer l'application client en découlant.

Contrat de niveau de service

Q : Qu’est-ce que garantit le contrat de niveau de service relatif à Amazon Kinesis Data Analytics ?

Notre contrat de niveau de service relatif à Amazon Kinesis Data Analytics garantit un pourcentage de disponibilité mensuel d’au moins 99,9 % pour Amazon Kinesis Data Analytics.

Q : Comment savoir si je peux bénéficier d'un crédit de service au titre du contrat de niveau de service ?

Vous pouvez bénéficier d'un crédit au titre du contrat de niveau de service pour Amazon Kinesis Data Analytics dans le cadre du contrat de niveau de service relatif à Amazon Kinesis Data Analytics si plusieurs zones de disponibilité dans lesquelles vous exécutez une tâche dans la même région ont un pourcentage de disponibilité mensuel inférieur à 99,9 % pendant un cycle de facturation mensuel.

Pour consulter l'intégralité des conditions générales du contrat de niveau de service et en savoir plus sur la marche à suivre pour soumettre une demande, veuillez vous référer à la page de présentation du contrat de niveau de service relatif à Amazon Kinesis.

Démarrer avec Amazon Kinesis Data Analytics

Consultez la page de tarification de Kinesis Data Analytics
Calculez vos coûts

Consultez la page de tarification d'Amazon Kinesis Data Analytics.

Consultez le guide de démarrage
Consultez le guide de mise en route

Découvrez comment utiliser Amazon Kinesis Data Analytics dans ce guide étape par étape concernant SQL ou Java.

Commencez à créer dans la console
Commencez à créer des applications de streaming

Créez votre première application de streaming à partir de la console Amazon Kinesis Data Analytics.