Fonctionnalités d'Amazon Kinesis Data Analytics 

Amazon Kinesis Data Analytics comprend des bibliothèques open source telles qu'Apache Flink, Apache Beam, Apache Zeppelin, les kits AWS SDK et les intégrations de services AWS. Apache Flink est un cadre et un moteur open source permettant de créer des applications de streaming hautement disponibles et précises. Apache Beam est un modèle unifié open source permettant de définir des applications de traitement de données de streaming ou par lot exécutées par plusieurs moteurs d'exécution. Les kits SDK d'AWS permettent de simplifier le codage pour beaucoup de services AWS en fournissant des interface de programme d'application (API) dans votre langage préféré. Ces kits incluent des bibliothèques, des exemples de code et de la documentation AWS.

Kinesis Data Analytics offre des API flexibles en Java, Scala, Python et SQL spécialisées pour différents cas d'utilisation, notamment le traitement des événements avec état, l'ETL en streaming et l'analytique en temps réel. Les opérateurs et les fonctionnalités d'analyse prédéfinis vous permettent de créer une application de streaming Apache Flink en quelques heures au lieu de plusieurs mois. Les bibliothèques Kinesis Data Analytics sont extensibles, ce qui vous permet d'effectuer des traitements en temps réel pour une grande variété de cas d'utilisation.

Vous pouvez configurer et intégrer une source de données ou une destination avec un code minimal. Vous pouvez intégrer les bibliothèques Amazon Kinesis Data Analytics pour l’intégration avec Amazon Simple Storage Service (S3), Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon OpenSearch Service, Amazon DynamoDB, Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon CloudWatch, et AWS Glue Schema Registry.

Outre les intégrations AWS, les bibliothèques Kinesis Data Analytics incluent plus de 10 connecteurs Apache Flink et permettent de créer des intégrations personnalisées. Avec quelques lignes de code supplémentaires, vous pouvez modifier le comportement de chaque intégration avec des fonctionnalités avancées. Vous pouvez également créer des intégrations personnalisées à l'aide d'un ensemble de primitives Apache Flink vous permettant de lire et d'écrire à partir de fichiers, de répertoires, de sockets ou d'autres sources consultées sur Internet.

Kinesis Data Analytics pour Apache Flink est compatible avec le registre de schémas AWS Glue. Cette fonction sans serveur AWS Glue vous permet de valider et de contrôler l'évolution des streamings de données à l'aide de schémas Apache Avro enregistrés, et ce sans frais supplémentaires. Le registre de schémas vous aide à gérer vos schémas sur les charges de travail Kinesis Data Analytics for Apache Flink qui se sont connectées à Apache Kafka, Amazon Managed Streaming for Apache Kafka (MSK) ou Amazon Kinesis Data Streams, en tant que sources ou puits. Lorsque les applications de données en streaming sont intégrées à Schema Registry, vous pouvez améliorer la qualité des données et vous protéger des modifications inattendues en utilisant les tests de compatibilité qui régissent l'évolution des schémas.

Utilisez Apache Flink dans Kinesis Data Analytics pour créer des applications dans lesquelles les enregistrements traités n'affectent les résultats qu'une seule fois. C'est le « traitement en une seule fois ». Même en cas de perturbation de l'application, telle que la maintenance du service interne ou la mise à jour d'application lancée par l'utilisateur, le service s'assurera que toutes les données sont traitées et qu'il n'y a pas de données en double.

Le service stocke les calculs précédents ou en cours, ou l'état, dans l'espace de stockage de l'application en cours d'exécution. Comparez les résultats anciens et ceux en temps réel sur n'importe quelle période, et la récupération de l'application après une panne est rapide. L'état est toujours chiffré et progressivement enregistré dans l'espace de stockage de l'application en cours d'exécution.

Vous pouvez créer et supprimer des sauvegardes d'applications durables via un simple appel d'API. Restaurez immédiatement vos applications à partir de la dernière sauvegarde après une interruption, ou à une version antérieure. 

Kinesis Data Analytics Studio prend en charge les requêtes en moins d'une seconde avec des visualisations intégrées. Vous pouvez effectuer des requêtes ad hoc pour inspecter rapidement votre flux de données et afficher les résultats en quelques secondes.

Les blocs-notes Studio offrent une expérience de développement à interface unique pour le développement, le débogage du code et l'exécution des applications de traitement des flux.

Kinesis Data Analytics Studio prend en charge SQL, Python et Scala dans le même environnement de développement. La mise en évidence de la syntaxe, la validation et les suggestions contextuelles vous guident dans le bloc-notes pour interagir avec vos données, avec une prise en charge intégrée des capacités spécifiques d'Apache Flink.

Il n'y a pas de serveurs à approvisionner, à gérer ou à mettre à l'échelle. Il suffit d'écrire du code et de payer pour les ressources que vos applications consomment. Déployez facilement votre code dans le bloc-notes vers une application de traitement de flux en continu avec AutoScaling et état durable.

Kinesis Data Analytics Studio fonctionne sur et produit des applications Apache Flink utilisées en production, et les blocs-notes Apache Zeppelin offrent une expérience familière et facile à utiliser pour la création d'applications de streaming dans le langage de son choix.

Le catalogue AWS Glue est un magasin de métadonnées persistant qui sert de référentiel central contenant les définitions des tables. Vous pouvez utiliser le catalogue de données AWS Glue pour la découverte et la recherche rapides sur plusieurs ensembles de données AWS. Kinesis Data Analytics Studio est compatible avec le catalogue de données AWS Glue où vous pouvez définir le schéma de vos tables source et de destination.

Pour les nouveaux projets, nous vous recommandons d'utiliser le nouveau Kinesis Data Analytics Studio plutôt que Kinesis Data Analytics pour les applications SQL. Kinesis Data Analytics Studio combine la facilité d'utilisation avec des capacités analytiques avancées, vous permettant de concevoir des applications sophistiquées de traitement de flux en quelques minutes.

Kinesis Data Analytics prend en charge le code SQL répondant à la norme ANSI. Vous avez donc uniquement besoin de connaître le langage SQL.

L'intégration de Kinesis Data Analytics à Amazon Kinesis Data Streams et Amazon Kinesis Data Firehose vous permet de facilement ingérer des données de streaming. Il vous suffit de faire pointer Kinesis Data Analytics vers le flux en entrée, et les données sont automatiquement lues et analysées, prêtes à être traitées. Vous pouvez transmettre les résultats traités à d'autres services AWS, notamment Amazon S3, Amazon Redshift ou Amazon OpenSearch Service, via Kinesis Data Firehose. Vous pouvez aussi envoyer des données sortantes vers Amazon Kinesis Data Streams afin de développer des pipelines de traitement avancé des flux.

Utilisez un éditeur basé sur la console qui permet de créer des requêtes SQL pour effectuer des opérations relatives aux données de streaming telles que le calcul de moyennes sur des périodes en glissement. Vous pouvez également consulter les résultats de streaming et les erreurs en utilisant les données en direct pour déboguer ou affiner davantage votre script de manière interactive.

Kinesis Data Analytics fournit un éditeur de schémas facile à utiliser pour découvrir et modifier la structure des données entrantes. L'assistant reconnaît automatiquement les formats de données standard tels que JSON et CSV. Il en déduit la structure des données entrantes pour créer un schéma de base, que vous pouvez affiner à l'aide de l'éditeur de schémas.

L'éditeur SQL interactif est fourni avec un ensemble de modèles SQL. Ceux-ci indiquent le code SQL de référence pour la plupart des opérations courantes, notamment celles d'agrégation, de transformation basée sur les événements et de filtrage. Il vous suffit de sélectionner le modèle correspondant à la tâche d'analyse à effectuer, puis de modifier le code fourni à l'aide de l'éditeur SQL afin de le personnaliser par rapport à votre cas d'utilisation.

Kinesis Data Analytics offre des fonctionnalités optimisées pour le traitement des flux. Vous pouvez ainsi facilement réaliser des analyses avancées sur vos données de streaming et notamment effectuer une détection des anomalies ou une analyse Top-K.