Amazon Kinesis Data Analytics représente la solution la plus simple d'analyse des données en continu en temps réel. À l'aide de modèles et d'opérateurs intégrés, vous pouvez rapidement et facilement créer des requêtes et diffuser des applications en temps réel. Amazon Kinesis Data Analytics permet de configurer les ressources pour exécuter vos applications et peut être mis à l'échelle automatiquement afin de gérer tout volume de données entrantes.

Sans serveur

Vous n'avez pas besoin de configurer et de gérer une infrastructure complexe en vue d'une haute disponibilité et d'un traitement dynamique. Amazon Kinesis Data Analytics n'a pas de serveur et prend en charge le nécessaire pour exécuter votre application en continu. Cela inclut la mise à disposition automatique de l'infrastructure pour traiter les données en continu.

Élasticité automatique avec tarification sans abonnement

Amazon Kinesis Data Analytics met à l'échelle de façon élastique les applications afin de s'adapter à tout volume de données dans le flux de données entrantes. Vous ne payez que les ressources effectivement consommées pour exécuter vos applications de streaming. Vous ne devez plus vous soucier de la mise en service de l'infrastructure, ni payer pour des ressources non utilisées.

Latence inférieure à une seconde

Amazon Kinesis Data Analytics permet un traitement avec des temps de latence inférieurs à 1 seconde. Vous pouvez ainsi créer des alertes et générer des tableaux de bord ainsi que des informations exploitables en temps réel.

Open source

Amazon Kinesis Data Analytics comprend des bibliothèques open source telles qu'Apache Flink, Apache Beam, Apache Zeppelin, les kits AWS SDK et les intégrations de services AWS. Apache Flink est un framework et un moteur open source permettant de créer des applications de streaming hautement disponibles et précises. Apache Beam est un modèle unifié open source permettant de définir des applications de traitement de données par flux ou par lot qui peuvent être exécutées par plusieurs moteurs d'exécution. Les kits AWS SDK permettent de simplifier le codage pour beaucoup de services AWS en fournissant des API dans votre langage préféré. Ces kits incluent des bibliothèques, des exemples de code et de la documentation AWS.

API flexibles

Les API flexibles sont des API dans Java, Scala, Python et SQL dédiées à différents cas d'utilisation, notamment le traitement dynamique des événements, le streaming ETL et l'analyse en temps réel. Les opérateurs et les fonctionnalités d'analyse prédéfinis vous permettent de créer une application de streaming Apache Flink en quelques heures au lieu de plusieurs mois. Les bibliothèques Amazon Kinesis Data Analytics sont extensibles, ce qui vous permet d'effectuer des traitements en temps réel pour une grande variété de cas d'utilisation.

Intégration aux services AWS

Vous pouvez configurer et intégrer une source de données ou une destination avec un code minimal. Vous pouvez intégrer les bibliothèques Amazon Kinesis Data Analytics à Amazon S3, Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon OpenSearch Service (successeur d'Amazon Elasticsearch Service), Amazon DynamoDB, Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose et Amazon CloudWatch et AWS Glue Schema Registry.

Fonctionnalités d'intégration avancées

Outre les intégrations AWS, les bibliothèques Amazon Kinesis Data Analytics incluent plus de dix connecteurs Apache Flink et permettent de créer des intégrations personnalisées. Avec quelques lignes de code supplémentaires, vous pouvez modifier le comportement de chaque intégration avec des fonctionnalités avancées. En outre, vous pouvez créer des intégrations personnalisées à l'aide d'un ensemble de primitives Apache Flink vous permettant de lire et d'écrire à partir de fichiers, de répertoires, de sockets ou d'autres sources accessibles via Internet.

Compatible avec AWS Glue Schema Registry

Amazon Kinesis Data Analytics for Apache Flink est compatible avec AWS Glue Schema Registry, une fonctionnalité sans serveur d'AWS Glue, qui permet de valider et de contrôler l'évolution des streamings de données à l'aide de schémas Apache Avro enregistrés, et ce sans frais supplémentaires. Le registre de schémas vous aide à gérer vos schémas sur les charges de travail Amazon Kinesis Data Analytics for Apache Flink qui se connectent à Apache Kafka, Amazon Managed Streaming for Apache Kafka (MSK) ou Amazon Kinesis Data Streams, en tant que sources ou puits. Lorsque les applications de données en streaming sont intégrées à Schema Registry, vous pouvez améliorer la qualité des données et vous protéger des modifications inattendues en utilisant les tests de compatibilité qui régissent l'évolution des schémas.

Traitement en une seule fois

Vous pouvez utiliser Apache Flink dans Amazon Kinesis Data Analytics pour créer des applications dont les enregistrements traités n'affectent les résultats qu'une seule fois. Cela s'appelle le « traitement en une seule fois ». Ainsi, même en cas de perturbation de l'application, telle que la maintenance du service interne ou la mise à jour d'application lancée par l'utilisateur, le service s'assurera que toutes les données sont traitées et qu'il n'y a pas de données en double.

Traitement dynamique

Le service stocke les calculs précédents ou en cours, ou l'état, dans l'espace de stockage de l'application en cours d'exécution. Vous pouvez comparer les résultats anciens et ceux en temps réel sur n'importe quelle période, et la récupération de l'application après une panne est rapide. L'état est toujours chiffré et progressivement enregistré dans l'espace de stockage de l'application en cours d'exécution.

Sauvegardes d'applications durables

Vous pouvez créer et supprimer des sauvegardes d'applications durables via un simple appel d'API. Vous pouvez restaurer immédiatement vos applications à partir de la dernière sauvegarde après une interruption ou restaurer votre application à une version antérieure.

Amazon Kinesis Data Analytics Studio

Inspection et visualisation des flux

Kinesis Data Analytics Studio prend en charge les requêtes en moins d'une seconde avec des visualisations intégrées. Vous pouvez effectuer des requêtes ad hoc pour inspecter rapidement votre flux de données et afficher les résultats en quelques secondes.

Environnement simple de conception et d'exécution

Les blocs-notes Studio offrent une expérience de développement à interface unique pour le développement, le débogage du code et l'exécution des applications de traitement des flux.

Traitement au moyen de SQL, Python ou Scala

Kinesis Data Analytics Studio prend en charge SQL, Python et Scala dans le même environnement de développement. La mise en évidence de la syntaxe, la validation et les suggestions contextuelles vous guident dans le bloc-notes pour interagir avec vos données, avec une prise en charge intégrée des capacités spécifiques d'Apache Flink.

Sans serveur, développement rapide d'applications de traitement en continu

Il n'y a pas de serveurs à approvisionner, à gérer ou à faire évoluer, il suffit d'écrire du code et de payer pour les ressources que vos applications consomment. Déployez facilement votre code dans le bloc-notes vers une application de traitement de flux en continu avec AutoScaling et état durable.

Open source

Kinesis Data Analytics Studio fonctionne sur et produit des applications Apache Flink utilisées en production, et les blocs-notes Apache Zeppelin offrent une expérience familière et facile à utiliser pour la création d'applications de streaming dans le langage de son choix.

S'intègre au catalogue de données AWS Glue

Le catalogue AWS Glue est un magasin de métadonnées persistant qui sert de référentiel central contenant les définitions des tables. Vous pouvez utiliser le catalogue de données AWS Glue pour la découverte et la recherche rapides sur plusieurs ensembles de données AWS. Amazon Kinesis Data Analytics Studio est compatible avec le catalogue de données AWS Glue où vous pouvez définir le schéma de vos tables source et de destination.

Applications SQL Kinesis Data Analytics

Pour les nouveaux projets, nous vous recommandons d'utiliser le nouveau Kinesis Data Analytics Studio via Kinesis Data Analytics pour les applications SQL. Kinesis Data Analytics Studio combine la facilité d'utilisation avec des capacités analytiques avancées, vous permettant de concevoir des applications sophistiquées de traitement de flux en quelques minutes.

Compatibilité avec le code SQL standard

Amazon Kinesis Data Analytics prend en charge le code SQL répondant à la norme ANSI. Vous avez donc uniquement besoin de connaître le langage SQL.

Flux intégrés en entrée et sortie

L'intégration d'Amazon Kinesis Data Analytics à Amazon Kinesis Data Streams et Amazon Kinesis Data Firehose vous permet de facilement ingérer des données de streaming. Il vous suffit de faire pointer Amazon Kinesis Data Analytics vers le flux en entrée, et les données sont automatiquement lues et analysées, prêtes à être traitées. Vous pouvez transmettre les résultats traités à d'autres services AWS, notamment Amazon S3, Amazon Redshift ou Amazon OpenSearch Service, via Amazon Kinesis Data Firehose. Vous pouvez aussi envoyer des données sortantes vers Amazon Kinesis Data Streams afin de développer des pipelines de traitement avancé des flux.

Éditeur SQL basé sur la console

Vous avez un éditeur basé sur la console qui permet de créer des requêtes SQL pour effectuer des opérations relatives aux données de streaming telles que le calcul de moyennes sur des périodes en glissement. Vous pouvez également consulter les résultats de streaming et les erreurs en utilisant les données en direct pour déboguer ou affiner davantage votre script de manière interactive.

Éditeur de schémas facile d'utilisation

Amazon Kinesis Data Analytics fournit un éditeur de schémas facile à utiliser pour découvrir et modifier la structure des données entrantes. L'assistant reconnaît automatiquement les formats de données standard tels que JSON et CSV. Il en déduit la structure des données entrantes pour créer un schéma de base, que vous pouvez affiner à l'aide de l'éditeur de schémas.

Modèles SQL prédéfinis

L'éditeur SQL interactif est fourni avec un ensemble de modèles SQL. Ceux-ci indiquent le code SQL de référence pour la plupart des opérations courantes, notamment celles d'agrégation, de transformation basée sur les événements et de filtrage. Il vous suffit de sélectionner le modèle correspondant à la tâche d'analyse à effectuer, puis de modifier le code fourni à l'aide de l'éditeur SQL afin de le personnaliser par rapport à votre cas d'utilisation.

Fonctionnalités de traitement avancées

Amazon Kinesis Data Analytics offre des fonctionnalités optimisées pour le traitement des flux. Vous pouvez ainsi facilement réaliser des analyses avancées sur vos données de streaming et notamment effectuer une détection des anomalies ou une analyse Top-K.

Mise en route avec Amazon Kinesis Data Analytics

Consultez la page de tarification de Kinesis Data Analytics
Calculez vos coûts

Consultez la page de tarification d'Amazon Kinesis Data Analytics.

Consultez le guide de démarrage
Consultez le guide de démarrage

Découvrez comment utiliser Amazon Kinesis Data Analytics dans ce guide étape par étape concernant SQL et Java.

Commencez à créer dans la console
Création d'applications de streaming sur AWS

Créez votre première application de streaming à partir de la console Amazon Kinesis Data Analytics.