Amazon Kinesis Data Analytics
Amazon Kinesis Data Analytics est le moyen le plus simple de transformer et d'analyser les données de streaming en temps réel avec Apache Flink. Apache Flink est un cadre open source et un moteur permettant de traiter des flux de données. Amazon Kinesis Data Analytics simplifie la création, la gestion et l'intégration des applications Apache Flink dans d'autres services AWS.
Amazon Kinesis Data Analytics s'occupe de toutes les opérations nécessaires pour exécuter vos applications de streaming en continu et assure une mise à l'échelle automatique en fonction du volume et du débit de vos données entrantes. Avec Amazon Kinesis Data Analytics, il n'y a aucun serveur à gérer, aucuns frais minimums et aucun coût de configuration. Vous ne payez que les ressources utilisées par vos applications de streaming.
Obtenez de l'aide pour votre démonstration de faisabilité ou votre évaluation. >>
Avantages
Puissance de traitement en temps réel
Amazon Kinesis Data Analytics fournit des fonctions intégrées permettant de filtrer, d'agréger et de transformer les données de streaming à des fins d'analyse de pointe. Le service traite également les données de streaming avec un temps de latence inférieur à la seconde, ce qui permet d'analyser les données entrantes et les événements, ainsi que d'y répondre, et ce en temps réel.
Aucun serveur à gérer
Amazon Kinesis Data Analytics est un service sans serveur : vous n'avez donc aucun serveur à gérer. Il exécute vos applications de streaming sans que vous ayez à mettre en service ou à gérer la moindre infrastructure. Amazon Kinesis Data Analytics effectue automatiquement la mise à l'échelle ascendante et descendante de l'infrastructure requise pour traiter les données entrantes.
Paiement en fonction de l'utilisation
Avec Amazon Kinesis Data Analytics, vous payez uniquement les ressources de traitement consommées par vos applications de streaming. Il n'y a pas de frais minimaux et aucun engagement initial n'est requis.
Simplicité d'utilisation
Amazon Kinesis Data Analytics vous permet de créer de manière rapide et simple des requêtes et des applications de streaming sophistiquées suivant trois étapes simples : configuration de vos sources de données de streaming, écriture de vos requêtes ou de vos applications de streaming et configuration de l'emplacement de destination des données traitées.
Créez des applications de streaming sophistiquées avec Apache Flink.
Amazon Kinesis Data Analytics comprend des bibliothèques et des environnements d'exécution à code source libre basés sur Apache Flink qui vous permettent de créer une application en quelques heures, plutôt qu'en plusieurs mois, à l'aide de votre IDE préféré.. Les bibliothèques extensibles comprennent des API spécialisées dédiées à différents cas d'utilisation, notamment le traitement dynamique en streaming, le streaming ETL et l'analyse en temps réel. Vous pouvez intégrer ces bibliothèques aux services AWS comme Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Elasticsearch Service, Amazon S3, Amazon DynamoDB, et bien plus encore.
Utiliser SQL standard pour créer des requêtes interactives
Amazon Kinesis Data Analytics fournit des modèles et un éditeur interactif permettant de créer des requêtes SQL capables d'effectuer des jointures et des agrégations sur des périodes données, des filtres, et bien plus encore. Il vous suffit de sélectionner le modèle correspondant à la tâche d'analyse à effectuer, puis de modifier le code fourni à l'aide de l'éditeur SQL afin de le personnaliser par rapport à votre cas d'utilisation. Sans écrire la moindre ligne de code, vous pouvez envoyer vos résultats SQL vers d'autres services AWS tels qu'AWS Lambda, Amazon Kinesis Data Streams et Amazon Kinesis Data Firehose.
Création d'applications de streaming avec Apache Beam
Amazon Kinesis Data Analytics prend en charge l'exécution d'applications de streaming créées par le biais du kit SDK Java d'Apache Beam dans un environnement Apache Flink serverless. Apache Beam est un modèle unifié open source permettant de définir des applications et de traitement de données par lot et de streaming qui peuvent être exécutées par plusieurs moteurs d'exécution. Vous pouvez facilement créer des applications de streaming Apache Beam dans Java et les exécuter sur Amazon Kinesis Data Analytics et d'autres moteurs d'exécution.
Fonctionnement
Cas d'utilisation
ETL de streaming
Vous pouvez créer des applications ETL (extraction-transformation-chargement) de streaming grâce à des opérateurs intégrés à Amazon Kinesis Data Analytics afin de transformer, regrouper et filtrer les données de streaming. Avec les connecteurs intégrés, vous pouvez facilement distribuer vos données en quelques secondes dans Amazon Kinesis Data Streams, Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Elasticsearch Service, Amazon S3, les intégrations personnalisées, et bien plus encore.
Découvrez dans cette vidéo comment John Deere extrait les données de mesures des capteurs IoT des équipements agricoles, les transforme en informations clients utiles en temps réel et les utilisent pour alimenter un lac de données.
Analytique en temps réel
Vous pouvez interroger de manière interactive vos données de streaming grâce à SQL standard, créer des applications Apache Flink reposant sur Java et Scala, ainsi que créer des applications Apache Beam reposant sur Java pour analyser les flux de données.
Consultez la présentation de notre solution d'analytique en temps réel sur la surveillance des journaux et l'analyse Web.
Traitement dynamique des événements
Vous pouvez développer des applications qui traitent les événements depuis un ou plusieurs flux de données et déclencher des actions externes et de traitement conditionnelles. Vous pouvez identifier des modèles tels que la détection des anomalies dans vos flux de données grâce aux bibliothèques SQL standard et Apache Flink pour un traitement complexe des événements.
Découvrez comment Zynga traite les événements de jeu déclenchés par les actions des joueurs.
Clients
Mise en route avec Amazon Kinesis Data Analytics
Découvrez comment utiliser Amazon Kinesis Data Analytics dans ce guide étape par étape concernant SQL ou Apache Flink.
Créez votre première application de streaming à partir de la console Amazon Kinesis Data Analytics.