Amazon Kinesis est un service entièrement géré permettant de traiter en temps réel des données difusées en continu à une échelle massive. Vous pouvez configurer des centaines de milliers de producteurs de données de manière à ce qu'ils ajoutent des données en continu à un flux Amazon Kinesis. Cela peut comprendre, par exemple, les données issues des parcours de navigation sur un site Web, des journaux d'application et des flux de réseaux sociaux. En moins d'une seconde, ces données sont accessibles à vos applications Amazon Kinesis, qui peuvent les lire et les traiter depuis le flux.

Dans le schéma d'architecture suivant, Amazon Kinesis est utilisé en tant que passerelle d'une solution Big Data. Les données issues de diverses sources sont ajoutées à un flux Amazon Kinesis, puis les données du flux sont utilisées par différentes applications Amazon Kinesis. Dans cet exemple, une application (en jaune) exécute un tableau de bord en temps réel pour les données diffusées en continu. Une autre application (en rouge) réalise une agrégation simple et envoie les données traitées vers Amazon S3. Les données dans Amazon S3 sont par ailleurs traitées et stockées dans Amazon Redshift à des fins d'analyse complexe. La troisième application (en vert) transmet les données brutes vers Amazon S3. Ces dernières sont ensuite archivées dans Amazon Glacier pour un stockage à long terme plus économique. Veuillez noter que trois de ces pipelines de traitement de données surviennent simultanément et en parallèle. Amazon Kinesis vous permet d'avoir autant de consommateurs du flux de données que votre solution l'exige sans impact négatif sur les performances.


La partition est l'unité de débit de base d'un flux Amazon Kinesis. Une partition offre une capacité de 1 Mo/s de données en entrée et de 2 Mo/s de données en sortie. Une partition peut prendre en charge jusqu'à 1 000 enregistrements PUT par seconde. Vous déterminez le nombre de partitions nécessaires lors de la création du flux. Vous pouvez, par exemple, créer un flux comportant deux partitions. Ce flux aura un débit de 2 Mo/s en entrée et de 4 Mo/s en sortie, et pourra prendre en charge jusqu'à 2 000 enregistrements PUT par seconde. En fonction de l'évolution de votre débit de données, vous pouvez ajouter ou supprimer dynamiquement des partitions de votre flux via les options de  repartitionnement.

L'enregistrement est l'unité utilisée pour les données stockées dans un flux Amazon Kinesis. Un enregistrement se compose d'un numéro de séquence, d'une clé de partition et d'un blob de données. Le blob de données correspond aux données utiles que le producteur ajoute au flux. La taille maximale d'un blob de données (charge de données utiles après le décodage en base64) est de 1 méga-octet (Mo).

La clé de partition sert à isoler et à acheminer les enregistrements de données vers différentes partitions d'un flux. La clé de partition est spécifiée par le producteur lorsqu'il ajoute des données au flux Amazon Kinesis. Par exemple, supposons que vous disposiez d'un flux Amazon Kinesis comprenant deux partitions (partition 1 et partition 2). Vous pouvez configurer votre producteur de données afin qu'il utilise deux clés de partition (clé A et clé B), de manière à placer tous les enregistrements associés à la clé A dans la partition 1 et tous ceux associés à la clé B, dans la partition 2.

Un numéro de séquence est un identifiant unique associé à un enregistrement de données. Le numéro de séquence est attribué par Amazon Kinesis lorsqu'un producteur de données appelle l'API PutRecord ou PutRecords afin d'ajouter des données à un flux Amazon Kinesis. Les numéros de séquence correspondant à une même clé de partition deviennent généralement de plus en plus longs au fil du temps ; plus l'intervalle de temps entre chaque requête PutRecord ou PutRecords est élevé, plus les numéros de séquence sont longs. 


Une fois votre inscription à Amazon Web Services terminée, vous pouvez commencer à utiliser Amazon Kinesis en :

  • créant un flux Amazon Kinesis via la console de gestion Amazon Kinesis ou l'API CreateStream d'Amazon Kinesis ;
  • configurant vos producteurs de données de manière à ce qu'ils envoient des données en continu vers votre flux Amazon Kinesis ;
  • développant vos applications Amazon Kinesis pour pouvoir lire et traiter les données de votre flux Amazon Kinesis.

Les producteurs de données peuvent ajouter des données aux flux Amazon Kinesis via les API PutRecord et PutRecords, ou via la bibliothèque Producer Amazon Kinesis (KPL). L'API PutRecord autorise un seul enregistrement de données au sein d'un appel d'API. L'API PutRecords, quant à elle, en autorise plusieurs.

La bibliothèque Producer Amazon Kinesis (KPL) est une bibliothèque facile à utiliser et hautement configurable qui vous permet d'ajouter des données à un flux Amazon Kinesis. La bibliothèque Producer Amazon Kinesis (KCL) est dotée d'une interface simple, asynchrone et fiable qui vous permet d'atteindre rapidement un débit producteur élevé avec le minimum de ressources client.


Une application Amazon Kinesis est un consommateur de données qui lit et traite des données provenant d'un flux Amazon Kinesis. Vous pouvez développer vos applications Amazon Kinesis via l'API Amazon Kinesis ou la bibliothèque client Amazon Kinesis (KCL).

La bibliothèque client Amazon Kinesis (KCL) est une bibliothèque pré-intégrée qui vous permet de créer facilement des applications Amazon Kinesis pour la lecture et le traitement des données d'un flux Amazon Kinesis. La bibliothèque client Amazon Kinesis (KCL) gère des problèmes complexes, tels que l'adaptation aux variations de volume du flux, l'équilibrage de charge des données du flux, la coordination des services distribués et le traitement des données en garantissant la tolérance aux pannes. La bibliothèque client Amazon Kinesis (KCL) vous permet de créer des applications Amazon Kinesis en vous concentrant sur la logique métier.

La bibliothèque Connector Amazon Kinesis est une bibliothèque pré-intégrée qui vous permet d'intégrer facilement Amazon Kinesis à d'autres services AWS et à des outils tiers. La bibliothèque client Amazon Kinesis (KCL) est requise pour l'utilisation de la bibliothèque Connector. Dans sa version actuelle, cette bibliothèque fournit des connecteurs pour Amazon DynamoDB, Amazon Redshift, Amazon S3 et ElasticSearch. La bibliothèque inclut également des exemples de connecteurs de chaque type, ainsi que des fichiers de construction Apache Ant pour l'exécution des exemples.

Amazon Kinesis Storm Spout est une bibliothèque pré-intégrée qui vous permet d'intégrer facilement Amazon Kinesis à Apache Storm. Dans sa version actuelle, la bibliothèque Amazon Kinesis Storm Spout récupère des données de flux Amazon Kinesis et les émet en tant que tuples. Vous pouvez l'ajouter à votre topologie Storm afin d'exploiter Amazon Kinesis en tant que service de capture, de stockage et de consultation à la fois évolutif et fiable.


Amazon Kinesis s'intègre à Amazon CloudWatch, ce qui vous permet d'enregistrer, de consulter et d'analyser des mesures CloudWatch pour vos flux Amazon Kinesis. Pour en savoir plus sur les mesures Amazon Kinesis, consultez la section Monitoring Amazon Kinesis with Amazon CloudWatch.

Amazon Kinesis s'intègre à AWS Identity and Access Management (IAM), un service qui vous permet de contrôler l'accès des utilisateurs à vos ressources et services AWS en toute sécurité. Vous pouvez, par exemple, créer une politique permettant uniquement à un utilisateur ou à un groupe d'utilisateurs en particulier d'ajouter des données à votre flux Amazon Kinesis. Pour en savoir plus sur la gestion et le contrôle des accès à votre flux Amazon Kinesis, référez-vous à la section Controlling Access to Amazon Kinesis Resources using IAM.

Amazon Kinesis s'intègre à Amazon CloudTrail, un service qui enregistre les appels d'API AWS sur votre compte et vous fournit les fichiers journaux. Pour en savoir plus sur la consignation des appels d'API et consulter la liste des API Amazon Kinesis prises en charge, reportez-vous à la section Logging Amazon Kinesis API calls Using Amazon CloudTrail.

Amazon Kinesis vous permet d'ajouter des balises à vos flux Amazon Kinesis afin de gérer plus facilement les coûts et les ressources. Une balise est un libellé défini par l'utilisateur sous forme de paire clé-valeur, destiné à faciliter l'organisation des ressources AWS. Par exemple, vous pouvez attribuer des balises à vos flux Amazon Kinesis en fonction de leur centre de coût, ce qui vous permet de catégoriser et de suivre vos frais Amazon Kinesis par centre de coûts. Pour en savoir plus sur les balises Amazon Kinesis, référez-vous à la section Tagging Your Amazon Kinesis Streams.