Amazon Managed Streaming pour Kafka (MSK)

(version préliminaire publique)

Service Apache Kafka entièrement géré, hautement disponible et sécuritaire

Amazon Managed Streaming pour Kafka (Amazon MSK) est un service entièrement géré qui vous permet de créer et d'exécuter facilement des applications qui utilisent Apache Kafka pour traiter les données en streaming. Apache Kafka est une plate-forme open-source permettant de créer des pipelines et des applications de transmission de données en continu. Avec Amazon MSK, vous pouvez utiliser les API Apache Kafka pour renseigner des data lake, transmettre en continu les modifications apportées aux bases de données et alimenter des applications d'analyse et de machine learning.

Les clusters Apache Kafka sont difficiles à configurer, à mettre à l'échelle et à gérer en production. Lorsque vous exécutez vous-même Apache Kafka, vous devez approvisionner les serveurs, configurer manuellement Apache Kafka, remplacer les serveurs en cas de défaillance, orchestrer les correctifs et les mises à niveau du serveur, assurer la haute disponibilité du cluster, garantir la conservation et la sécurité des données, configurer les alarmes et la surveillance et planifier soigneusement les événements d’évolutivité pour prendre en charge les changements de charge. Amazon Managed Streaming pour Kafka facilite la création et l’exécution d’applications de production sur Apache Kafka sans avoir à recourir à une expertise de gestion d’infrastructure Apache Kafka. Cela signifie que vous passez moins de temps à gérer l’infrastructure et plus de temps à créer des applications.

En quelques clics dans la console Amazon MSK, vous pouvez créer des clusters Apache Kafka hautement disponibles avec des paramètres et une configuration basés sur les meilleures pratiques de déploiement d'Apache Kafka. Amazon MSK provisionne et exécute automatiquement vos clusters Apache Kafka. Amazon MSK surveille en permanence l'état du cluster et remplace automatiquement les nœuds défectueux sans interruption de votre application. En outre, Amazon MSK sécurise votre cluster Apache Kafka en chiffrant les données inactives.

Avantages

Entièrement compatible

Amazon MSK exécute et gère Apache Kafka pour vous. Cela facilite la migration et l'exécution de vos applications Apache Kafka existantes sur AWS sans modifier le code de l'application. En utilisant Amazon MSK, vous conservez la compatibilité open source et pouvez continuer à utiliser des outils personnalisés et construits par la communauté, tels que MirrorMaker, qui assure la réplication des flux.

Entièrement géré

Amazon MSK vous permet de vous concentrer sur la création de vos applications de diffusion en continu sans avoir à vous soucier des coûts opérationnels liés à la gestion de votre environnement Apache Kafka. Amazon MSK gère pour vous l'approvisionnement, la configuration et la maintenance des clusters Apache Kafka et des nœuds Apache Zookeeper. Amazon MSK affiche également les métriques de performance clés Apache Kafka dans la console AWS.

Hautement disponible

Amazon MSK crée un cluster Apache Kafka et offre la réplication multi-AZ au sein d’une région AWS. Amazon MSK surveille en permanence la santé du cluster et, en cas de défaillance d'un composant, Amazon MSK le remplacera automatiquement.

Hautement sécurisé

Amazon MSK fournit plusieurs niveaux de sécurité pour vos clusters Apache Kafka, notamment l'isolation du réseau, l'utilisation d'Amazon VPC, AWS IAM pour l'autorisation de l'API du plan de contrôle et le chiffrement des données inactives. La prise en charge du chiffrement par Amazon MSK est intégrée à AWS Key Management Service (KMS).

Fonctionnement

Apache Kafka est une banque de données en continu qui sépare les applications produisant des données en continu (producteurs) dans sa banque de données des applications utilisant des données en continu (consommateurs) de sa banque de données. Les organisations utilisent Apache Kafka en tant que source de données pour des applications qui analysent et réagissent en permanence aux données en continu.

En quelques clics dans la console Amazon MSK, Amazon MSK alimente votre cluster Apache Kafka et gère les mises à niveau d'Apache Kafka afin que vous utilisiez toujours la version la plus sécurisée et la plus rapide d'Apache Kafka. Une fois que vous avez configuré vos clusters, vos applications peuvent transmettre des données des producteurs à un sujet où ces données sont lues en temps réel par les consommateurs.

product-page-diagram_Grand-Canyon-How-It-Works2

Mise en route avec Amazon MSK

Product-Page_Standard-Icons_02_Sign-Up_SqInk
Configurez un cluster Amazon MSK

Inscrivez-vous à AWS et téléchargez des bibliothèques et des outils.

Product-Page_Standard-Icons_01_Product-Features_SqInk
Consultez le guide de démarrage

Apprenez à configurer votre cluster Apache Kafka sur Amazon MSK dans ce guide pas à pas.

Product-Page_Standard-Icons_03_Start-Building_SqInk
Exécutez votre cluster Apache Kafka

Exécutez votre cluster Apache Kafka sur Amazon MSK. Connectez-vous à la console Amazon MSK.