Open source

Exécution avec Apache Kafka natif

Amazon MSK prend en charge le déploiement de versions natives d'Apache Kafka, de sorte que les applications et les outils conçus pour Apache Kafka fonctionnent immédiatement avec Amazon MSK, sans modification du code de l'application.

Disponibilité de la version simplifiée

Amazon MSK propose généralement les versions les plus récentes d'Apache Kafka dans les sept jours suivant leur disponibilité publique.

Mises à niveau des versions en continu

Vous pouvez mettre à niveau les versions Apache Kafka sur les clusters Amazon MSK en quelques clics, ce qui vous permettra de décider quand bénéficier de fonctionnalités et de corrections de bogues présents dans les nouvelles versions Apache Kafka. Amazon MSK automatise le déploiement des mises à niveau de version sur les clusters en cours d'exécution afin de maintenir la disponibilité des I/O des clients pour les clients qui suivent les meilleures pratiques.

Aucun serveur à gérer

Service entièrement géré

En quelques clics dans la console, vous pouvez créer un cluster Apache Kafka entièrement géré qui suit les meilleures pratiques de déploiement d'Apache Kafka, ou vous pouvez créer votre propre cluster à l'aide de votre propre configuration personnalisée. Une fois que vous avez créé la configuration souhaitée, Amazon MSK provisionne, configure et gère automatiquement les opérations de votre cluster Apache Kafka et de vos nœuds Apache ZooKeeper.

Apache ZooKeeper inclus

Apache ZooKeeper est requis pour exécuter Apache Kafka, coordonner les tâches du cluster et maintenir l'état des ressources interagissant avec le cluster. Amazon MSK gère les nœuds Apache ZooKeeper pour vous. Chaque cluster Amazon MSK inclut le nombre approprié de nœuds Apache ZooKeeper pour votre cluster Apache Kafka, sans frais supplémentaires.

Hautement disponible

La haute disponibilité par défaut

Tous les clusters sont provisionnés dans plusieurs zones de disponibilité (trois AZ par défaut), sont pris en charge par le contrat de niveau de service d'Amazon MSK et sont assistés par des systèmes automatisés qui détectent et répondent aux problèmes de l'infrastructure du cluster et du logiciel Apache Kafka. Si un composant tombe en panne, Amazon MSK le remplace automatiquement sans que vos applications ne subissent d'interruptions. Amazon MSK gère la disponibilité de vos nœuds Apache ZooKeeper afin que vous n'ayez pas besoin de démarrer, d'arrêter ou d'accéder directement aux nœuds par vous-même. Amazon MSK déploie également automatiquement les correctifs logiciels nécessaires pour que votre cluster reste à jour et fonctionne correctement.

Réplication de données

Amazon MSK utilise la réplication multi-AZ pour une haute disponibilité. La réplication des données est incluse sans frais supplémentaires.

Hautement sécurisé

Connectivité privée

Vos clusters Apache Kafka s'exécutent dans un Amazon VPC géré par Amazon MSK. Vos clusters sont disponibles pour vos propres VPC, sous-réseaux et groupes de sécurité Amazon en fonction de la configuration que vous spécifiez. Vous avez un contrôle total sur la configuration de votre réseau, et les adresses IP de vos VPC sont connectées à vos ressources Amazon MSK via des interfaces réseau Elastic (ENI).

Contrôle précis des accès

IAM Access Control est une option de sécurité sans frais qui simplifie l'authentification de cluster et l'autorisation d'API Apache Kafka à l'aide de rôles IAM ou de stratégies utilisateur pour contrôler l'accès. Avec IAM Access Control, vous n'avez plus à créer et exécuter des systèmes de gestion des accès ponctuels pour contrôler l'authentification des clients et l'autorisation pour Apache Kafka. D'autre part, vos clusters sont sécurisés avec des autorisations de moindre privilège par défaut. Vous pouvez également utiliser l'authentification SASL/SCRAM ou TLS mutuelle avec des listes de contrôle d'accès (ACL) Apache Kafka pour contrôler l'accès des clients.

Chiffrement

Amazon MSK chiffre vos données au repos sans configuration spéciale ni outils tiers. Toutes les données peuvent être chiffrées au repos à l'aide de la clé principale client (CMK) par défaut de AWS Key Management Service (KMS), ou de votre propre CMK. Amazon MSK chiffre également des données pendant le transit via le protocole TLS entre des agents, ainsi qu'entre des clients et des agents sur votre cluster.

Stockage le plus économique

Amazon MSK vous permet de démarrer pour moins de 2,50 USD par jour. Les clients paient généralement entre 0,05 USD et 0,07 USD par Go ingéré, tout compris, ce qui peut représenter 1/13e du coût des autres fournisseurs gérés. Visitez la page de tarification d'Amazon MSK pour les prix actuels et la page des meilleures pratiques d'Amazon MSK pour savoir comment dimensionner correctement vos clusters Amazon MSK.

Intégré profondément

Aucun autre fournisseur n'offre l'ampleur et la profondeur des intégrations AWS dans Amazon MSK. Ces intégrations incluent :

Évolutif

Dimensionnement d'agent

Vous pouvez mettre à l'échelle vos clusters Amazon MSK en modifiant la taille ou la famille de vos agents Apache Kafka en quelques minutes et sans interruption. La modification de la taille ou de la famille de vos agents est une solution populaire pour faire évoluer les clusters Amazon MSK, car elle vous donne la possibilité d'ajuster la capacité de calcul de votre cluster MSK en fonction de l'évolution de vos charges de travail. Cette méthode peut être préférée car elle ne nécessite pas de réaffectation des partitions qui pourrait avoir un impact sur la disponibilité d'Apache Kafka.

Vous pouvez également augmenter la taille de votre cluster jusqu'à 100 agents par cluster en utilisant la console ou l'interface de ligne de commande (CLI). Soumettez une demande d'augmentation de la limite si vous avez besoin de plus de 15 agents par cluster ou de plus de 30 agents par compte.

Gestion automatique des partitions

Amazon MSK s'intègre à Cruise Control, un outil open source populaire pour Apache Kafka qui gère automatiquement l'affectation des partitions en votre nom.

Mise à l'échelle automatique du stockage

Vous pouvez facilement mettre à l'échelle la quantité de stockage fournie par agent afin de correspondre aux modifications des exigences de stockage, à l'aide de la console de gestion AWS ou de l'interface de ligne de commande AWS. Sinon, vous pouvez créer une stratégie de mise à l'échelle pour étendre automatiquement votre stockage afin de respecter vos exigences de streaming.

Configurable

Amazon MSK déploie par défaut une configuration de cluster des meilleures pratiques pour Apache Kafka et offre aux clients la possibilité d'ajuster plus de 30 configurations de cluster différentes tout en prenant en charge toutes les configurations dynamiques et au niveau de la rubrique. Pour en savoir plus, référez-vous aux Configurations MSK personnalisées spécifiées dans la documentation.

Visible

Métriques CloudWatch par défaut

Vous pouvez visualiser et surveiller les métriques au niveau du cluster, de l'agent, des rubriques, du consommateur et de la partition en utilisant Amazon CloudWatch.

Exportez les métriques JMX et Node vers un serveur Prometheus

Open Monitoring with Prometheus vous permet de surveiller Amazon MSK en utilisant des solutions telles que Datadog, Lenses, New Relic, Sumo logic ou un serveur Prometheus, et de migrer facilement vos tableaux de bord de surveillance existants vers Amazon MSK. Pour plus d'informations, consultez Open Monitoring with Prometheus dans la documentation.

Mise en route avec Amazon MSK

Calculez vos coûts
Calculez vos coûts

Consultez la page de tarification d’Amazon MSK.

Consultez le guide de mise en route
Consultez le guide de mise en route

Apprenez à configurer votre cluster Apache Kafka sur Amazon MSK dans ce guide pas à pas.

Exécutez votre cluster Apache Kafka
Exécutez votre cluster Apache Kafka

Exécutez votre cluster Apache Kafka sur Amazon MSK. Connectez-vous à la console Amazon MSK.