Clients Amazon MSK

Kafka est un élément central de notre plateforme d’analytique de l’ingénierie chez Arm depuis plusieurs années, à la fois sur site et dans le cloud. Depuis sa mise en service initiale, nous l'avons utilisé sur une architecture Arm, mais pour améliorer la fiabilité et réduire les frais de gestion, nous avons cherché à utiliser Amazon Managed Streaming for Apache Kafka (MSK).

Grâce à l’amélioration de MSK pour prendre en charge Graviton 3, nous sommes en mesure de redonner à notre service d’analytique une solution entièrement basée sur ARM, offrant ainsi de meilleures performances à moindre coût tout en réduisant l’empreinte carbone de nos opérations.

Amazon MSK nous a permis d’opérer une mise à l’échelle transparente tout en bénéficiant d’une fiabilité et d’une sécurité de niveau professionnel. En déléguant la gestion de Kafka à AWS, nous pouvons rester concentrés sur notre cœur de métier et innover plus rapidement.

Cela nous prenait 10 heures pour synchroniser nos banques de métadonnées. Désormais, en utilisant Amazon MSK, ce processus prend 30 minutes.

Lors de la migration de notre centre de données vers AWS, nous avions besoin d’un moyen de conserver nos investissements essentiels dans Kafka tout en réduisant considérablement les frais généraux liés à l’exécution de Kafka par nous-mêmes. C'est ce qui nous a conduits à MSK. Nous avons transféré une partie importante de l'infrastructure et de la gestion du logiciel Kafka sur les clusters MSK, qui ont été dimensionnés pour supporter plus de 40 Go/sec en moyenne en ingestion de données. Par exemple, nous n'avons plus à gérer le matériel et les logiciels pour maintenir nos clusters à jour. Par conséquent, nous sommes en mesure d'investir davantage de nos ressources dans le développement de services autour de Kafka pour nos équipes clients, ce que nous faisons le mieux. Grâce à MSK, nous pouvons nous concentrer sur nos compétences de base, ce qui nous permet de lancer de meilleurs produits plus rapidement et plus fréquemment.

Depuis que nous avons adopté Amazon MSK, nous avons considérablement augmenté l’efficacité de nos équipes et réduit le temps de maintenance de nos clusters. Parallèlement à l'augmentation des exigences en matière de données et des cas d'utilisation, nous avons constaté un accroissement considérable des frais et de la complexité dans la gestion de nos clusters Kafka. L’utilisation d’Amazon MSK nous a permis de gérer nos clusters en toute confiance, de passer moins de temps en vérification des performances, d’effectuer facilement des mises à l’échelle et de consacrer plus de temps à l’innovation et à la création d’applications attrayantes en temps réel.

Amazon Managed Streaming for Apache Kafka (Amazon MSK) facilite l’installation, la maintenance et la mise à l’échelle des clusters Kafka, notamment en fournissant un pipeline d’ingestion de bout en bout pris en charge par un service entièrement géré. À mesure que nos demandes augmentent, nous sommes convaincus que nous pourrons facilement mettre à l’échelle et étendre nos pipelines d’ingestion de flux pour l’enrichissement des données et le machine learning en temps réel, afin d’offrir une meilleure expérience à nos clients.

En utilisant Amazon MSK, Vonage a réduit ses frais de maintenance tout en créant une plateforme basée sur des microservices qui permet aux entreprises de collaborer de manière plus productive et d’impliquer leurs clients plus efficacement. Nous pouvons désormais configurer de nouveaux clusters Kafka plus rapidement et les mettre à l'échelle à mesure que nos demandes augmentent. Grâce à Amazon MSK, la configuration et la maintenance sont simplifiées, ce qui nous permet de donner la priorité au point essentiel : créer des fonctionnalités innovantes pour nos clients.

Lors du développement et du lancement de son application d’analytique de sécurité, Secureworks a choisi le service Amazon MSK pour accélérer la mise sur le marché et réduire les frais liés à l’infrastructure et à la gestion. Nous avons ainsi pu nous concentrer sur les innovations et sur ce qui nous distingue des autres, le tout en protégeant toujours plus nos clients contre les cybermenaces.

La technologie de diffusion en continu joue un rôle majeur dans notre activité, mais la gestion d’une technologie de streaming alourdit considérablement la charge de travail de nos développeurs logiciels. Amazon MSK nous a permis de considérablement réduire cette charge de travail. Grâce à Amazon MSK, nous n'avons plus besoin de passer du temps à garantir la durabilité des données, la disponibilité et la scalabilité des clusters. Nous pouvons ainsi nous concentrer sur la création d'applications. Amazon MSK libère notre équipe de la responsabilité du fonctionnement et de la maintenance de Kafka tout en limitant la durée d’indisponibilité dans la mesure où nos clusters sont entièrement gérés.

Chez ZipRecruiter, nous utilisons Apache Kafka pour nos pipelines de consignations d’événements. Ce sont des composants essentiels de l’infrastructure qui collectent, stockent et traitent en permanence plus de 6 milliards d’événements par jour depuis le site d’emplois ZipRecruiter. Nous avons choisi Amazon Managed Streaming for Apache Kafka (Amazon MSK) pour faciliter la gestion, l'exécution et la maintenance de cette infrastructure critique. Amazon MSK a considérablement réduit nos frais d’administration et de gestion d’Apache Kafka. Nos ingénieurs chargés de gérer régulièrement Apache Kafka ont ainsi pu se concentrer sur l’innovation de produits et permettre aux demandeurs d’emploi et aux responsables du recrutement d’obtenir plus facilement des résultats satisfaisants.

Delhivery utilise Apache Kafka comme un composant essentiel de son pipeline pour collecter, stocker et basculer logiquement les métadonnées des opérations du premier au dernier kilomètre. Lorsque nous mettions à l'échelle nos opérations logistiques, la gestion d'une infrastructure si complexe dans nos clusters Apache Kafka exigeait des efforts importants. Amazon MSK nous a non seulement aidé à nous débarrasser des frais d’infrastructure, mais nous avons aussi conservé des débits et des performances élevés pour nos pipelines de métadonnées critiques d’entreprise, de manière plus sécurisée et plus fiable.

Vortexa utilise Apache Kafka pour appliquer des modèles de Machine Learning à l’échelle à des flux de données nouveaux et historiques et de faire des prédictions sur le marché en temps réel qui sont immédiatement disponibles à ses clients via sa plateforme d’analytique. Amazon MSK a été une technologie décisive pour Vortexa et associée à Lenses.io. Grâce à elle nous avons pu réduire les efforts nécessaires pour la maintenance et la stabilisation d'une infrastructure Apache Kafka complexe et fragile, ce qui nous a permis de nous concentrer davantage sur la qualité des informations analytiques et de marché ayant un impact direct sur la valeur que nous offrons à nos clients. Désormais, nous pouvons mettre à jour nos applications à l'échelle en toute confiance et à une fréquence élevée, exécuter facilement des topologies de flux Kafka complexes et procéder à des débogages au niveau des applications et non l'infrastructure. Nos revenus et notre part de marché sont directement influencés par la rapidité avec laquelle nous livrons des données précises sur le marché, et Amazon MSK est un outil décisif à cet égard.

Nous utilisons plusieurs services AWS pour diffuser et traiter de grandes quantités de données relatives aux événements sportifs en direct. Par conséquent, de nombreux éléments de notre infrastructure connaissent une très forte utilisation durant les jours de match et une utilisation nulle le reste du temps. Avant d'utiliser Amazon Managed Streaming for Apache Kafka (Amazon MSK) sans serveur, les éléments mobiles et les frais généraux opérationnels nécessaires pour augmenter et réduire efficacement la capacité pendant les jours de match représentaient un véritable problème, et la capacité était souvent surprovisionnée. Amazon MSK sans serveur nous a aidés à déléguer les problèmes de mise à l'échelle à Amazon, ce qui nous permet de consacrer le temps d'ingénierie à d'autres activités. Nous avons immédiatement commencé à économiser des dizaines de milliers de dollars sur notre facture AWS mensuelle, ce qui nous a permis de réaffecter notre précieux temps d’ingénierie à la planification des capacités et à l’optimisation des mécanismes de mise à l’échelle pour nous consacrer à d’autres tâches.