Second Spectrum réduit ses coûts d'hébergement Kubernetes de 90 % grâce à AWS Load Balancer Controller et Amazon EKS

Issue d'un groupe de recherche de l'université de Californie du Sud, Second Spectrum a été fondée à Los Angeles en 2013. Les spectateurs des matchs de la National Basketball Association, de la Major League Soccer ou de la Premier League ont vu la technologie Second Spectrum en action, par exemple lors de l'utilisation de la vision par ordinateur pour suivre les mouvements des joueurs. En tant que start-up, Second Spectrum cherche à expérimenter rapidement de nouvelles offres d'outils et à lancer les plus viables en production. Pour ce faire, l'entreprise a besoin d'un routage efficace afin de pouvoir fournir certaines parties de son architecture d'une manière reproductible.

Pour le déploiement d'applications, Second Spectrum utilise la conteneurisation depuis 2014. « Kubernetes est un monstre à maîtriser », confie Sheldon Kwok, directeur principal de l'infrastructure chez Second Spectrum. « En raison de la multitude de parties mobiles, comprendre et gérer les composants internes de Kubernetes en interne prend énormément de temps.

« Dans cet environnement conteneurisé, Second Spectrum s'appuie sur Application Load Balancer depuis sa sortie en 2016. Application Load Balancer fonctionne au niveau de la requête (couche 7) et achemine le trafic vers des cibles telles que des conteneurs ou des adresses IP. Cependant, l'équipe était toujours confrontée à un problème d'inefficacité. « Il y avait une étape réseau supplémentaire : vous deviez passer par le proxy Kubernetes sur un NodePort qui ne se trouverait pas nécessairement dans la même zone de disponibilité que votre service final », explique Kwok. L'équipe de Second Spectrum souhaitait supprimer cette étape supplémentaire pour améliorer les performances.

Les ingénieurs de Second Spectrum ont été intrigués lorsqu'AWS a lancé AWS Load Balancer Controller en 2020, qui prenait en charge les pods, des petits groupes de conteneurs d'applications pouvant être déployés et gérés de concert. « L'enregistrement de la cible IP Direct-Pod depuis AWS Load Balancer Controller nous a permis de nettoyer et de consolider notre configuration dans une entrée Kubernetes simple à utiliser », explique Kwok.

Second Spectrum a reçu une assistance supplémentaire de la part d'Amazon EKS, qui gérait le serveur d'API Kubernetes pour l'entreprise et constituait une alternative plus efficace au cluster Kubernetes autogéré. « L'utilisation d'Amazon EKS élimine tous les maux de tête liés à la gestion de Kubernetes », déclare Kwok. « Cela nous permet de travailler sur davantage de fonctionnalités liées au produit. » Tout en améliorant la productivité, l'environnement géré rationalisé d'Amazon EKS permet également à l'entreprise de réaliser des économies : « auparavant, nous dépensions environ 1 000 USD par mois juste pour exécuter un cluster Kubernetes pour les serveurs API », raconte Kwok. « Amazon EKS nous coûte environ 100 USD par mois. »

AWS Load Balancer Controller et Amazon EKS ont permis à Second Spectrum de surveiller directement les pods Kubernetes et d'éviter l'étape supplémentaire consistant à passer en revue les instances. Grâce à cette nouvelle configuration, l'équipe a constaté une amélioration des performances d'environ 5 ms par requête, ce qui représente un avantage modeste mais important lorsqu'il s'agit de fournir un suivi et des visualisations en temps quasi réel pour une expérience de visionnage améliorée. Ce processus automatisé par AWS réduit également considérablement le risque d'erreur humaine dans la chaîne de configuration. « Le taux auquel nous rencontrons des problèmes d'équilibrage de charge et de disponibilité devrait diminuer d'environ 75 % », annonce Eric Lui, vice-président des opérations d'ingénierie chez Second Spectrum.

L'équipe de Second Spectrum estime que la configuration plus simple permet au personnel de gagner au moins deux semaines par an, car les ingénieurs sont mieux équipés pour utiliser le libre-service plutôt que d'attendre l'équipe chargée de l'infrastructure. Si l'on tient compte de l'utilisation d'Amazon EKS, qui élimine le temps passé à former les nouveaux employés à l'exploitation de clusters Kubernetes autogérés, le gain de temps escompté s'élève à environ 3 mois en équivalent temps plein par an. L'entreprise ne peut utiliser qu'un seul Application Load Balancer pour l'ensemble de son espace de noms, et AWS Load Balancer Controller peut se mettre à l'échelle de manière dynamique pour gérer un afflux de requêtes entrantes et arrêter automatiquement le routage vers les serveurs proxy en cas de panne.

L'équipe de Second Spectrum considère cette nouvelle configuration comme une étape importante dans son évolution vers une approche DevOps en matière de génie logiciel. « Nous cherchons à mettre ces outils à la disposition des développeurs afin qu'ils puissent prendre en charge leur propre configuration d'équilibrage de charge : le déploiement, les tests et la configuration de la surveillance de l'état », explique Lui. « Cela permet aux gens d'être plus autonomes et plus productifs. En termes d'impact sur l'organisation, c'est un élément clé. »

Maintenant que les ingénieurs de Second Spectrum ne passent plus autant de temps à gérer les clusters Kubernetes, ils ont plus de temps pour explorer d'autres opportunités. À l'avenir, l'équipe prévoit de tirer parti des économies réalisées sur les charges de travail élastiques en migrant celles-ci vers AWS Fargate, un moteur de calcul sans serveur pour les conteneurs qui fonctionne avec Amazon EKS. De plus, la nouvelle configuration de routage est évolutive et reproductible, de sorte que l'entreprise peut mettre en place une configuration similaire en Europe.

Alors que Second Spectrum continue de faire progresser l'analyse sportive, l'entreprise s'attend à ce que les offres AWS jouent un rôle clé. « AWS est très ouverte aux demandes des clients. Nous demandons souvent de nouvelles fonctionnalités, et notre gestionnaire de compte technique a indiqué que d'autres clients avaient demandé quelque chose de similaire », détaille Kwok. « Nous essayons de rester au courant de toutes les nouvelles fonctionnalités proposées par AWS afin d'utiliser AWS autant que possible. » 

Second Spectrum a été fondée à Los Angeles en 2013. En tant que fournisseur de suivi officiel de la National Basketball Association, de la Major League Soccer et de la Premier League, Second Spectrum fournit une compréhension avancée des matchs qui permet d'obtenir rapidement des informations technologiques.

• A réduit les coûts d'hébergement Kubernetes de 90 %
• Prévoit de réduire le taux d'erreur de 75 %
• Prévoit d'économiser 3 mois en équivalent temps plein par an en ingénierie et en temps de formation pour les nouveaux employés
• A amélioré le temps de réponse de l'application de 5 ms par requête