Big Data : comment Bedrock, fondé par le Groupe M6 et RTL Group, a décuplé ses capacités pour offrir une meilleure expérience client à ses 45 millions d’utilisateurs avec AWS Graviton

Champion français du streaming vidéo à la demande, Bedrock conçoit des plateformes de pointe pour les médias leaders nationaux en Europe. Avec près de 45 millions d’utilisateurs et un besoin d’agilité de plus en plus grand, Bedrock fait confiance aux services AWS pour traiter des volumes de données de plus en plus importants ; le tout, avec une réduction globale des coûts de 40%. Zoom sur une migration cloud réussie avec Quentin Nambot, Data Engineer chez Bedrock.

De M6 Replay à Bedrock Streaming : une expertise en streaming vidéo de plus de 12 ans

Fondé en 2019 par le Groupe M6 et RTL Group (Bertelsmann), sur le socle des activités de technologies digitales du Groupe M6, Bedrock est un acteur des plateformes de streaming vidéo dont l’expertise commence avec M6 Replay en 2008.

Présent à l’international depuis 2017, – avec RTL Play en Belgique, RTL Most en Hongrie et RTL Play en Croatie – Bedrock conçoit et administre des services de streaming end-to-end partout en Europe.

Plus récemment, Bedrock a étendu son portefeuille à Salto, 1er service de SVOD multi-chaînes en France; et à Videoland, référence nationale du streaming vidéo aux Pays-Bas. Après une année de croissance exceptionnelle en 2020, les équipes de Bedrock comptent désormais plus de 400 collaborateurs.

Le challenge du Big Data pour une plateforme aux 45 millions d’utilisateurs

En tant que Data Engineer, le travail de Quentin chez Bedrock consiste à récolter toutes les données provenant des plateformes – type de vidéos regardées, parcours utilisateur sur le site, publicités vues – avant de déterminer les profils des utilisateurs pour faire de la recommandation de contenu, offrir une interface personnalisée et de la publicité ciblée.

Pour un expert des plateformes de streaming, le paramètre le plus difficile à gérer était avant tout l’irrégularité des pics de charge : « Historiquement, tous les serveurs de M6 étaient dans leurs locaux (on-premise). Mais c’était un problème car il fallait avoir beaucoup de machines pour pouvoir s’adapter aux grands pics de charge, comme les matchs de football de l’Euro par exemple. On a fait le choix d’AWS pour être capables d’être scalable et ne pas utiliser des machines dans le vide. »

Du cluster fixe à Amazon EMR : la puissance et la flexibilité du Cloud

Face au manque de flexibilité des solutions On-premise, Bedrock a décidé d’entamer sa migration vers le Cloud fin 2019. Depuis, d’après Quentin, il n’y plus de compromis à faire entre les utilisateurs et les traitements internes : « Avant, il y a plus de 3 ans, nous avions des moments où nos traitements techniques pouvaient prendre de nombreuses ressources de la plateforme et impacter les ressources disponibles pour les clients et d’autres moments où les utilisateurs pouvaient prendre toutes les ressources et empêcher nos traitements de tourner.»

Grâce à Amazon EMR, Bedrock est en mesure d’effectuer tous les calculs qui agrègent beaucoup de données ; notamment la consommation vidéo, qui représente d’après Quentin près de 30 millions de lignes par jour et, sur un an, plusieurs téraoctets.

Avec Amazon EMR, Quentin et les équipes de Bedrock programment leurs calculs « de façon empirique » : grâce au Cloud, les instances peuvent être séparées et un cluster de machines peut être lancé pour répondre à un traitement spécifique. Les utilisateurs, eux, bénéficient d’un cluster à part ; une vraie évolution par rapport à l’ancien cluster fixe. Largement adopté, le Cloud AWS s’est rapidement imposé grâce à ses performances flexibles et scalables.

Amazon EMR sur Graviton : des gains en performance et des coûts réduits de 40%

Suite à une communication sur AWS Graviton début Décembre 2020, Quentin décide de tester le processeur AWS avec EMR sur un cluster de test bien maîtrisé, pour identifier les avantages. Le transfert très simple est immédiat, il suffit juste de changer les machines Amazon EC2 du cluster tout en gardant la même configuration en termes de CPU et de mémoire … et les résultats ne se font pas attendre.

Après une première phase d’observation de 2 semaines sur un cluster test bien maîtrisé, Quentin observe une économie de temps de 30% en calcul. De plus, des clusters qui coûtaient en moyenne 4,8 dollars par jour descendent alors à 2,9 dollars : « Grâce à Graviton, j’ai observé un énorme gain de temps et de coûts ; on est passé d’un traitement de 40 minutes à un traitement de 27 minutes en comptant le temps de chauffe du cluster. En termes de calcul pur, on est passé de 30 minutes à 17 minutes… sur des machines qui coûtent moins chères à l’heure. »

Après renouvellement des tests, la tendance se confirme également pour les réductions des coûts : d’une fourchette entre 35 et 40 dollars par jour et par cluster avant la migration, la moyenne descend entre 20 et 25 dollars. Un gain au cluster qui, reporté à l’échelle du nombre de clusters utilisés et dans une vision de long terme, fait la différence. Aujourd’hui, Graviton est utilisé par défaut avec Amazon EMR et, de fait, sur environ 80% des projets. Profitant d’un déploiement facilité, Quentin a rapidement adopté les instances Graviton sur les différents projets et communiqué ses résultats aux autres équipes Data, qui l’ont adopté à leur tour.

Une diversité de technologies exclusives qui s’adaptent aux besoins de chacun

Quentin l’avoue : entre les 4 équipes Data de Bedrock, il serait bien embarrassé de devoir citer tous les services AWS utilisés par lui et ses collègues. Agile dans son travail, il apprécie une culture d’échange qui lui permet de tester de nouvelles possibilités et d’en parler autour de soi, quand les choses marchent : « chez Bedrock, on est totalement libres sur les technologies qu’on utilise. » confie-t-il.

Les équipes Data se reposent notamment sur Amazon S3 pour la partie stockage, Amazon Athena pour l’analyse des données sur S3 – ou potentiellement des calculs – AWS Fargate pour des traitements peu puissants mais longs, AWS Lambda pour des calculs rapides, Amazon Elastic Kubernetes Service (EKS) pour héberger Airflow, Amazon Personalize pour la recommandation, ou encore Amazon Cloudwatch pour la gestion des logs et des métriques…

Un choix pléthorique qui s’accompagne d’une compatibilité avec les mises à jour les plus récentes des logiciels utilisés par les équipes, comme Terraform ou Spark ; un point particulièrement apprécié par Quentin, qui peut compter sur AWS pour rester à la page : « Depuis la migration, nous sommes beaucoup plus à jour sur les technologies qu’avant. Grâce à AWS, nous profitons des dernières versions des outils que nous utilisons tous les jours pour traiter les données, comme Spark. »