23andMe innove en matière de découverte de médicaments et de thérapies grâce au HPC sur AWS

La société de génomique et de biotechnologie 23andMe fournit des tests génétiques directement à la clientèle, lui fournissant ainsi des informations précieuses sur sa génétique. 23andMe avait besoin de plus de capacité de mise à l'échelle et de flexibilité dans son calcul de haute performance (HPC) afin de gérer efficacement plusieurs pétaoctets de données. L'entreprise utilisait une solution sur site, mais a commencé à utiliser Amazon Web Services (AWS) en 2016 pour stocker des données importantes. En 2021, l'entreprise a effectué une migration complète vers le cloud, un processus qui n'a pris que 4 mois. Depuis l'adoption des services HPC d'AWS, notamment Amazon Elastic Compute Cloud (Amazon EC2), qui fournit une capacité de calcul sécurisée et redimensionnable pour pratiquement toutes les charges de travail, et AWS Batch, qui permet aux développeurs, aux scientifiques et aux ingénieurs d'exécuter facilement et efficacement des centaines de milliers de tâches de traitement par lots sur AWS, 23andMe a amélioré sa capacité de mise à l'échelle, sa flexibilité et son optimisation des coûts.

23andMe a utilisé le programme d'accélération des migrations (AWS MAP), un programme de migration vers le cloud complet et éprouvé, basé sur l'expérience acquise par AWS au fil de la migration de milliers d'entreprises clientes vers le cloud. Grâce à AWS MAP, 23andMe a pu réaliser une migration fluide en seulement 4 mois. « Ce qu'AWS MAP nous a offert, c'est la possibilité de réaliser un changement rapide et massif », explique Arnold de Leon. « En général, cela coûte très cher, mais AWS MAP a résolu ce problème. » 23andMe a tout migré depuis son centre de données vers le cloud sur AWS. Un an après la migration vers AWS, alors que le programme AWS MAP prend fin pour 23andMe, l'entreprise obtient des performances de prix égales ou supérieures grâce à la diligence dont l'équipe a fait preuve pour adopter les services AWS.

La gestion des répertoires personnels de fichiers des scientifiques présentait un autre défi. Pour résoudre ce problème, 23andMe s'est tourné vers Weka, un partenaire AWS. Le système de fichiers parallèle WekaIO est fonctionnel, économique et compatible avec Amazon S3. Cela a permis à l'équipe interne de 23andMe de mettre en œuvre des modifications sans perturber l'expérience de la clientèle. Une fois la migration terminée, 23andMe a commencé à tirer parti des services AWS pour le HPC, tels que les instances Amazon EC2 C5, qui offrent des performances élevées et rentables à un faible rapport prix/calcul pour exécuter des charges de travail avancées à forte intensité de calcul. L'entreprise a choisi ce type d'instance Amazon EC2 parce qu'il s'agissait de l'instance la plus proche de ses ressources informatiques précédentes.

23andMe a rapidement découvert les avantages de disposer de différents types d'instances Amazon EC2 pour son utilisation. « Nous disposons de l'ensemble des offres Amazon EC2, et l'un des moyens de gagner en efficacité consiste à trouver la solution optimale pour l'utilisation des ressources », explique Justin Graham, responsable d'un groupe d'ingénierie d'infrastructure chez 23andMe. Depuis 2022, l'entreprise utilise de nombreux types d'instances de manière flexible, notamment les instances Amazon EC2 X2i, la nouvelle génération d'instances optimisées pour la mémoire qui améliore les performances, le prix, les performances et les coûts des charges de travail gourmandes en mémoire. 23andMe utilise également AWS Batch pour ajuster le dimensionnement et l'appariement des ressources afin de déterminer les types d'instances à utiliser, ce qui contribue à l'optimisation du rapport prix/performances.

23andMe peut mettre à l'échelle à la demande pour adapter la capacité de calcul aux charges de travail réelles, puis la réduire. « Pour donner une idée de l'échelle, nous avons dû exécuter une tâche de calcul maximale avec plus de 80 000 CPU virtuels fonctionnant simultanément », explique Arnold de Leon. En outre, l'utilisation d'instances Amazon EC2 a permis de supprimer les conflits de ressources pour les chercheurs de 23andMe. « Récemment, nous avons terminé notre charge de travail de production de 3 semaines 33 % plus tôt que prévu. Depuis la migration vers AWS, notre capacité à fournir des ressources informatiques à nos équipes de recherche est désormais inégalée », déclare Justin.

Tout en profitant des avantages liés à l'utilisation des services HPC sur AWS, 23andMe n'a pas eu à faire de compromis sur ses objectifs de dépenses initiaux. « Notre objectif était de maintenir nos coûts au même niveau tout en gagnant en flexibilité, en capacité et en valeur. Les économies concernent moins le chiffre d'affaires que l'augmentation de notre retour sur investissement », explique Arnold de Leon. 23andMe a amélioré l'optimisation des coûts en utilisant divers services AWS, notamment Amazon Relational Database Service (Amazon RDS), un ensemble de services gérés qui simplifient la configuration, l'exploitation et la mise à l'échelle des bases de données dans le cloud, ainsi qu'Amazon EC2. 23andMe a entièrement migré sur AWS et vise à continuer d'optimiser le rapport prix-performances de ses charges de travail.

23andMe a pu migrer son environnement existant pratiquement sans aucune modification et, au fil du temps, a commencé à intégrer davantage de services AWS à sa solution. L'entreprise cherche d'autres moyens d'optimiser ses coûts à l'aide d'AWS, en explorant des services tels que le processeur AWS Graviton, qui offre un excellent rapport qualité-prix pour les charges de travail cloud exécutées sur Amazon EC2. L'entreprise trouve des opportunités pour optimiser les coûts tout en retenant les ressources dont elle a besoin pour l'informatique à la demande. « La migration s'est terminée il y a environ 10 mois et l'objectif final est d'accélérer le processus entre l'idée et sa validation. Nos équipes de recherche sont plus rapides et plus efficaces, et nous espérons réaliser une avancée majeure dans le domaine de la recherche », déclare Arnold de Leon.