Comment Emerald Cloud Lab révolutionne le laboratoire grâce à AWS

Article rédigé par notre invité Ben Smith, vice-président de l'ingénierie et Kevin J. Hou, ingénieur informatique scientifique, Emerald Cloud Lab

Emerald Cloud Lab (ECL) donne accès à un laboratoire hautement automatisé, équipé de plus de 200 instruments scientifiques uniques, à tout scientifique disposant d'un ordinateur et d'une connexion Internet. Notre laboratoire humide (avec des paillasses, des produits chimiques dangereux, des blouses et des lunettes de sécurité) a diverses capacités expérimentales, en mettant l'accent sur la biotechnologie, et soutient diverses entreprises, notamment les entreprises de développement de médicaments, de produits de consommation et de recherche universitaire.

Notre plateforme permet aux scientifiques de concevoir, d'exécuter, d'analyser et d'interpréter leurs expériences en laboratoire humide depuis n'importe où dans le monde. Les scientifiques expédient simplement leurs échantillons, qu'il s'agisse de tubes à essai, de plaques de culture cellulaire ou de produits commerciaux à l'ECL, et conçoivent des protocoles expérimentaux via une interface logicielle. Ces expériences sont ensuite exécutées exactement comme indiqué dans les flux de travail ECL. Une fois les expériences terminées, les scientifiques peuvent analyser et interpréter leurs données dans la même interface logicielle, et obtenir ainsi un enregistrement complet, bien structuré et facilement navigable de l'exécution et des résultats de l'expérience. L'ECL offre une myriade d'avantages aux scientifiques des universités, des grandes sociétés pharmaceutiques et des start-ups :

Réduction des dépenses d'investissement : la majeure partie du coût de la recherche en biotechnologie est généralement liée à la construction et à l'exploitation d'un laboratoire. L'achat et l'installation d'instruments individuels peuvent prendre des mois, et le coût total de l'équipement nécessaire peut atteindre plus de 10 millions de dollars. En outre, des coûts permanents sont associés à la commande de consommables, à la maintenance des instruments et à l'exécution des qualifications. L'Emerald Cloud Lab offre un an d'accès à un laboratoire entièrement géré doté d'une instrumentation de pointe pour un coût initial inférieur au coût initial d'un seul instrument. Cela réduit considérablement le coût d'entrée pour les start-ups qui souhaitent mener des recherches nouvelles et innovantes.

Efficacité : les progrès scientifiques sont souvent entravés par la complexité de la conception expérimentale et des opérations requises pour les exécuter. De nos jours, de nombreux scientifiques passent 80 % ou plus de leur temps à gérer la logistique de la science (commander des matériaux, installer des instruments, attendre que les instruments fonctionnent, etc.) plutôt que la science elle-même (formuler des hypothèses, concevoir des expériences, analyser les résultats, etc.). L'ECL permet aux scientifiques de se concentrer sur la science, en laissant la logistique à l'ECL, avec la certitude que leurs expériences seront réalisées exactement comme spécifié.

En outre, l'Emerald Cloud Lab associe automatisation du laboratoire et efficacité opérationnelle axée sur la technologie pour fournir un débit expérimental inaccessible dans un laboratoire traditionnel. Le laboratoire cloud fonctionne 24 heures sur 24, 7 jours sur 7. Il tire parti de ces économies d'échelle pour améliorer la production scientifique tout en préservant de faibles coûts d'exploitation. Tout cela s'est traduit par une augmentation de 5 à 8 fois du nombre d'expériences qu'un scientifique peut réaliser à l'aide de l'ECL par rapport à un laboratoire traditionnel.

Reproductibilité : la reproduction des résultats expérimentaux est l'un des principaux défis de la recherche scientifique. La non-reproductibilité de résultats est généralement due à une instrumentation peu fiable, à des protocoles insuffisamment documentés et à des données perdues ou incomplètes. L'Emerald Cloud Lab résout ces problèmes grâce à une intégration poussée avec la technologie. Par exemple, nous utilisons des manipulateurs de liquides robotisés pour une préparation chimique précise et un logiciel intégré pour garantir que les mesures détaillées (par exemple, température, poids, volume) sont enregistrées dans des carnets de laboratoire numériques pour chaque opération effectuée dans le laboratoire. Cette combinaison d'automatisation, de surveillance étendue et d'opérations procédurales garantit qu'aucune donnée n'est perdue et que tous les protocoles sont bien documentés. De plus, les protocoles expérimentaux sont résumés dans notre langage SLL (Symbolic Lab Language), ce qui permet de répéter une expérience avec des paramètres identiques en réexécutant simplement quelques lignes de code.

Pourquoi AWS ?

Alors que notre laboratoire cloud s'agrandit pour répondre à la demande croissante, nous sommes confrontés à un besoin croissant de calcul évolutif à la demande. Cela est dû à l'ajout d'instruments au laboratoire physique et à l'augmentation de la recherche axée sur le client, dans le cadre de laquelle des travaux à forte intensité de calcul tels que des simulations et des analyses d'images ont été intégrés aux flux de travail expérimentaux. Les services AWS entièrement gérés et sans serveur constituaient la solution idéale pour répondre à ce besoin croissant. L'évolutivité inhérente et la structure de coûts de paiement à l'utilisation de ces services offrent des avantages clés à notre activité en pleine croissance, et nous ont permis de nous développer en douceur pour répondre aux demandes informatiques croissantes.

Pour répondre aux besoins décrits ci-dessus, nous avons créé Manifold, une architecture basée sur des microservices qui s'exécute sur AWS Fargate, et que nous utilisons pour fournir un calcul asynchrone à la demande aux utilisateurs internes et externes de l'Emerald Cloud Lab. Manifold permet aux utilisateurs d'exécuter du code conteneurisé arbitraire avec un accès complet à nos API de laboratoire et à notre base de données, c'est-à-dire avec un accès complet au laboratoire cloud et aux données expérimentales.

Depuis son déploiement complet en novembre 2021, Manifold a permis l'automatisation complète des scripts de laboratoire de routine comme les vérifications d'inventaire, les qualifications des instruments et la planification des expériences. Alors qu'auparavant, nous avions du mal à exécuter de manière fiable environ 1 000 scripts par semaine avec les ressources de calcul dont nous disposions sur site, AWS nous a permis de passer facilement à environ 5 000 scripts/semaine dans le cloud. Cela a élargi la portée de l'automatisation en laboratoire, permettant aux tâches de routine d'être exécutées plus fréquemment avec moins d'erreurs. Il est important de noter que la migration de notre infrastructure de laboratoire de routine vers AWS nous a également permis d'atteindre une disponibilité de 100 % de nos services de calcul à distance, ce qui a permis à notre architecture informatique de rester fonctionnelle malgré des événements imprévisibles comme des pannes de courant et des fermetures de laboratoires.

Architecture Manifold

À un niveau élevé, Manifold se compose d'une API qui permet aux utilisateurs de définir des tâches de calcul et de composants AWS principaux qui planifient et exécutent ces tâches. Nos utilisateurs interagissent avec le service via des applications de bureau et de navigateur, à partir desquelles ils effectuent des appels d'API (dans le Symbolic Lab Language) pour télécharger des définitions de tâches dans notre base de données interne, Constellation. Pour relier ces chargements de tâches au reste de nos composants, nous avons utilisé Amazon Kinesis pour diffuser les modifications de Constellation vers le reste de notre architecture sans serveur.

Amazon DynamoDB est utilisé pour stocker l'état interne des fonctions AWS Lambda.

Ensuite, nous utilisons les fonctions AWS Lambda comme méthode légère et évolutive pour traiter le flux de modifications apportées à la base de données. Ces fonctions Lambda, associées aux tableaux DynamoDB pour le stockage de l'état interne, sont utilisées pour fournir des ressources et planifier des tâches. Les fonctions lambda transmettent ensuite les tâches de calcul à notre service de calcul, Fargate, à l'aide d'une file d'attente SQS. Fargate est la clé de voûte de l'architecture Manifold. La facilité de déploiement rapide de conteneurs avec des configurations et des autorisations variées s'est révélée essentielle pour répondre aux divers besoins informatiques de nos clients et de nos développeurs internes.

L'architecture basée sur les bases de données décrite ci-dessus permet non seulement des calculs asynchrones à la demande, mais aussi l'exécution de tâches à des heures planifiées ou en réponse à d'autres modifications apportées à la base de données. En interne, nous utilisons le service Manifold pour exécuter des tâches de routine comme les tests unitaires, les contrôles de capteurs et les scripts de maintenance. Cette même infrastructure est également utilisée pour fournir aux clients un service leur permettant de soumettre des analyses de longue durée comme des simulations et des analyses vidéo, à des ressources gérées, avec un accès complet et une intégration aux données expérimentales.

Défis

Le déploiement de Manifold nous a demandé de relever plusieurs défis liés à la charge variable et à la diversité des tâches soumises au service. Heureusement, AWS nous a fourni des outils essentiels pour résoudre ces problèmes.

Dans le laboratoire cloud, les tâches sont souvent soumises par rafales. Par exemple, après l'achèvement d'un long protocole expérimental, un grand nombre de tâches peuvent être soumises pour traiter les données expérimentales nouvellement générées. AWS Fargate nous permet d'augmenter et de réduire sans effort le calcul pour répondre à ces demandes fluctuantes. Plus généralement, nous avons également tiré parti des outils de surveillance et de gestion AWS comme AWS CloudTrail et Amazon CloudWatch, pour mettre en œuvre la limitation des taux, ce qui facilite l'utilisation et nous permet de fixer des limites et des priorités en matière de soumission de tâches par utilisateur.

À la suite de nos premiers déploiements de test, nous avons déterminé que la mise en place d'une journalisation robuste dans Manifold serait essentielle à son succès. Pour offrir une expérience utilisateur optimale, nous avons cherché à créer des outils permettant aux utilisateurs de surveiller et de gérer leurs tâches dans Manifold. Pour ce faire, nous avons mis en place une infrastructure permettant de télécharger de manière sélective les informations de journalisation, les mises à jour de statut et les erreurs potentielles de Fargate directement vers notre base de données Constellation. Cela nous a permis de fournir aux utilisateurs des tableaux de bord organisés indiquant l'état d'avancement des tâches, les limites d'utilisation, ainsi que des codes d'erreur et des traces pour le débogage des calculs soumis par les utilisateurs.

Conclusion

AWS nous a permis de créer Manifold, un service unifié pour le calcul à distance qui prend en charge les opérations de laboratoire et fournit des services informatiques à nos clients. La transition vers le cloud computing à Emerald Cloud Lab était évidente et inévitable. À bien des égards, ECL révolutionne le laboratoire traditionnel de la même manière qu'AWS a révolutionné l'informatique. La facilité d'utilisation, la fiabilité et l'évolutivité inhérente des services AWS ont naturellement complété notre modèle de laboratoire cloud, ce qui nous a permis de fournir un service exceptionnel à nos clients actuels. En outre, Manifold sera un catalyseur clé de la croissance future, nous permettant de répondre à la demande croissante de calcul de la part de clients menant des recherches scientifiques de pointe, et de soutenir nos activités à mesure que nous augmentons la taille et le nombre d'installations ECL.