Le département informatique de l'université d'Etat de San Francisco compte environ 400 étudiants en licence et 100 étudiants en master et doctorat et s'implique aussi bien dans l'enseignement que dans la recherche. Le département travaille actuellement sur un projet d'apprentissage automatique appelé FEATURE, en collaboration avec le groupe de recherche Helix de l'université de Stanford, et reçoit le soutien du National Institute of Health (institut national de la santé) (subvention LM05652 du NIH).

FEATURE utilise l'apprentissage automatique pour prédire les sites fonctionnels dans les protéines ou dans d'autres structures moléculaires en trois dimensions (3D). Comme l'explique le professeur Dragutin Petkovic : « Une optimisation massivement parallèle de l'apprentissage automatique implique l'exécution d'algorithmes de machine à vecteurs de support (SVM) sur des milliers d'ensembles de formation, qui sont eux-mêmes composés de centaines de milliers de vecteurs. Les paramètres de SVM optimaux sont découverts en réalisant des recherches sur le réseau mises en parallèle par force brute, avec une validation croisée de k échantillons. Cette optimisation implique la répétition d'opérations semblables plusieurs fois et de manière autonome. » L'illustration 1 ci-dessous représente le projet FEATURE.

Détails du projet de l'étude de cas AWS de l'université d'Etat de SF

Illustration 1 : détails du projet FEATURE

Comme d'autres projets scientifiques innovants, FEATURE nécessite beaucoup de calculs haute performance, et les chercheurs du projet ont découvert que la demande en calcul pour explorer des aspects précis de molécules biologiques allait bientôt dépasser les capacités des installations de l'université. Les ressources de calcul sont partagées à l'université d'Etat de San Francisco et cette demande importante signifiait que les chercheurs devaient adapter la taille et la portée de leurs questions, sous peine de subir d'importants délais en raison de la disponibilité des ressources. De plus, ces contraintes ont mené à de longues attentes pour les résultats et posé une limite arbitraire aux expérimentations que les scientifiques pouvaient effectuer.

Les scientifiques n'avaient besoin de ressources de calcul que périodiquement, et il n'était pas rentable d'acheter des ressources à grande échelle puis de les entretenir pour une utilisation irrégulière. Alors que l'équipe de recherche évaluait les options dont elle disposait, elle s'est aperçue que l'accès à la demande aux ressources de calcul proposé par Amazon Web Services (AWS) correspondait à leurs attentes. « Le modèle de paiement progressif d'Amazon Elastic Compute Cloud (Amazon EC2) était l'option la plus appropriée par rapport à l'acquisition d'un grand serveur en interne », explique le professeur Petkovic.

L'équipe de recherche a conçu FEATURE en utilisant les langages C, C++, Perl et Python, ainsi que d'autres outils. Elle a déployé le cluster sur Amazon EC2 avec MIT StarCluster, un outil de mise en service automatisé conçu pour les calculs haute performance scientifiques et techniques. La Protein Databank et les bases de données des structures des protéines ont été chargées sur des volumes Amazon Elastic Block Store (Amazon EBS) pour en faciliter la gestion et la réutilisation. Elles sont accessibles en utilisant une image machine Amazon Linux personnalisée (AMI Amazon Linux). L'illustration 2 représente l'architecture du projet FEATURE.

Diagramme de l'architecture AWS de l'université d'Etat de San Francisco

Illustration 2 : architecture du projet FEATURE

Afin d'évaluer les performances du projet FEATURE sur AWS, l'équipe a utilisé le profilage logiciel et un comparatif I/O pour mesurer les métriques de performance. « L'équipe disposait d'un petit cluster de 40 nœuds en interne, ajoute le professeur Petkovic. Nous l'avons comparé au cloud et nous avons conclu qu'Amazon EC2 était bien plus performant en termes de cycles CPU par coût ainsi que pour sa capacité à évoluer sur demande. Les expérimentations qui demandaient autrefois des semaines sont aujourd'hui réalisées en une seule nuit. Cela signifie que nos scientifiques sont toujours actifs et ne perdent plus de temps à attendre des résultats. AWS a grandement réduit nos délais pour les demandes scientifiques. »

Le professeur Petkovic estime que les coûts de calcul ont été divisés par vingt. « Nous estimons qu'un petit cluster de 40 nœuds exécuté en interne coûte 1,71 USD par unité informatique et par heure. En comparaison, Amazon EC2 nous coûte seulement 0,08 USD par unité informatique Elastic (ECU) équivalente et par heure », affirme-t-il. De plus, le professeur Petkovic et son équipe sont capables d'utiliser des alertes de facturation et les autres outils d'optimisation des coûts proposés par AWS pour planifier et gérer les coûts d'utilisation du service.

« AWS offre un accès sur demande à des ressources haute performance, ce qui nous permet de nous concentrer sur la science plutôt que sur la maintenance fastidieuse d'une infrastructure de serveur. AWS nous aide à dépasser les limites de taille et de portée de nos expérimentations d'apprentissage automatique », conclut le professeur Petkovic.

Pour en savoir plus sur la génomique dans le cloud, consultez la page dédiée à AWS pour la génomique.

Pour en savoir plus sur la façon dont AWS peut vous aider avec vos besoins en calculs haute performance, consultez la page dédiée aux HPC.