Étude de cas du centre médical de New York University Langone

Le site de calcul haute performance du centre pour l'informatique médicale et la bioinformatique de l'Université de New York (NYU) a été établi en 2009 dans le but de fournir des capacités de calcul de pointe aux chercheurs du centre médical de NYU Langone. Ce site permet aux chercheurs en informatique médicale et en bioinformatique d'accélérer les découvertes et les innovations en leur donnant l'accès à la puissance de calcul, au stockage des données, à des ressources de supercalcul et au partage des données avec des collaborateurs du monde entier.

Le Dr Stratos Efstathiadis, directeur technique du site de calcul haute performance (HPC), décrit les principales activités de ce site : « Notre site capture d'énormes quantités de données issues de séquenceurs, microscopes, scanners de diapositives, spectromètres de masse et autres instruments de recherche nouvelle génération. Il doit stocker, organiser, prendre en charge et activer l'analyse de ces données, et également fournir des ressources que les scientifiques peuvent utiliser pour exécuter des simulations et générer des modèles ».

L'exécution de ces tâches d'analyse et de simulation prend souvent plusieurs jours, voire plusieurs semaines. Ainsi, bien que le site soit l'un des plus importants de ce type pour un centre médical, il arrive que d'autres ressources de calcul soient nécessaires pour que les chercheurs puissent analyser les données plus rapidement.

Ce qui pose encore plus problème que le temps nécessaire pour analyser les données, c'est le temps nécessaire pour les transférer. D'après Efstathiadis, « Le transfert des données pose de grandes difficultés ; nos ensembles de données sont très volumineux, et il faut souvent plus de temps pour déplacer les données que pour les générer. Nos collaborateurs se trouvant partout dans le monde, si nous ne pouvons pas transférer ces données, ils ne peuvent pas les utiliser ».

Le cloud AWS, associé à Globus Online, un service de transfert de fichiers gratuit hébergé et à technologie AWS, offre un moyen fiable de transférer des ensembles de données volumineux vers Amazon EC2. Cette solution permet de transférer des fichiers en parallèle à des vitesses pouvant atteindre 50 mégaoctets par seconde. « Le débit de transfert est similaire à celui sur site ; il n'y a aucun ralentissement ! », remarque Efstathiadis.

Le Dr Efstathiadis a décidé d'utiliser AWS parce qu'il a choisi l'instance Amazon EC2 et que les chercheurs du centre maîtrisaient déjà ce service. « De plus, comme Globus Online facilite le transfert de données vers Amazon EC2, c'est un moyen intéressant de placer nos ensembles de données volumineux dans l'environnement de cloud dans lequel les chercheurs peuvent accéder à ces données et les utiliser », ajoute Efstathiadis. D'après Efstathiadis, les autres outils, comme SCP, « prennent trop de temps ou sont bloqués par des pare-feu institutionnels, limitant le type d'outils que nous pouvons utiliser. Globus Online permet une amélioration du débit sans compromettre l'ergonomie ».

Le site utilise également s Amazon S3 pour le stockage des données. « Globus Online facilite le déplacement des données depuis un emplacement de stockage local vers celui d'Amazon S3 en déployant une image serveur, en installant un point de terminaison Globus Online et en y transférant les données», explique le Dr Efstathiadis.

En ayant recours au cloud, le site de HPC a étendu l'ensemble de services qu'il peut proposer aux chercheurs de NYU, qui peuvent désormais accéder aux ressources dont ils ont besoin, lorsqu'ils en ont besoin. Le cloud aide également les chercheurs à collaborer. En utilisant Amazon S3, il partagent facilement leurs résultats et leurs ensembles de données avec des chercheurs du monde entier.

Le partage de données est un élément important. « Nos chercheurs collaborent avec de nombreuses personnes travaillant sur d'autres sites ; nous chargeons donc les données dans Amazon S3 pour que les scientifiques se trouvant sur ces sites puissent y accéder et les utiliser. Grâce à cette solution, les chercheurs de NYU accélèrent leurs propres pipelines d'analyse et aident également les autres chercheurs à en faire de même », indique Efstathiadis.

Le site HPC du centre médical de NYU pour l'informatique médicale et la bioinformatique cherche en permanence des moyens de faciliter les recherches et de les rendre moins onéreuses. Le recours au cloud aide le site à s'approcher de son objectif qui est de mettre à disposition des ressources de calcul évolutives dépassant les limites de ce qu'un simple site local pourrait offrir.