La High Performance Computing Facility del Center for Health Informatics and Bioinformatics della New York University (NYU) è stata fondata nel 2009 per offrire funzioni di elaborazione all'avanguardia ai ricercatori che operano nel Langone Medical Center della NYU. La struttura permette ai ricercatori informatici e bioinformatici di medicina velocizzare scoperta e innovazione consentendo l'accesso a potenza di elaborazione, storage di dati, risorse di supercalcolo e condivisione dei dati con collaboratori in tutto il mondo.

Il dott. Stratos Efstathiadis, Technical Director della High Performance Computing Facility, descrive le attività principali della struttura: "La struttura acquisisce enormi volumi di dati da sequenziatori, microscopi, scanner, spettrometri di massa e altri strumenti di ricerca. Deve dimostrarsi in grado di memorizzare, curare, supportare e attivare l'analisi dei dati, e fornisce risorse che gli scienziati possono usare per eseguire simulazioni ed eseguire modelli.

Questi processi di analisi e simulazione spesso devono rimanere in esecuzione per giorni o settimane. Nonostante quindi la struttura sia una delle più grandi nel suo genere per un centro medico, talvolta sono necessarie risorse aggiuntive che consentano ai ricercatori di analizzare dati più rapidamente.

Ancora più problematico del tempo necessario per l'analisi dei dati è il tempo necessario per trasferirli. Così spiega Efstathiadis: "Il trasferimento dei dati rappresenta un collo di bottiglia; i nostri set di dati sono di grandi dimensioni e spesso richiede di più spostarli che generarli. I nostri collaboratori si trovano in tutto il mondo, se il trasferimento è troppo complesso non potremo utilizzare i dati".

Il cloud AWS, in unione con Globus Online, un servizio di trasferimento di file gratuito in hosting e basato su AWS, offre un metodo affidabile per trasferire grandi set di dati in Amazon EC2. La soluzione permette così di trasferire file in parallelo con una velocità massima di 50 MB al secondo. Efstathiadis osserva: "La velocità è paragonabile a quella che abbiamo internamente, non c'è alcun rallentamento!".

Il dott. Efstathiadis ha così deciso di utilizzare AWS per sfruttare i diversi tipi di istanze Amazon EC2 e perché i ricercatori del centro avevano già acquisito familiarità con il servizio. "Inoltre", aggiunge Efstathiadis, "poiché Globus Online semplifica il trasferimento di dati in Amazon EC2, è un modo interessante per spostare i dati in ambiente cloud, dove i ricercatori potranno accedervi e utilizzarli". Gli altri strumenti disponibili, ad esempio SCP, secondo Efstathiadis "richiedono troppo tempo o vengono bloccati dai firewall. Globus Online consente throughput elevati senza comprometterne l'intuitività".

La struttura impiega inoltre Amazon S3 per lo storage dei dati. Il dott. Efstathiadis spiega: "Globus Online semplifica il trasferimento di dati dallo storage locale in Amazon S3 tramite la distribuzione di un'immagine di server, l'installazione di un endpoint Globus Online endpoint e il seguente trasferimento dei dati.

Sfruttando il cloud, la struttura di HPC ha permesso di espandere la gamma di servizi che può offrire ai ricercatori della NYU, i quali possono ora accedere alle risorse di cui hanno bisogno, quando ne hanno bisogno. Il cloud ha semplificato inoltre la collaborazione; utilizzando Amazon S3 i ricercatori possono condividere i propri risultati e i set di dati con altri ricercatori di tutto il mondo.

La condivisione dei dati è il componente più importante. Efstathiadis dice: "I nostri ricercatori hanno molti collaboratori remoti; caricare i dati in Amazon S3 permette loro di accedere agli stessi dati. Con questa soluzione, quindi, i ricercatori della NYU velocizzano non solo le loro pipeline di analisi, ma anche quelle degli altri collaboratori".

La struttura di HPC del Center for Health Informatics and Bioinformatics della NYU cerca sempre nuovi modi per rendere più semplice e meno costa la ricerca. L'utilizzo del cloud permette di raggiungere una quantità di risorse scalabili irraggiungibile con una struttura locale.

Per ulteriori informazioni sulle ricerche di genomica nel cloud, visita la pagina Genomica nel cloud.

Per ulteriori informazioni su come AWS può rispondere alle esigenze di High Performance Computing, visita la pagina High Performance Computing.