ICRAR_Customer-Reference_Logo@2x

Caso di studio International Centre for Radio Astronomy Research (ICRAR)

2014

L'International Centre for Radio Astronomy Research (ICRAR) è nato nel 2009 da una joint venture tra la Curtin University e la University of Western Australia. L'ICRAR ha sede a Perth, Australia Occidentale, e conta tra le proprie file 110 dipendenti, nell'ambito di uno sforzo internazionale per sviluppare il più grande radiotelescopio al mondo, progetto noto con il nome di Square Kilometre Array (SKA). Nei cinquant'anni in cui è previsto il suo funzionamento, lo SKA ci aiuterà ad espandere le nostre conoscenze sull'universo.

avvia un tutorial su Python
kr_quotemark

"La scalabilità di AWS è stata di enorme aiuto. "Posso aumentare la capacità in base alle esigenze con il minimo sforzo. L'utilizzo di AWS ci consente di elaborare più di 150 GB di immagini del cielo e archiviare oltre 400 GB di dati di imaging al mese".

Kevin Vinsen
Professore di ricerca associato, ICRAR

La sfida

Quando sarà operativo, lo SKA raccoglierà ed elaborerà ogni giorno una quantità di dati provenienti dal cielo pari ai dati prodotti in tutto il mondo in un anno. Lo SKA impiegherà questi dati per creare mappe del cielo che gli scienziati potranno utilizzare per studiare l'universo. Una singola immagine proveniente dallo SKA potrà raggiungere i 600 TB, e ogni mappa del cielo dovrà essere creata utilizzando migliaia di immagini.

"Dobbiamo affrontare sfide di elaborazione incommensurabili" dice Kevin Vinsen, professore di ricerca associato presso l'ICRAR. "Quando sarà completamente operativo, nei prossimi dieci anni, in base alle esigenze di ricerca, lo SKA potrà raccogliere da 500 TB a 1 PB di immagini al giorno. La sola potenza di elaborazione grezza necessaria per farlo è inaudita".

Per accumulare risorse di calcolo sufficienti per eseguire una serie di esperimenti preliminari, l'ICRAR ha dato vita a un'iniziativa di elaborazione collettiva denominata theSkyNet. Grazie a questa iniziativa, l'ICRAR può impiegare i cicli di CPU inutilizzati degli utenti che si offrono come volontari, per simulare un supercomputer. Vinsen e i suoi colleghi utilizzano quindi la potenza di elaborazione generata da theSkyNet per analizzare immagini delle galassie provenienti dal telescopio Pan-STARRS1 situato alle Hawaii come parte del progetto di theSkyNet.

I progetti di elaborazione in crowdsourcing spesso devono affrontare problemi relativi a un'insufficiente capacità fisica del server in rapporto al volume di dati in entrata. All'ICRAR occorreva perciò sperimentare theSkyNet senza investimenti considerevoli e in modo flessibile e consentire a Vinsen e al suo team di ottenere risultati rapidi.

Perché Amazon Web Services

Date le caratteristiche di scalabilità e di dimensionamento di Amazon Web Services, AWS era la scelta più logica per gli esperimenti necessari per progettare lo SKA. AWS è infatti in grado di offrire le risorse che occorrono a ICRAR per analizzare gli enormi volumi di dati di imaging. Vinsen ha ottenuto un sovvenzionamento da AWS per l'istruzione per avviare theSkyNet nel 2012, e nell'ultimo anno il progetto è cresciuto fino a 40 teraFLOP. Un teraFLOP equivale a un milione di miliardi di operazioni a virgola mobile al secondo.

"Le soluzioni basate sul cloud e le funzioni di supercalcolo per noi sono complementari; ci aspettiamo che entrambe recitino un ruolo importante nei processi di elaborazione, storage e distribuzione del gigantesco volume di dati creati dalla nuova generazione di osservatori", spiega il professor Vinsen. "Vogliamo essere flessibili ed è così facile utilizzare AWS per i nostri esperimenti invece di un supercomputer dedicato".

ICRAR usa Amazon Route 53 per instradare tutti gli utenti esterni sul sito theSkyNet. Gli scienziati usano quindi un'istanza Medium di Amazon Elastic Compute Cloud (Amazon EC2), diverse Amazon Machine Images (AMI Amazon) on demand per elaborare i cicli di CPU di theSkyNet in crowdsourcing e un'altra istanza Small di Amazon EC2 come file server di rete.

Per memorizzare i dati di imaging, l'ICRAR monta due volumi Amazon Elastic Block Store (Amazon EBS) da 60 GB e archivia i dati in Amazon Glacier. Il team di ICRAR usa inoltre Amazon Simple Storage Service (Amazon S3) come store per mostrare ai volontari le galassie che stanno aiutando ad analizzare offrendo la loro potenza di elaborazione.

ICRAR-arch-diag

I vantaggi

L'ICRAR ha impostato il progetto theSkyNet in AWS impiegando solo quattro giorni. Il team può così espandere in modo rapido ed efficiente l'infrastruttura cloud in base al volume di pubblico che si offre volontario per offrire la propria CPU a supporto dell'iniziativa.

"La scalabilità di AWS è stata di enorme aiuto", afferma il professore associato Vinsen. "Posso aumentare la capacità in base alle esigenze con il minimo sforzo. L'utilizzo di AWS ci consente di elaborare più di 150 GB di immagini del cielo e archiviare oltre 400 GB di dati di imaging al mese".

Utilizzando Amazon S3 come store chiave-valore, l'ICRAR può indicizzare e gestire l'input di migliaia centinaia di migliaia di CPU pubbliche in tutto il mondo in modo ottimizzato. Amazon ELB aiuta ICRAR a gestire il flusso di dati da e verso la community di theSkyNet.

ICRAR impiega Amazon EBS per memorizzare fino a 400 GB di dati di imaging al mese, interamente elaborati dalla community. Amazon EC2 fornisce la capacità di elaborazione per analizzare i dati provenienti da 400/500 galassie simultaneamente.

Il progetto si è rivelato estremamente popolare e poco dopo la migrazione in AWS, le community attive in Russia, America e Australia hanno sovraccaricato il server theSkyNet di ICRAR. Tuttavia, il professor Vinsen ha impiegato solo due ore per risolvere la situazione aggiungendo la capacità necessaria. "Gli altri progetti di elaborazione collettiva hanno impiegato diversi giorni per recuperare dopo sovraccarichi di questo tipo, perché dovevano trovare ulteriori risorse infrastrutturali per attivare nuovi server", spiega. "Con AWS, è sufficiente effettuare il provisioning di un'istanza di maggiori dimensioni".

ICRAR progetta di utilizzare AWS per soddisfare i requisiti di elaborazione dei futuri esperimenti in theSkyNet.


Informazioni sull'International Centre for Radio Astronomy Research (ICRAR)

L'International Centre for Radio Astronomy Research (ICRAR) è nato nel 2009 da una joint venture tra la Curtin University e la University of Western Australia. 


Servizi AWS utilizzati

Amazon EC2

Amazon Elastic Compute Cloud (Amazon EC2) è un servizio Web che fornisce capacità di elaborazione sicura e scalabile nel cloud. È concepito per rendere più semplice il cloud computing su scala Web per gli sviluppatori.

Ulteriori informazioni »

Amazon S3

Amazon Simple Storage Service (Amazon S3) è un servizio di storage di oggetti che offre scalabilità, disponibilità dei dati, sicurezza e prestazioni all'avanguardia nel settore.

Ulteriori informazioni »

Amazon Route 53

Amazon Route 53 è un servizio Web di DNS (Domain Name System) altamente scalabile e disponibile.

Ulteriori informazioni »

Amazon Glacier

Amazon S3 Glacier e S3 Glacier Deep Archive costituiscono classi di storage nel cloud Amazon S3 sicure, durature ed estremamente economiche per l'archiviazione dei dati e il backup a lungo termine.

Ulteriori informazioni »

AMI Amazon

Un'AMI Amazon Linux è un'immagine Linux provvista di supporto e manutenzione fornita da Amazon Web Services per l'uso con Amazon Elastic Compute Cloud (Amazon EC2).

Ulteriori informazioni »

Amazon EBS

Amazon Elastic Block Store (EBS) è un servizio di storage a blocchi ad alte prestazioni e facile da usare progettato per l'utilizzo con Amazon Elastic Compute Cloud (EC2) sia per il throughput, che per i carichi di lavoro transazionali intensi su qualsiasi scala.

Ulteriori informazioni »


Nozioni di base

Aziende di tutte le taglie e di tutti i settori stanno trasformando ogni giorno la loro attività grazie ad AWS. Contatta i nostri esperti e comincia il tuo viaggio nel Cloud AWS oggi.