23andMe innova la scoperta di farmaci e terapie con HPC su AWS

L'azienda di genomica e biotecnologia 23andMe fornisce test genetici direttamente ai clienti, offrendo loro preziose informazioni genetiche. 23andMe aveva bisogno di maggiore scalabilità e flessibilità nel suo sistema HPC (High Performance Computing), allo scopo di gestire in modo efficiente diversi petabyte di dati. L'azienda utilizzava una soluzione on-premise, ma nel 2016 ha iniziato a servirsi di Amazon Web Services (AWS) per archiviare i dati più importanti. Nel 2021, l'azienda ha effettuato la migrazione completa al cloud, un processo che ha richiesto solo 4 mesi. Da quando ha adottato i servizi HPC di AWS, tra cui Amazon Elastic Compute Cloud (Amazon EC2), in grado di fornire capacità di elaborazione sicura e ridimensionabile per praticamente qualsiasi carico di lavoro, e Batch AWS, che consente a sviluppatori, scienziati e ingegneri di eseguire in modo semplice ed efficiente centinaia di migliaia di processi di elaborazione in batch su AWS, 23andMe ha aumentato la sua scalabilità, la flessibilità e l'ottimizzazione dei costi.

23andMe ha utilizzato il Programma di accelerazione della migrazione AWS (AWS MAP), un programma di migrazione al cloud completo e collaudato che si basa sull'esperienza di AWS nella migrazione di migliaia di clienti aziendali al cloud. Utilizzando AWS MAP, 23andMe ha potuto eseguire una migrazione agevole in soli 4 mesi. "Ciò che AWS MAP ci offriva era la possibilità di effettuare un trasferimento rapido e massiccio", afferma de Leon. "Di solito questa operazione è molto costosa, ma AWS MAP ha risolto il problema". 23andMe ha migrato tutto dal suo data center al cloud su AWS. Un anno dopo la migrazione ad AWS, al termine del programma AWS MAP, 23andMe sta ottenendo prestazioni di prezzo uguali o migliori grazie alla diligenza con cui il team ha adottato i servizi AWS.

La gestione delle home directory basate su file degli scienziati ha rappresentato un'altra sfida. Per risolvere questo problema, 23andMe si è rivolta a Weka, un partner AWS. Il file system parallelo WekaIO è funzionale, economico e compatibile con Amazon S3. Ciò ha aiutato il team interno di 23andMe a implementare le modifiche senza interferire con l'esperienza del cliente. Una volta completata la migrazione, 23andMe ha iniziato a sfruttare i servizi AWS per HPC come le istanze Amazon EC2 C5, le quali offrono prestazioni elevate a costi contenuti e a un basso rapporto prezzo/elaborazione per l'esecuzione di carichi di lavoro avanzati ad alta intensità di calcolo. Ha scelto questo tipo di istanza Amazon EC2 poiché era la soluzione più vicina alle proprie risorse di elaborazione precedenti.

23andMe ha rapidamente scoperto i vantaggi di avere a disposizione una varietà di tipologie di istanze Amazon EC2. "Abbiamo a disposizione l'intero menu di offerte Amazon EC2 e un modo per raggiungere l'efficienza è trovare una soluzione ottimale per l'uso delle risorse", afferma Justin Graham, responsabile di un gruppo di ingegneria delle infrastrutture presso 23andMe. A partire dal 2022, l'azienda utilizza molti tipi di istanze in modo flessibile, tra cui le istanze Amazon EC2 X2i, la nuova generazione di istanze ottimizzate per la memoria in grado di offrire miglioramenti in termini di performance, rapporto prezzo/prestazioni e costi per carichi di lavoro ad uso intensivo di memoria. 23andMe utilizza anche Batch AWS per operare il corretto dimensionamento e l’abbinamento delle risorse al fine di determinare quali tipi di istanza utilizzare, cosa che contribuisce all'ottimizzazione del rapporto prezzo-prestazioni.

23andMe può scalare su richiesta per adeguare la capacità di calcolo ai carichi di lavoro effettivi e poi ridimensionarsi. "Per dare un'idea della portata, abbiamo eseguito un processo di elaborazione di picco con oltre 80.000 CPU virtuali che operavano contemporaneamente," afferma de Leon. Inoltre, l'utilizzo delle istanze Amazon EC2 ha eliminato il contenzioso sulle risorse tra i ricercatori di 23andMe. "Di recente, abbiamo terminato un carico di lavoro di 3 settimane con un anticipo del 33% rispetto alla tabella di marcia. Da quando siamo passati ad AWS, la nostra capacità di fornire risorse di calcolo ai nostri ricercatori non ha eguali", afferma Graham.

Pur godendo dei vantaggi derivanti dall'utilizzo dei servizi HPC su AWS, 23andMe non ha dovuto scendere a compromessi rispetto agli obiettivi di spesa iniziali. "Il nostro obiettivo era mantenere invariati i costi, ottenendo al contempo flessibilità, capacità e valore. Il risparmio riguarda principalmente quanto guadagniamo in rapporto a quanto spendiamo", afferma de Leon. 23andMe ha ottenuto un aumento dell'ottimizzazione dei costi utilizzando una varietà di servizi AWS, tra cui Amazon Relational Database Service (Amazon RDS), una raccolta di servizi gestiti che semplifica la configurazione, il funzionamento e la scalabilità dei database nel cloud, oltre ad Amazon EC2. 23andMe è interamente basato su AWS e mira a continuare a perseguire l'ottimizzazione del rapporto prezzo-prestazioni per i suoi carichi di lavoro.

23andMe ha potuto migrare il suo ambiente esistente praticamente senza modifiche e col tempo ha iniziato a incorporare ulteriori servizi AWS nella sua soluzione. L'azienda sta cercando altri modi per ottimizzare i costi utilizzando AWS, valutando servizi come il processore AWS Graviton, il quale offre eccellenti prestazioni in termini di prezzo per i carichi di lavoro cloud eseguiti in Amazon EC2. L'azienda sta trovando opportunità per ottimizzare i costi e al contempo mantenere le risorse necessarie per l'elaborazione on-demand. "Sono trascorsi circa 10 mesi dalla migrazione e l'obiettivo finale è accelerare il processo dall'idea alla convalida. I nostri ricercatori sono più veloci ed efficienti e la nostra speranza è di vedere una grande svolta nella ricerca", afferma de Leon.