In che modo Emerald Cloud Lab sta rivoluzionando il laboratorio utilizzando AWS

Articolo ospite di Ben Smith, vice presidente progettazione, e Kevin J. Hou, ingegnere dell'elaborazione scientifica, Emerald Cloud Lab

Emerald Cloud Lab (ECL) fornisce l'accesso a un laboratorio altamente automatizzato, dotato di oltre 200 strumenti scientifici unici, a qualsiasi scienziato dotato di computer e connessione Internet. Il nostro wet lab (banchi da laboratorio per immagini, sostanze chimiche pericolose, camici da laboratorio e occhiali di sicurezza) ha diverse capacità sperimentali con particolare attenzione alle biotecnologie, e supporta una varietà di imprese, tra cui lo sviluppo di farmaci, i prodotti di consumo e la ricerca accademica.

La nostra piattaforma consente agli scienziati di progettare, eseguire, analizzare e interpretare i loro esperimenti in wet-lab da qualsiasi parte del mondo. Gli scienziati spediscono semplicemente i loro campioni, da provette e piastre per colture cellulari a prodotti commerciali, all'ECL e progettano protocolli sperimentali tramite un'interfaccia software. Questi esperimenti vengono quindi eseguiti esattamente come specificato nei flussi di lavoro ECL. Una volta completati gli esperimenti, gli scienziati possono analizzare e interpretare i propri dati nella stessa interfaccia software e ottenere una registrazione ben strutturata, facilmente navigabile e completa dell'esecuzione e dei risultati sperimentali. L'ECL offre una miriade di vantaggi per gli scienziati delle università, delle grandi aziende farmaceutiche e delle startup, come:

Spese in conto capitale ridotte — La maggior parte del costo della ricerca biotecnologica consiste in genere nella costruzione e nella gestione di un laboratorio. L'acquisto e l'installazione dei singoli strumenti possono richiedere mesi e il costo totale delle apparecchiature necessarie può superare i 10 milioni di dollari. Inoltre, ci sono costi continui associati all'ordinazione dei materiali di consumo, alla manutenzione degli strumenti e all'esecuzione delle qualifiche. L'Emerald Cloud Lab offre un anno di accesso a un laboratorio completamente gestito con strumentazione all'avanguardia a un costo inferiore al costo iniziale di un singolo strumento. Ciò riduce notevolmente il costo di ingresso per le startup che desiderano condurre ricerche nuove e innovative.

Efficienza: il progresso scientifico è spesso ostacolato dalla pura complessità della progettazione sperimentale e delle operazioni necessarie per eseguirla. Molti scienziati oggi dedicano l'80% o più del loro tempo a gestire la logistica della scienza (ordinare materiali, impostare gli strumenti, aspettare che gli strumenti funzionino, ecc.) anziché la scienza stessa (formulare ipotesi, progettare esperimenti, analizzare i risultati, ecc.). L'ECL consente agli scienziati di concentrarsi sulla scienza, lasciando la logistica all'ECL, con la certezza che i loro esperimenti verranno eseguiti esattamente come specificato.

Inoltre, l'Emerald Cloud Lab utilizza una combinazione di automazione di laboratorio e di efficienza operativa basata sulla tecnologia per fornire una velocità di trasmissione effettiva sperimentale irraggiungibile in un laboratorio tradizionale. Il cloud lab opera 24 ore su 24, 7 giorni su 7 e, sfruttando queste economie di scala, migliora la produzione scientifica preservando al contempo bassi costi operativi. Tutto ciò si è tradotto in un aumento di 5-8 volte il numero di esperimenti che uno scienziato può eseguire utilizzando l'ECL rispetto a un laboratorio tradizionale.

Riproducibilità: la riproduzione dei risultati sperimentali è una delle sfide tipiche della ricerca scientifica. I risultati non riproducibili sono in genere causati da strumentazione inaffidabile, protocolli non sufficientemente documentati e dati persi o incompleti. L'Emerald Cloud Lab risolve questi problemi utilizzando una forte integrazione con la tecnologia. Ad esempio, utilizziamo dei manipolatori robotici di liquidi per una preparazione chimica precisa e software integrato per garantire che le misurazioni dettagliate (ad esempio temperatura, peso, volume) vengano registrate su quaderni di laboratorio digitali per ogni operazione eseguita in laboratorio. Questa combinazione di automazione, monitoraggio esteso e operazioni procedurali garantisce che non vengano persi dati e che tutti i protocolli siano ben documentati. Inoltre, i protocolli sperimentali sono astratti nel nostro Symbolic Lab Language (SLL), assicurando che la ripetizione di un esperimento con impostazioni identiche sia semplice quanto la riesecuzione di alcune righe di codice.

Perché AWS?

Man mano che il nostro laboratorio cloud si espande per soddisfare la crescente domanda, abbiamo dovuto far fronte a una crescente necessità di elaborazione scalabile e on-demand. Ciò è stato determinato dall'aggiunta di strumenti al laboratorio fisico e da un aumento della ricerca orientata al cliente, in cui lavori ad alta intensità di calcolo come simulazioni e analisi delle immagini sono stati integrati nei flussi di lavoro sperimentali. I servizi AWS serverless e completamente gestiti erano la soluzione perfetta per rispondere a questa crescente esigenza. La scalabilità intrinseca e la struttura dei costi pay-per-use di questi servizi offrono vantaggi chiave per la nostra azienda in rapida crescita e ci hanno consentito di espanderci senza problemi per soddisfare le crescenti esigenze di calcolo.

Per soddisfare le esigenze sopra descritte, abbiamo creato Manifold, un'architettura basata su microservizi eseguita su AWS Fargate, che utilizziamo per fornire un'elaborazione asincrona on-demand per utenti interni ed esterni di Emerald Cloud Lab. Manifold consente agli utenti di eseguire un codice arbitrario e containerizzato con accesso completo alle API e al database del nostro laboratorio, ovvero con pieno accesso al laboratorio cloud e ai dati sperimentali.

Dalla sua completa implementazione nel novembre 2021, Manifold ha permesso la completa automazione degli script di laboratorio di routine, come i controlli dell'inventario, le qualifiche degli strumenti e la programmazione degli esperimenti. Mentre prima avevamo difficoltà a eseguire in modo affidabile ~1.000 script a settimana con le risorse di calcolo che avevamo in sede, AWS ci ha permesso di passare senza problemi a circa 5.000 script a settimana nel cloud. Questo ha ampliato la portata dell'automazione in laboratorio, consentendo di eseguire le attività di routine più frequentemente e con meno errori. E soprattutto, la migrazione dell'infrastruttura di routine del laboratorio su AWS ci ha permesso di ottenere il 100% di uptime sui nostri servizi di calcolo remoti, consentendo alla nostra architettura di calcolo di rimanere funzionale anche in caso di eventi imprevedibili come interruzioni di corrente e arresti del laboratorio.

Architettura multiforme

Ad alto livello, Manifold è costituito da un'API che consente agli utenti di definire lavori di calcolo e componenti AWS di backend che pianificano ed eseguono questi lavori. I nostri utenti interagiscono con il servizio tramite app desktop e browser, dalle quali effettuano chiamate API (nel Symbolic Lab Language) per caricare le definizioni dei lavori nel nostro database interno, Constellation. Per collegare questi caricamenti di lavoro al resto dei nostri componenti, abbiamo utilizzato Amazon Kinesis per trasmettere le modifiche da Constellation al resto della nostra architettura serverless.

Amazon DynamoDB viene utilizzato per memorizzare lo stato interno delle funzioni AWS Lambda.

Successivamente, utilizziamo le funzioni AWS Lambda come metodo leggero e scalabile per elaborare il flusso di modifiche al database. Queste funzioni lambda, insieme alle tabelle DynamoDB per l'archiviazione dello stato interno, vengono utilizzate per fornire risorse e pianificare i lavori. Le funzioni lambda passano quindi i lavori di elaborazione al nostro servizio di elaborazione, Fargate, utilizzando una coda SQS. Fargate è la chiave di volta dell'architettura Manifold: la facilità di implementazione rapida di container con configurazioni e autorizzazioni diverse è stata fondamentale per soddisfare le diverse esigenze computazionali sia dei nostri clienti che degli sviluppatori interni.

L'architettura basata sul database descritta sopra non solo consente calcoli asincroni on demand, ma consente anche l'esecuzione dei lavori in orari pianificati o in risposta ad altre modifiche nel database. Internamente, utilizziamo il servizio Manifold per eseguire lavori di routine come test unitari, controlli dei sensori e script di manutenzione. Questa stessa infrastruttura viene utilizzata anche per fornire ai clienti un servizio in cui possono inviare analisi di lunga durata come simulazioni e analisi video a risorse gestite, con accesso e integrazione completi con i dati sperimentali.

Sfide

L'implementazione di Manifold ci ha richiesto di superare diverse sfide derivanti dal carico variabile e dalla diversa natura dei lavori sottoposti al servizio. Fortunatamente, AWS ci ha fornito degli strumenti fondamentali per risolvere questi problemi.

Nel cloud lab, i lavori vengono spesso inviati a raffica: ad esempio, dopo il completamento di un lungo protocollo sperimentale, è possibile inviare un gran numero di lavori per elaborare i dati sperimentali appena generati. AWS Fargate ci consente di dimensionare facilmente l'elaborazione verso l'alto e verso il basso per soddisfare queste esigenze fluttuanti. Più in generale, abbiamo anche sfruttato gli strumenti di monitoraggio e gestione di AWS, come AWS CloudTrail e Amazon CloudWatch, per implementare la limitazione della velocità, che semplifica l'utilizzo e ci consente di impostare limiti e priorità nell'invio dei lavori in base all'utente.

Dopo le nostre prime implementazioni di test, abbiamo stabilito che la creazione di un solido logging in Manifold sarebbe stato fondamentale per il suo successo. Per fornire un'esperienza utente ottimale, abbiamo cercato di creare degli strumenti che consentissero agli utenti di monitorare e gestire i loro lavori Manifold. A tale scopo, abbiamo creato un'infrastruttura per caricare selettivamente le informazioni di logging, gli aggiornamenti di stato e i potenziali errori da Fargate direttamente nel nostro database Constellation. Questo ci ha permesso di fornire agli utenti delle dashboard curate che mostrano lo stato del lavoro, l'avanzamento, i limiti di utilizzo, nonché codici e tracce di errore per il debug dei calcoli inviati dagli utenti.

Conclusioni

AWS ci ha permesso di creare Manifold, un servizio unificato per il calcolo remoto che supporta le operazioni di laboratorio e fornisce servizi di calcolo per i nostri clienti. Il passaggio al cloud computing presso l'Emerald Cloud Lab è stato ovvio e inevitabile: l'ECL sta rivoluzionando in molti modi il laboratorio tradizionale in modo analogo a come AWS ha rivoluzionato l'informatica. La facilità d'uso, l'affidabilità e la scalabilità intrinseca dei servizi AWS sono state un complemento naturale al nostro modello di laboratorio cloud, consentendoci di fornire un servizio eccezionale ai nostri attuali clienti. Inoltre, Manifold sarà un catalizzatore chiave per la crescita futura, consentendoci di soddisfare la crescente domanda di elaborazione da parte dei clienti che conducono ricerche scientifiche innovative e di supportare le nostre operazioni mentre aumentiamo le dimensioni e il numero di strutture ECL.