Como a Emerald Cloud Lab está revolucionando o laboratório usando a AWS

Postagem do convidado Ben Smith, vice-presidente de engenharia e Kevin J. Hou, engenheiro de computação científica da Emerald Cloud Lab

A Emerald Cloud Lab (ECL) fornece acesso a um laboratório altamente automatizado, equipado com mais de 200 peças exclusivas de instrumentação científica, para qualquer cientista com um computador e conexão à Internet. Nosso laboratório úmido, com bancadas para laboratório de fotografia, produtos químicos perigosos, jalecos e óculos de segurança, conta com diversas capacidades experimentais com ênfase em biotecnologia e apoia uma variedade de empreendimentos, incluindo o desenvolvimento de medicamentos, produtos de consumo e pesquisa acadêmica.

Nossa plataforma permite que os cientistas projetem, executem, analisem e interpretem seus experimentos de laboratório úmido em qualquer lugar do mundo. Os cientistas simplesmente enviam suas amostras — desde tubos de ensaio e placas de cultura celular até produtos comerciais — para o ECL e criam protocolos experimentais por meio de uma interface de software. Esses experimentos são então executados exatamente conforme especificado nos fluxos de trabalho do ECL. Quando os experimentos estiverem concluídos, os cientistas podem analisar e interpretar seus dados na mesma interface de software e obter um registro bem estruturado, de fácil navegação e completo da execução e dos resultados experimentais. O ECL oferece uma infinidade de benefícios para cientistas de universidades, grandes empresas farmacêuticas e startups, como:

Despesas de capital reduzidas: a maior parte do custo da pesquisa biotecnológica normalmente está na criação e operação de um laboratório. Instrumentos individuais podem levar meses para serem comprados e instalados, e o custo total do equipamento necessário pode ser superior a USD 10 milhões. Além disso, custos contínuos estão associados ao pedido de materiais para consumo, à manutenção de instrumentos e à execução de qualificações. A Emerald Cloud Lab oferece um ano de acesso a um laboratório totalmente gerenciado com instrumentação de última geração por menos do que o custo inicial de um único instrumento. Isso reduz substancialmente o custo inicial para startups que desejam realizar pesquisas novas e inovadoras.

Eficiência: o progresso científico é frequentemente prejudicado pela grande complexidade do projeto experimental e das operações necessárias para executá-los. Atualmente, muitos cientistas passam 80% ou mais do tempo gerenciando a logística da ciência (solicitando materiais, configurando instrumentos, esperando que os instrumentos funcionem, etc.) em vez da própria ciência (formando hipóteses, projetando experimentos, analisando resultados etc.). O ECL permite que os cientistas se concentrem na ciência, deixando a logística para o ECL, com a confiança de que seus experimentos serão realizados exatamente conforme especificado.

Além disso, o Emerald Cloud Lab usa uma combinação de automação laboratorial e eficiência operacional baseada em tecnologia para fornecer throughput experimental, que seria inatingível em um laboratório tradicional. O laboratório em nuvem opera 24 horas por dia, 7 dias por semana e, aproveitando essas economias em grande escala, aprimora a produção científica e, ao mesmo tempo, preserva os baixos custos operacionais. Tudo isso se traduziu em um aumento de 5 a 8 vezes no número de experimentos que um cientista pode realizar usando o ECL em comparação com um laboratório tradicional.

Reprodutibilidade: a reprodução de resultados experimentais é um dos principais desafios da pesquisa científica. Os resultados não reproduzíveis geralmente são causados por instrumentação não confiável, protocolos sem documentação suficiente e dados perdidos ou incompletos. O Emerald Cloud Lab resolve esses problemas usando uma forte integração com a tecnologia. Por exemplo, usamos manipuladores robóticos de líquidos para a preparação química precisa, além de software integrado para garantir que medições detalhadas (por exemplo, temperatura, peso, volume) sejam registradas em cadernos digitais do laboratório para cada operação realizada no laboratório. Essa combinação de automação, monitoramento extenso e operações processuais garante que nenhum dado seja perdido e que todos os protocolos sejam bem documentados. Além disso, os protocolos experimentais são resumidos em nossa Symbolic Lab Language (SLL), garantindo que a repetição de um experimento com configurações idênticas seja tão simples quanto executar novamente algumas linhas de código.

Por que a AWS?

À medida que nosso laboratório de nuvem se expande para atender à crescente demanda, enfrentamos uma necessidade crescente de computação escalável e sob demanda. Isso foi impulsionado pela adição de instrumentos ao laboratório físico e por um aumento na pesquisa voltada para o cliente, onde trabalhos com computação intensa, como simulações e análise de imagens, foram integrados aos fluxos de trabalho experimentais. Os serviços da AWS sem servidor e totalmente gerenciados foram a solução perfeita para atender a essa necessidade crescente. A escalabilidade inerente e a estrutura de custos de pagamento por uso desses serviços oferecem vantagens importantes para nossos negócios em rápido crescimento e nos permitiram expandir sem problemas para atender às crescentes demandas computacionais.

Para atender às necessidades descritas acima, criamos o Manifold, uma arquitetura baseada em microsserviços que é executada no AWS Fargate, que usamos para fornecer computação assíncrona sob demanda para usuários internos e externos do Emerald Cloud Lab. O Manifold permite que os usuários executem código arbitrário em contêineres com acesso total às nossas APIs e banco de dados de laboratório, ou seja, com acesso total ao laboratório em nuvem e aos dados experimentais.

Desde a implantação completa em novembro de 2021, o Manifold possibilitou a automação total de scripts de laboratório de rotina, como verificações de inventário, qualificações de instrumentos e agendamento de experimentos. Embora anteriormente tivéssemos dificuldade em executar de forma confiável aproximadamente 1.000 scripts/semana com os recursos de computação que tínhamos no local, a AWS nos permitiu escalar perfeitamente para aproximadamente 5.000 scripts/semana na nuvem. Isso expandiu o escopo da automação no laboratório, permitindo que as tarefas rotineiras fossem executadas com mais frequência e com menos erros. É importante ressaltar que a migração da nossa infraestrutura de laboratório de rotina para a AWS também nos permitiu atingir 100% de tempo de atividade em nossos serviços de computação remota, permitindo que nossa arquitetura computacional permanecesse funcional durante eventos imprevisíveis, como quedas de energia e paralisações do laboratório.

Arquitetura Manifold

Em um alto nível, o Manifold consiste em uma API que permite aos usuários definir trabalhos de computação e componentes de back-end da AWS que programam e executam esses trabalhos. Nossos usuários interagem com o serviço por meio de aplicações de desktop e do navegador, nos quais fazem chamadas de API (na linguagem de laboratório simbólica) para carregar definições de tarefas em nosso banco de dados interno, o Constellation. Para conectar esses uploads de tarefas ao resto de nossos componentes, usamos o Amazon Kinesis para transmitir as mudanças do Constellation para o resto de nossa arquitetura sem servidor.

O Amazon DynamoDB é usado para armazenar o estado interno das funções do AWS Lambda.

Em seguida, usamos as funções do AWS Lambda como um método leve e escalável para processar o fluxo de alterações no banco de dados. Essas funções do Lambda, em conjunto com as tabelas do DynamoDB para armazenar o estado interno, são usadas para provisionar recursos e agendar tarefas. Em seguida, as funções lambda passam tarefas de computação para nosso serviço de computação, o Fargate, usando uma fila SQS. O Fargate é o pilar da arquitetura Manifold: a facilidade de implantar rapidamente contêineres com configurações e permissões variadas tem sido fundamental para atender às diversas necessidades computacionais de nossos clientes e desenvolvedores internos.

A arquitetura baseada em banco de dados descrita acima não só permite cálculos assíncronos sob demanda, mas também permite que trabalhos sejam executados em horários programados ou em resposta a outras alterações ao banco de dados. Internamente, usamos o serviço Manifold para executar trabalhos de rotina, como testes de unidades, verificações de sensores e scripts de manutenção. Essa mesma infraestrutura também é usada para fornecer aos clientes um serviço em que eles podem enviar análises de longa duração, como simulações e análises de vídeo para recursos gerenciados, com acesso total e integração com dados experimentais.

Desafios

A implantação do Manifold exigiu que superássemos vários desafios decorrentes da carga variável e da natureza diversa dos trabalhos enviados ao serviço. Felizmente, a AWS nos forneceu ferramentas cruciais para resolver esses problemas.

No laboratório em nuvem, os trabalhos geralmente são enviados em sequências. Por exemplo, após a conclusão de um longo protocolo experimental, um grande número de trabalhos pode ser enviado para processar os dados experimentais recém-gerados. O AWS Fargate nos permite facilmente reduzir ou aumentar a computação para atender a essas demandas flutuantes. De forma mais ampla, também aproveitamos as ferramentas de monitoramento e gerenciamento da AWS, como o AWS CloudTrail e o Amazon CloudWatch, para implementar a limitação de taxas, o que facilita o uso e nos permite definir os limites e a prioridade no envio de trabalhos por usuário.

Após as implantações dos teste iniciais, determinamos que criar um registro robusto no Manifold seria fundamental para seu sucesso. Para fornecer uma experiência ideal ao usuário, procuramos criar ferramentas para que os usuários monitorem e gerenciem seus trabalhos no Manifold. Para fazer isso, configuramos uma infraestrutura para carregar seletivamente as informações de registro, as atualizações de status e os possíveis erros do Fargate diretamente em nosso banco de dados Constellation. Isso nos permitiu fornecer aos usuários painéis selecionados mostrando o status do trabalho, o progresso, os limites de uso, bem como os códigos de erro e traços para depurar cálculos enviados pelo usuário.

Conclusão

A AWS nos permitiu criar o Manifold, um serviço unificado para computação remota que oferece suporte às operações do laboratório e fornece serviços computacionais para nossos clientes. A mudança para a computação em nuvem no Emerald Cloud Lab foi óbvia e inevitável. Em muitos aspectos, o ECL está revolucionando o laboratório tradicional da mesma forma como a AWS revolucionou a computação. A facilidade de uso, a confiabilidade e a escalabilidade inerente dos serviços da AWS têm sido um complemento natural ao nosso modelo de laboratório em nuvem, o que nos permite oferecer um serviço excepcional aos nossos clientes atuais. Além disso, o Manifold será um catalisador fundamental para o crescimento futuro, atendendo à crescente demanda de computação de clientes que conduzem pesquisas científicas inovadoras e apoiando nossas operações à medida que aumentamos o tamanho e o número de instalações de ECL.