23andMe inova na descoberta de medicamentos e terapias com a HPC na AWS

A empresa de genômica e biotecnologia 23andMe fornece testes genéticos diretos aos clientes, oferecendo a eles informações valiosas sobre sua genética. A 23andMe precisava de mais escalabilidade e flexibilidade em sua computação de alta performance (HPC) para gerenciar vários petabytes de dados com eficiência. A empresa estava usando uma solução on-premises, mas começou a usar a Amazon Web Services (AWS) em 2016 para armazenar dados importantes. Em 2021, a empresa fez uma migração completa para a nuvem, um processo que levou apenas quatro meses. A 23andMe tem aumentado seus níveis de escalabilidade, flexibilidade e otimização de custos desde a adoção dos serviços de HPC da AWS, incluindo o Amazon Elastic Compute Cloud (Amazon EC2), que fornece capacidade computacional segura e redimensionável para praticamente qualquer workload, e o AWS Batch, que permite que desenvolvedores, cientistas e engenheiros executem com facilidade e eficiência centenas de milhares de trabalhos de computação em lote na AWS.

A 23andMe usou o AWS Migration Acceleration Program (AWS MAP), um programa completo e comprovado de migração para a nuvem baseado na experiência da AWS com a migração de milhares de clientes corporativos para a nuvem. Usando o AWS MAP, a 23andMe conseguiu uma migração tranquila em apenas quatro meses. “O AWS MAP nos proporcionou a capacidade de fazer uma mudança rápida e massiva”, diz de Leon. “Normalmente, é muito caro fazer isso, mas o AWS MAP resolveu esse problema.” A 23andMe migrou todo o conteúdo de seu data center para a nuvem na AWS. Um ano após a migração para a AWS, quando o programa AWS MAP terminou para a 23andMe, a empresa obteve uma performance de preço igual ou superior devido à diligência da equipe na adoção dos serviços da AWS.

Outro desafio foi o gerenciamento dos diretórios pessoais baseados em arquivos dos cientistas. Para resolver esse problema, a 23andMe recorreu à Weka, uma parceira da AWS. O sistema de arquivos paralelos WekaIO é funcional, econômico e compatível com o Amazon S3. Isso ajudou a equipe interna da 23andMe a implementar mudanças sem interromper a experiência dos clientes. Quando a migração foi concluída, a 23andMe começou a aproveitar os serviços da AWS para HPC, como as instâncias C5 do Amazon EC2, que oferecem alta performance econômica por um preço baixo por taxa de computação para executar workloads avançadas com uso intensivo de computação. Ela escolheu esse tipo de instância do Amazon EC2 porque era o análogo mais próximo de seus recursos computacionais anteriores.

A 23andMe descobriu rapidamente os benefícios de ter uma variedade de tipos de instâncias do Amazon EC2 disponíveis para uso. “Temos todo o menu de ofertas do Amazon EC2 disponível para nós, e uma maneira de obter eficiência é encontrar a opção ideal para o uso dos recursos”, diz Justin Graham, gerente de um grupo de engenharia de infraestrutura da 23andMe. Desde 2022, a empresa usa vários tipos de instâncias com flexibilidade, incluindo instâncias X2i do Amazon EC2, a próxima geração de instâncias otimizadas para memória que oferece melhorias de performance, performance de preço e custos para workloads que consomem muita memória. A 23andMe também usa o AWS Batch para fornecer o dimensionamento correto e encontrar recursos apropriados para determinar quais tipos de instância usar, o que ajuda na otimização da performance dos preços.

A 23andMe é capaz de aumentar a escala sob demanda para igualar a capacidade computacional das workloads reais e, em seguida, voltar a reduzi-la. “Para dar uma noção de escala, tivemos um pico de trabalho de computação em execução com mais de 80.000 CPUs virtuais operando ao mesmo tempo”, diz de Leon. Além disso, o uso de instâncias do Amazon EC2 eliminou a contenção de recursos para os pesquisadores da 23andMe. “Recentemente, tivemos uma workload de produção de três semanas que terminou 33% antes do previsto. Desde a migração para a AWS, nossa capacidade de fornecer recursos computacionais para nossos pesquisadores tornou-se incomparável”, diz Graham.

Mesmo aproveitando esses benefícios do uso de serviços de HPC na AWS, a 23andMe não precisou comprometer suas metas de gastos iniciais. “Nosso objetivo era manter os custos iguais, mas ganhar flexibilidade, capacidade e valor. Economia tem menos a ver com resultados financeiros e mais com o que ganhamos com o que gastamos”, diz de Leon. A 23andMe alcançou aumentos na otimização de custos usando uma variedade de serviços da AWS, incluindo o Amazon Relational Database Service (Amazon RDS), uma coleção de serviços gerenciados que simplifica a configuração, a operação e a escalabilidade de bancos de dados na nuvem, bem como o Amazon EC2. A 23andMe aposta totalmente na AWS e tem como objetivo continuar buscando a otimização da performance dos preços para suas workloads.

A 23andMe pôde migrar seu ambiente existente praticamente sem nenhuma mudança e, com o tempo, começou a incorporar mais serviços da AWS na sua solução. A empresa está procurando outras maneiras de otimizar custos com o uso da AWS, explorando serviços como o processador AWS Graviton, que oferece excelente performance de preço para workloads na nuvem executadas no Amazon EC2. A empresa está encontrando oportunidades de otimizar os custos e, ao mesmo tempo, reter os recursos necessários para computação sob demanda. “Já se passaram cerca de 10 meses desde a migração, e a meta final é impulsionar um processo mais rápido da ideia à validação. Nossos pesquisadores são mais rápidos e eficientes, e nossa esperança é ver um grande avanço nas pesquisas”, diz de Leon.