23andMe innova en el descubrimiento de fármacos y terapias con la HPC en AWS

La empresa genómica y biotecnología, 23andMe proporciona pruebas genéticas directamente al cliente, lo que brinda a los clientes información valiosa sobre su genética. 23andMe necesitaba más escalabilidad y flexibilidad en su computación de alto rendimiento (HPC) para gestionar múltiples petabytes de datos de manera eficiente. La empresa utilizaba una solución local, pero comenzó a utilizar Amazon Web Services (AWS) en 2016 para almacenar datos importantes. En 2021, la empresa realizó una migración completa a la nube, un proceso que solo llevó 4 meses. Desde que adoptó los servicios de HPC de AWS, como Amazon Elastic Compute Cloud (Amazon EC2), que proporciona una capacidad informática segura y redimensionable para prácticamente cualquier carga de trabajo, y AWS Batch, que permite a los desarrolladores, científicos e ingenieros ejecutar de manera fácil y eficiente cientos de miles de trabajos de computación por lotes en AWS, 23andMe ha aumentado su escalabilidad, flexibilidad y optimización de costes.

23andMe utilizó el Programa de Aceleración de la Migración de AWS (AWS MAP), un programa de migración a la nube exhaustivo y probado, que se basa en nuestra experiencia adquirida tras migrar a miles de clientes empresariales a la nube. Con AWS MAP, 23andMe pudo lograr una migración sin problemas en solo 4 meses. «Lo que AWS MAP nos ofrecía era la posibilidad de realizar un cambio rápido y masivo», afirma de Leon. «Por lo general, cuando se hace eso, es muy caro, pero AWS MAP solucionó ese problema». 23andMe migró todo de su centro de datos a la nube en AWS. Un año después de la migración a AWS, cuando el programa AWS MAP finaliza para 23andMe, está logrando una rentabilidad igual o mejor en cuanto a precios gracias a la diligencia del equipo a la hora de adoptar los servicios de AWS.

La gestión de los directorios de inicio basados en archivos de los científicos presentó otro reto. Para resolver este problema, 23andMe recurrió a Weka, un socio de AWS. El sistema de archivos paralelos WekaIO es funcional, rentable y compatible con Amazon S3. Esto ayudó al equipo interno de 23andMe a implementar cambios sin interrumpir la experiencia del cliente. Cuando se completó la migración, 23andMe comenzó a aprovechar los servicios de AWS para HPC, como las instancias C5 de Amazon EC2, que ofrecen un alto rendimiento rentable a un bajo precio por computación para ejecutar cargas de trabajo avanzadas con un uso intensivo de computación. Eligió este tipo de instancia de Amazon EC2 porque era la más parecida a sus recursos informáticos anteriores.

23andMe descubrió rápidamente las ventajas de tener una variedad de tipos de instancias de Amazon EC2 disponibles para su uso. «Disponemos de todo el menú de ofertas de Amazon EC2 y una forma de lograr la eficiencia es encontrar una solución óptima para el uso de los recursos», afirma Justin Graham, gerente de un grupo de ingeniería de infraestructura de 23andMe. A partir de 2022, la empresa utilizará muchos tipos de instancias de forma flexible, incluidas las instancias Amazon EC2 X2i, la próxima generación de instancias optimizadas para memoria que ofrecen mejoras en el rendimiento, la rentabilidad y los costes de las cargas de trabajo que consumen mucha memoria. 23andMe también usa AWS Batch para proporcionar recursos de dimensionamiento y coincidencia adecuados para determinar qué tipos de instancias usar, lo que ayuda a optimizar la relación precio-rendimiento.

23andMe puede escalar bajo demanda para adaptarse a la capacidad de computación de las cargas de trabajo reales y luego volver a reducirlo. «Para darnos una idea de la escala, teníamos un pico de trabajo de computación en ejecución, con más de 80 000 CPU virtuales funcionando a la vez», afirma de Leon. Además, el uso de instancias de Amazon EC2 ha eliminado la contención de recursos para los investigadores de 23andMe. «Recientemente, tuvimos una carga de trabajo de producción de 3 semanas que finalizó un 33 por ciento antes de lo previsto. Desde que migramos a AWS, nuestra capacidad de ofrecer recursos informáticos a nuestros investigadores es ahora incomparable», afirma Graham.

Si bien disfruta de estas ventajas de utilizar los servicios de HPC en AWS, 23andMe no ha tenido que comprometer sus objetivos de gastos iniciales. «Nuestro objetivo era mantener los mismos costes, pero ganar flexibilidad, capacidad y valor. Ahorrar tiene que ver menos con los resultados finales y más con lo que ganamos por lo que gastamos», afirma de Leon. 23andMe ha logrado aumentar la optimización de costes mediante el uso de una variedad de servicios de AWS, como Amazon Relational Database Service (Amazon RDS), un conjunto de servicios gestionados que facilita la configuración, el funcionamiento y el escalado de bases de datos en la nube, así como Amazon EC2. 23andMe apuesta por AWS y tiene como objetivo seguir optimizando la relación precio-rendimiento de sus cargas de trabajo.

23andMe pudo migrar su entorno existente prácticamente sin cambios y, con el tiempo, comenzó a incorporar más servicios de AWS en su solución. La empresa busca nuevas formas de optimizar los costes con AWS, explorando servicios como el procesador AWS Graviton, que ofrece una excelente relación precio-rendimiento para las cargas de trabajo en la nube que se ejecutan en Amazon EC2. La empresa está buscando oportunidades para optimizar los costes y, al mismo tiempo, retener los recursos que necesita para la computación bajo demanda. «Han pasado unos 10 meses desde la migración y el objetivo final es acelerar el proceso desde la idea hasta la validación. Nuestros investigadores son más rápidos y eficientes, y esperamos ver un gran avance en la investigación», afirma de Leon.