23andMe führt innovative Arzneimittel- und Therapieforschung mit HPC auf AWS ein

Das Genomik- und Biotechnologie-Unternehmen 23andMe bietet Gentests direkt an Kunden an und gibt ihnen wertvolle Einblicke in ihre Genetik. 23andMe benötigte mehr Skalierbarkeit und Flexibilität für sein High Performance Computing (HPC), um mehrere Petabyte an Daten effizient zu verwalten. Das Unternehmen hatte zuvor eine On-Premises-Lösung verwendet, begann jedoch 2016, Amazon Web Services (AWS) zum Speichern wichtiger Daten zu verwenden. Im Jahr 2021 führte das Unternehmen eine vollständige Migration in die Cloud durch, ein Prozess, der nur 4 Monate dauerte. Seit der Einführung von AWS-HPC-Services, darunter Amazon Elastic Compute Cloud (Amazon EC2), das sichere und skalierbare Rechenkapazität für praktisch jeden Workload bietet, und AWS Batch, mit dem Entwickler, Wissenschaftler und Ingenieure Hunderttausende von Batch-Computing-Jobs auf AWS einfach und effizient ausführen können, hat 23andMe seine Skalierbarkeit, Flexibilität und Kostenoptimierung verbessert.

23andMe nutzte das AWS Migration Acceleration Program (AWS MAP), ein umfassendes und bewährtes Cloud-Migrationsprogramm, das auf der Erfahrung von AWS bei der Migration von Tausenden von Unternehmenskunden zur Cloud basiert. Mit AWS MAP konnte 23andMe in nur 4 Monaten eine reibungslose Migration erreichen. „AWS MAP bot uns die Möglichkeit, eine schnelle, massive Umstellung durchzuführen“, sagt de Leon. „Normalerweise ist das sehr teuer, aber AWS MAP hat dieses Problem gelöst.“ 23andMe migrierte alles aus seinem Rechenzentrum in die Cloud auf AWS. Ein Jahr nach der Migration zu AWS, als das AWS-MAP-Programm für 23andMe ausläuft, erzielt 23andMe aufgrund der Sorgfalt des Teams bei der Einführung von AWS-Services eine gleiche oder bessere Preisleistung.

Die Verwaltung der dateibasierten Stammverzeichnisse von Wissenschaftlern stellte eine weitere Herausforderung dar. Um dieses Problem zu lösen, wandte sich 23andMe an Weka, einen AWS-Partner. Das parallele WekaIO-Dateisystem ist funktionell, kostengünstig und mit Amazon S3 kompatibel. Dies half dem internen Team von 23andMe, Änderungen umzusetzen, ohne das Kundenerlebnis zu beeinträchtigen. Nach Abschluss der Migration begann 23andMe, AWS-Services für HPC wie Amazon-EC2-C5-Instances zu nutzen, die kostengünstige Hochleistung zu einem niedrigen Preis-/Rechenverhältnis für die Ausführung anspruchsvoller rechenintensiver Workloads bieten. Es entschied sich für diesen Amazon-EC2-Instance-Typ, da er seinen vorherigen Rechenressourcen am nächsten kam.

23andMe entdeckte schnell die Vorteile, die sich daraus ergeben, dass eine Vielzahl von Amazon-EC2-Instance-Typen zur Verfügung stellt. „Wir haben die gesamte Palette der Amazon-EC2-Angebote zur Verfügung, und eine Möglichkeit, Effizienz zu erzielen, besteht darin, eine optimale Lösung für die Ressourcennutzung zu finden“, sagt Justin Graham, Manager einer Gruppe für Infrastrukturtechnik bei 23andMe. Seit 2022 nutzt das Unternehmen viele Instance-Typen flexibel, darunter Amazon-EC2-X2i-Instances, die nächste Generation speicheroptimierter Instances, die Verbesserungen in Bezug auf Leistung, Preis-Leistungs-Verhältnis und Kosten für speicherintensive Workloads bieten. 23andMe verwendet AWS Batch auch, um Ressourcen zur Anpassung der Größe und des Abgleichs bereitzustellen, um zu bestimmen, welche Instance-Typen verwendet werden sollen, was bei der Optimierung des Preis-Leistungs-Verhältnisses hilft.

23andMe kann bei Bedarf skalieren, um der Rechenkapazität für die tatsächlichen Workloads gerecht zu werden, und dann wieder herunterskalieren. „Um ein Gefühl für die Skalierbarkeit zu vermitteln, haben wir einen Datenverarbeitungsauftrag zu Spitzenzeiten ausgeführt, bei dem über 80 000 virtuelle CPUs gleichzeitig im Einsatz waren“, sagt de Leon. Darüber hinaus hat die Verwendung von Amazon-EC2-Instances den Ressourcenkonflikt für die Forscher von 23andMe gelöst. „Kürzlich hatten wir ein 3-wöchiges Produktions-Workload, das 33 Prozent früher als geplant fertig war. Seit der Migration zu AWS ist unsere Fähigkeit, Rechenressourcen für unsere Forscher bereitzustellen, unübertroffen“, sagt Graham.

23andMe genießt zwar diese Vorteile der Nutzung von HPC-Services auf AWS, musste aber bei seinen ursprünglichen Ausgabenzielen keine Kompromisse eingehen. „Unser Ziel war es, unsere Kosten gleich zu halten, aber an Flexibilität, Leistungsfähigkeit und Wert zu gewinnen. Bei Einsparungen geht es weniger um den Saldo als vielmehr darum, was wir für das, was wir ausgeben, gewinnen“, sagt de Leon. 23andMe hat durch die Nutzung einer Vielzahl von AWS-Services, darunter Amazon Relational Database Service (Amazon RDS), eine Sammlung von Managed Services, die die Einrichtung, den Betrieb und die Skalierung von Datenbanken in der Cloud vereinfachen, sowie Amazon EC2, eine Steigerung der Kostenoptimierung erreicht. 23andMe setzt voll und ganz auf AWS und ist bestrebt, das Preis-Leistungs-Verhältnis seiner Workloads weiter zu optimieren.

23andMe konnte seine bestehende Umgebung praktisch ohne Änderungen migrieren und begann im Laufe der Zeit, mehr AWS-Services in seine Lösung zu integrieren. Das Unternehmen sucht nach weiteren Möglichkeiten, die Kosten mithilfe von AWS zu optimieren, und untersucht Services wie den AWS-Graviton-Prozessor, der ein hervorragendes Preis-Leistungs-Verhältnis für Cloud-Workloads bietet, die in Amazon EC2 ausgeführt werden. Das Unternehmen sucht nach Möglichkeiten, kostenoptimal zu wirtschaften und gleichzeitig die Ressourcen beizubehalten, die es für On-Demand-Computing benötigt. „Die Migration ist etwa 10 Monate her, und das letztendliche Ziel ist es, einen schnelleren Prozess von der Idee bis zur Validierung voranzutreiben. Unsere Forscher sind schneller und effizienter, und wir hoffen auf einen großen Durchbruch in der Forschung“, sagt de Leon.