23andMe が AWS で HPC を利用して創薬と治療薬の発見を革新

ゲノミクスおよびバイオテクノロジー企業である 23andMe は、お客様に遺伝子検査を直接提供することで、お客様が遺伝子に関する貴重なインサイトを入手できるようにしています。23andMe は、数ペタバイトのデータを効率的に管理するために、ハイパフォーマンスコンピューティング (HPC) におけるより高いスケーラビリティと柔軟性を必要としていました。同社はオンプレミスソリューションを利用していましたが、2016 年に Amazon Web Services (AWS) を利用して重要なデータを保存し始めました。2021 年、同社はクラウドに完全に移行しました。このプロセスに要した時間はわずか 4 か月間でした。事実上あらゆるワークロード用に安全でサイズ変更可能なコンピューティングキャパシティを提供する Amazon Elastic Compute Cloud (Amazon EC2) や、デベロッパー、科学者、エンジニアが AWS で何十万ものバッチコンピューティングジョブを簡単かつ効率的に実行できるようにする AWS Batch などの AWS の HPC サービスを採用して以来、23andMe は、スケーラビリティと柔軟性を高め、コスト最適化を推し進めることができました。

23andMe は、AWS が何千もの企業のお客様をクラウドに移行した経験に基づく、包括的で実績のあるクラウド移行プログラムである AWS Migration Acceleration Program (AWS MAP) を利用しました。AWS MAP を利用することで、23andMe はわずか 4 か月でスムーズな移行を実現できました。「AWS MAP により、当社は迅速で大規模なシフトを実行できました」と de Leon 氏は述べています。「通常、これを実行するには非常に費用がかかりますが、AWS MAP はその問題を解決してくれました」。 23andMe は、すべてをデータセンターから AWS のクラウドに移行しました。AWS への移行から 1 年後、23andMe の AWS MAP プログラムが終了し、チームが AWS のサービスの採用を積極的に推進したおかげで、現在では同等以上の料金パフォーマンスを達成しています。

科学者のファイルベースのホームディレクトリの管理では、別の課題が生じていました。この問題を解決するために、23andMe は AWS パートナーである Weka に依頼することにしました。WekaIO パラレルファイルシステムは機能的で費用対効果が高く、Amazon S3 と互換性があります。これにより、23andMe の社内チームは、カスタマーエクスペリエンスに悪影響を及ぼすことなく、変更を実装することができました。移行が完了すると、23andMe は Amazon EC2 C5 インスタンスなどの HPC 向けの AWS のサービスを利用し始めました。これらのサービスは、コンピューティングを多用する高度なワークロードを実行する際に、コンピューティングあたりの料金を低く抑えながら、費用対効果の高いハイパフォーマンスを実現します。同社がこのタイプの Amazon EC2 インスタンスを選んだのは、以前のコンピューティングリソースに最も近いものだったからです。

23andMe は、さまざまな Amazon EC2 インスタンスタイプを利用できることのメリットにすぐに気付きました。「当社は Amazon EC2 サービスをすべて利用できるのです。そして効率を上げる方法の 1 つは、リソースの利用に最適なサービスを見つけることです」と 23andMe のインフラストラクチャエンジニアリンググループのマネージャーである Justin Graham 氏は述べています。2022 年現在、同社は Amazon EC2 X2i インスタンスなど、多くのインスタンスタイプを柔軟に利用しています。Amazon EC2 X2i インスタンスは、次世代のメモリ最適化インスタンスであり、メモリを大量に消費するワークロードのパフォーマンス、料金、コストを改善します。23andMe では、AWS Batch を利用してサイズを適正化し、リソースをマッチングさせて利用するインスタンスタイプを決定することもできます。これはコストパフォーマンスの最適化に役立ちます。

23andMe は、実際のワークロード用のコンピューティングキャパシティに合わせてオンデマンドでスケールした後、スケールダウンして元に戻すことができます。「スケーラビリティに関する 1 つの実例としては、当社のピーク時のコンピューティングジョブでは、80,000 を超える仮想 CPU が同時に稼働していました」と de Leon 氏は述べています。さらに、Amazon EC2 インスタンスを利用することで、23andMe の研究者のリソース競合が解消されました」。「最近、3 週間かかる予定だった本番ワークロードが、予定よりも 33% 早く完了しました。AWS に移行してから、当社が研究者にコンピューティングリソースを提供する能力は、他に類を見ないほど向上しました」と Graham 氏は述べています。

23andMe は、AWS 上で HPC サービスを利用することでこのような恩恵を享受する一方で、当初の支出目標について妥協する必要はありませんでした。「当社の目標は、以前と変わらないコストで、柔軟性、能力、価値を高めることにありました。コスト削減は収益よりも、支出から何を得られるかということに関連しています」と de Leon 氏は述べています。23andMe は、クラウドでデータベースを簡単に設定、運用、スケールできるようにするマネージドサービスの集まりである Amazon Relational Database Service (Amazon RDS) や Amazon EC2 など、さまざまな AWS のサービスを利用することで、コストの最適化を実現してきました。23andMe は AWS を全面的に利用しており、今後もワークロードのコストパフォーマンスの最適化を追求していくことを目指しています。

23andMe は既存の環境をほとんど変更することなく移行でき、時間が経過するにつれて、より多くの AWS のサービスをソリューションに組み込むようになりました。同社は AWS を利用してコストを最適化するさらなる方法を模索しています。その一環として、Amazon EC2 で実行されるクラウドワークロード向けに優れたコストパフォーマンスを提供する AWS Graviton プロセッサなどのサービスを検討しています。同社は、オンデマンドコンピューティングに必要なリソースを維持しながら、コストを最適化する機会を探しています。「移行してから 10 か月が経過しようとしています。最終的な目標は、アイデアから検証までのプロセスを迅速化することです。当社の研究者はより迅速かつ効率的になっています。研究が飛躍的に進歩することを期待しています」と de Leon 氏は述べています。