23andMe 透過 AWS 上的 HPC 來創新藥物和治療發現

基因體和生物科技公司 23andMe 提供直接針對客戶的遺傳檢測，為客戶提供有關其遺傳學的寶貴洞見。23andMe 的高效能運算 (HPC) 需要更高的可擴展性和彈性，才能有效管理數 PB 的資料。該公司之前一直在使用內部部署解決方案，但於 2016 年開始使用 Amazon Web Services (AWS) 來儲存重要資料。2021 年，該公司完全遷移至雲端，這個過程只花了 4 個月的時間。自從採用 AWS HPC 服務，包括 Amazon Elastic Compute Cloud (Amazon EC2) (可為幾乎任何工作負載提供安全且可調整大小的運算容量)，以及 AWS Batch (可讓開發人員、科學家和工程師輕鬆有效地在 AWS 上執行成千上萬個批次運算任務)，23andMe 增加了可擴展性、彈性和成本最佳化。

23andMe 使用了 AWS Migration Acceleration Program (AWS MAP)，是一項全方位且久經驗證的雲端遷移計劃，借鑑了 AWS 成千上萬企業客戶遷移至雲端的經驗。使用了 AWS MAP，23andMe 在 4 個月內就完成順利的遷移作業。de Leon 表示：「AWS MAP 為我們提供的是能夠進行快速、大規模轉移的能力。通常當您這樣做時，會非常昂貴，但是 AWS MAP 解決了這個問題。」 23andMe 將其資料中心的所有內容遷移到 AWS 上的雲端。遷移至 AWS 一年後，當 23andMe 的 AWS MAP 計劃結束時，由於團隊努力地採用 AWS 服務，因此實現了同等或更好的價格效能。

管理科學家以檔案為基礎的主目錄提出了另一個挑戰。為了解決這個問題，23andMe 求助於 AWS 合作夥伴 Weka。WekaIO 平行檔案系統運作正常、符合成本效益，並且與 Amazon S3 相容。這有助於 23andMe 的內部團隊在不影響客戶體驗的情況下實作變更。遷移完成後，23andMe 開始利用適用於 HPC 的 AWS 服務，例如 Amazon EC2 C5 執行個體，這些執行個體可以以低價格/運算比例提供符合成本效益的高效能，用於執行進階運算密集型工作負載。23andMe 選擇了這種類型的 Amazon EC2 執行個體，因為它是最接近先前運算資源的類比。

23andMe 很快就發現擁有各種可供使用的 Amazon EC2 執行個體類型所帶來的好處。23andMe 基礎設施工程組經理 Justin Graham 表示：「我們提供完整的 Amazon EC2 產品選單，而實現效率的一種方法是找到資源使用的最佳方法。」截至 2022 年，該公司可彈性使用許多執行個體類型，包括 Amazon EC2 X2i 執行個體，這是新一代記憶體最佳化執行個體，可改善效能、價格效能以及記憶體密集型工作負載的成本。23andMe 也使用 AWS Batch 提供調整規模和相符資源，以決定要使用的執行個體類型，有助於最佳化價格效能。

23andMe 可隨需擴展，以符合實際工作負載的運算容量，然後縮減規模。de Leon 說：「說到規模，我們有一個尖峰運算任務，同時運作了 80,000 多個虛擬 CPU。」此外，使用 Amazon EC2 執行個體也消除了 23andMe 研究人員的資源爭用問題。Graham 說：「最近，我們 3 週的生產工作負載提前了 33% 的時間完成了。自從遷移到 AWS 之後，我們將運算資源交付給研究人員的能力現在無與倫比。」

在享受在 AWS 上使用 HPC 服務的這些好處的同時，23andMe 不必妥協其初始支出目標。de Leon 說：「我們的目標是將成本保持相同，但獲得彈性、容量和價值。比起盈利，節省的費用更關乎我們的支出得到了多少的收益。」23andMe 透過使用各種 AWS 服務達到成本最佳化的增加，包括 Amazon Relational Database Service (Amazon RDS)，這是一系列受管服務，可讓您輕鬆在雲端和 Amazon EC2 中設定、操作和擴展資料庫。23andMe 完全採用 AWS，旨在繼續為其工作負載追求價格效能最佳化。

23andMe 幾乎無需任何變更即可遷移現有環境，而且隨著時間開始將更多 AWS 服務納入其解決方案。該公司正在尋找使用 AWS 最佳化成本的進一步方法，探索 AWS Graviton 處理器等服務，該處理器可為在 Amazon EC2 中執行的雲端工作負載提供優異的價格效能。該公司正在尋找成本最佳化的機會，同時保留隨需運算所需的資源。de Leon 表示：「我們的遷移已完成了大約 10 個月，最終目標是推動從構想到驗證的更快流程。我們的研究人員速度更快、效率更高，我們希望能夠看到一個重大的研究突破。」