23andMe 使用 AWS 上的 HPC 来实现药物和治疗发现方面的创新

基因组学和生物技术公司 23andMe 提供直接面向客户的基因检测，为客户提供有关其遗传学的宝贵见解。23andMe 需要提高其高性能计算（HPC）的可扩展性和灵活性，以高效管理数 PB 的数据。该公司从 2016 年开始使用 Amazon Web Services（AWS）来存储重要数据，但在这之前一直在使用本地解决方案。2021 年，该公司全面迁移到云，这一过程仅用了 4 个月。自采用 AWS HPC 服务（包括为几乎所有工作负载提供安全且可调整大小的计算容量的 Amazon Elastic Compute Cloud（Amazon EC2）和允许开发人员、科学家和工程师在 AWS 上轻松高效地运行数十万个批处理计算任务的 AWS Batch）以来，23andMe 提高了其可扩展性和灵活性并优化了成本。

23andMe 使用 AWS 迁移加速计划（AWS MAP），这是一项全面且经过验证的云迁移计划，基于 AWS 将数以千计的企业客户迁移到云中的经验开发。使用 AWS MAP，23andMe 可以在短短 4 个月内实现平稳迁移。de Leon 表示：“AWS MAP 能够帮助我们实现快速、大规模的迁移。一般情况下，迁移成本很高，但是 AWS MAP 解决了这个问题。” 23andMe 将所有内容从其数据中心迁移到 AWS 上的云中。由于团队在采用 AWS 服务时所做出的努力，迁移到 AWS 一年后，随着 AWS MAP 计划结束，23andMe 也实现了持平乃至更高的性价比。

另一项挑战是管理科学家基于文件的主目录。为了解决这个问题，23andMe 求助于了 AWS 的合作伙伴，Weka。WekaIO 并行文件系统功能强大、经济高效且与 Amazon S3 兼容。这有助于 23andMe 的内部团队在不干扰客户体验的情况下实施变更。迁移完成后，23andMe 开始利用适用于 HPC 的 AWS 服务，例如 Amazon EC2 C5 实例，这些服务经济高效且具备高性能，单次计算价格比率较低，适合运行高级计算密集型工作负载。之所以选择这种类型的 Amazon EC2 实例，是因为它最接近其此前的计算资源。

23andMe 很快发现，拥有各种可用的 Amazon EC2 实例类型好处多多。23andMe 基础设施工程组经理 Justin Graham 表示：“我们有可用的 Amazon EC2 产品的完整菜单，而提高效率的一种方法就是找到最适合资源利用的方案。”自 2022 年起，该公司灵活使用多种实例类型，包括 Amazon EC2 X2i 实例，这是下一代内存优化型实例，可提高内存密集型工作负载的性能、性价比和成本。23andMe 还使用 AWS Batch 来合理调整大小并匹配资源，以确定要使用的实例类型，这有助于优化性价比。

23andMe 可以按需扩展以匹配实际工作负载的计算容量，然后缩减。de Leon 表示：“为了在规模上带给大家不同的感受，我们运行了一次峰值计算任务，同时运行的虚拟 CPU 超过 8 万个。”此外，使用 Amazon EC2 实例消除了 23andMe 研究人员的资源争用。Graham 表示：“最近，我们为期 3 周的生产工作量已经提前完成 33%。自从迁移到 AWS 以来，我们向研究人员提供计算资源的能力无与伦比。”

23andMe 既能享有在 AWS 上使用 HPC 服务带来的益处，也不必在初始支出目标上妥协。de Leon 表示：“我们的目标是在保持成本不变的前提下，获得灵活性、能力和价值。节省成本与其说是底线问题，不如说是付出与收获的问题。”23andMe 通过使用各种 AWS 服务实现了成本优化，包括 Amazon Relational Database Service（Amazon RDS），便于在云中设置、操作和扩展数据库的一系列托管服务，以及 Amazon EC2。23andMe 全面采用 AWS，旨在继续为其工作负载寻求性价比优化。

23andMe 可以在几乎不做任何更改的情况下迁移现有环境，并逐渐开始将更多 AWS 服务整合到解决方案中。该公司正在寻找使用 AWS 进一步优化成本的方法，探索 AWS Graviton 处理器等服务，为在 Amazon EC2中运行的云工作负载提供出色的性价比。该公司正在寻找机会实现成本最优化，同时保留按需计算所需的资源。de Leon 表示：“我们的迁移已经花了约 10 个月，最终目标是加快进程，让想法得到验证。我们的研究人员速度更快、效率更高，我们希望获得重大的研究突破。”