旧金山州立大学的计算机科学系大约有 400 名本科生和 100 名研究生从事教育和研究工作。目前,该系正在与 Stanford Helix Group 合作开发一个名为“FEATURE”的机器学习项目,并受到美国国立卫生研究院 (NIH Grant LM05652) 的支持。

FEATURE 使用机器学习来预测蛋白质和其他三维 (3D) 分子结构中的功能位点。Dragutin Petkovic 教授解释说:“对机器学习进行大规模并行优化,会涉及将支持向量机 (SVM) 算法应用到由数十万个向量组成的数千个训练集。通过借助 K 折交叉验证进行蛮力并行网格搜索可找到最佳的 SVM 参数。这种优化涉及多次独立重复类似的操作。”下面的图 1 展示了 FEATURE 项目。

旧金山州立大学 AWS 案例研究项目详细信息

图 1:FEATURE 项目详细信息

与其他创新科学项目一样,FEATURE 对高性能计算有着强烈的渴求,并且项目的研究科学家发现,探索生物分子详细方面的计算需求很快超过了该大学设备的极限。旧金山州立大学的计算资源是共享的,高需求意味着研究人员必须重新调整其问题的规模和范围,或者可能面临可用资源的长时间延迟。此外,这些限制条件导致需要长期等待才能得到结果,并且对科学家可以运行的实验数量设置了任意上限。

科学家只是偶尔需要使用计算资源,如果购买大规模资源并进行维护以供不定期使用,这非常不划算。在考虑到他们的选择时,研究团队意识到,Amazon Web Services (AWS) 提供的对计算资源的按需访问可实现他们的目的。“与在内部拥有大型服务器相比,Amazon Elastic Compute Cloud (Amazon EC2) 的按需支付模型是最合适的选择。”Petkovic 教授说。

研究团队使用 C、C ++、Perl 和 Python 以及其他工具构建了 FEATURE。他们使用 MIT StarCluster 将集群部署到 Amazon EC2,MIT StarCluster 是一个为了实现科学和技术高性能计算而构建的自动配置工具。将蛋白质数据库和蛋白质结构数据库加载到 Amazon Elastic Block Store (Amazon EBS) 卷上,可实现轻松管理和重复使用,并可使用 Amazon Linux 自定义机器映像 (Amazon Linux AMI) 进行访问。图 2 展示了 FEATURE 项目的架构。

旧金山州立大学 AWS 架构图

图 2:FEATURE 项目架构

为了评估 FEATURE 项目在 AWS 上的性能,团队使用了软件分析和 I/O 基准测试来衡量性能指标。Petkovic 解释说:“团队拥有一个小型的 40 节点内部集群。我们将此集群与云进行了比较,发现 Amazon EC2 在每单位成本的 CPU 周期方面具有极大的优势,并且能够按需扩展。过去需要花费数周时间的实验,现在只要一个晚上就能够完成。这意味着我们的科学家可以一直工作,而不是在等待结果。AWS 大大缩短了我们进行科学探究的周转时间。”

Petkovic 教授估计,他们的计算成本大约降低了 20 倍。“我们估计,一个小型 40 节点内部集群每小时运行一个计算机单元的成本是 1.71 USD。对比之下,Amazon EC2 每小时运行一个等效弹性计算单元 (ECU) 的成本仅为 0.08 USD”,他解释道。此外,Petkovic 及其团队还能够使用 AWS 提供的计费提醒和其他成本优化工具来规划和管理使用服务的成本。

“AWS 提供对高性能资源的按需访问,这使我们能够专注于科学研究,而不是进行大量的服务器基础设施维护工作。AWS 帮助我们提高了机器学习实验的规模和范围的上限”,Petkovic 说。

要详细了解云在基因组学领域的应用,请访问我们的 AWS 基因组学详情页面

要了解 AWS 如何帮助您满足高性能计算需求,请访问我们的 HPC 详情页面