旧金山州立大学案例研究

旧金山州立大学的计算机科学系大约有 400 名本科生和 100 名研究生从事教育和研究工作。目前，该系正在与 Stanford Helix Group 合作开发一个名为“FEATURE”的机器学习项目，并受到美国国立卫生研究院 (NIH Grant LM05652) 的支持。

FEATURE 使用机器学习来预测蛋白质和其他三维 (3D) 分子结构中的功能位点。Dragutin Petkovic 教授解释说：“对机器学习进行大规模并行优化，会涉及将支持向量机 (SVM) 算法应用到由数十万个向量组成的数千个训练集。通过借助 K 折交叉验证进行蛮力并行网格搜索可找到最佳的 SVM 参数。这种优化涉及多次独立重复类似的操作。” 

与其他创新科学项目一样，FEATURE 对高性能计算有着强烈的渴求，并且项目的研究科学家发现，探索生物分子详细方面的计算需求很快超过了该大学设备的极限。旧金山州立大学的计算资源是共享的，高需求意味着研究人员必须重新调整其问题的规模和范围，或者可能面临可用资源的长时间延迟。此外，这些限制条件导致需要长期等待才能得到结果，并且对科学家可以运行的实验数量设置了任意上限。

科学家只是偶尔需要使用计算资源，如果购买大规模资源并进行维护以供不定期使用，这非常不划算。在考虑到他们的选择时，研究团队意识到，Amazon Web Services (AWS) 提供的对计算资源的按需访问可实现他们的目的。“与在内部拥有大型服务器相比，Amazon Elastic Compute Cloud (Amazon EC2) 的按需支付模型是最合适的选择。”Petkovic 教授说。

研究团队使用 C、C ++、Perl 和 Python 以及其他工具构建了 FEATURE。他们使用 MIT StarCluster 将集群部署到 Amazon EC2，MIT StarCluster 是一个为了实现科学和技术高性能计算而构建的自动配置工具。将蛋白质数据库和蛋白质结构数据库加载到 Amazon Elastic Block Store (Amazon EBS) 卷上，可实现轻松管理和重复使用，并可使用 Amazon Linux 自定义机器映像 (Amazon Linux AMI) 进行访问。

为了评估 FEATURE 项目在 AWS 上的性能，团队使用了软件分析和 I/O 基准测试来衡量性能指标。Petkovic 解释说：“团队拥有一个小型的 40 节点内部集群。我们将此集群与云进行了比较，发现 Amazon EC2 在每单位成本的 CPU 周期方面具有极大的优势，并且能够按需扩展。过去需要花费数周时间的实验，现在只要一个晚上就能够完成。这意味着我们的科学家可以一直专注于工作，而不是在等待结果。AWS 大大缩短了我们进行科学探究的周转时间。”

Petkovic 教授估计，他们的计算成本大约降低到原来的 1/20。“我们估计，一个小型 40 节点内部集群每小时运行一个计算机单元的成本是 1.71 USD。对比之下，Amazon EC2 每小时运行一个等效弹性计算单元 (ECU) 的成本仅为 0.08 USD。”他解释道。此外，Petkovic 及其团队还能够使用 AWS 提供的计费提醒和其他成本优化工具来规划和管理使用服务的成本。

“AWS 提供对高性能资源的按需访问，这使我们能够专注于科学研究，而不是进行大量的服务器基础设施维护工作。AWS 帮助我们提高了机器学习实验的规模和范围的上限。”Petkovic 说。