亚马逊AWS官方博客

光环新网运营的AWS中国(北京)区域HPC集群创建

在上个博客“在AWS云上快速搭建高性能计算(HPC)集群”中,我们介绍了高性能计算的使用场景,框架和如何在AWS Global创建HPC集群,但在光环新网运营的AWS中国(北京)区域并不支持使用CFNCluster直接创建HPC,因此我们需要使用CloudFormation手工创建集群,整个过程并不复杂。步骤如下:

1.进入光环新网运营的AWS中国(北京)区域的Console,然后进入CloudFormation的服务。如下图:

2.点击 “Create New Stack”后,弹出下面的界面。

3.在界面中制定CloudFormation的模板文件如下。

https://s3.cn-north-1.amazonaws.com.cn/cfncluster-cn-north-1/templates/cfncluster.cfn.json

4.在后续界面中下面参数必须定义:

Stack name:要创建HPC集群的名称

AvailablityZone:指定要在那个可用区创建HPC集群

VPCId:指定需要创建集群的VPCId

MasterSubnetId:指定Master节点的子网ID

KeyName:指定EC2服务器访问的key

Scheduler:指定高性能计算的管理框架,默认是SGE,有Openlava,Torque等可以选择。

5.可选参数定义:

InitialQueueSize:HPC集群的初始节点数

ComputeInstanceType:集群计算节点的类型

MasterInstanceType:Master节点的类型

MaxQueueSize:集群最大节点数

PlacementGroup:节点的放置组

对于全部的配置参数说明,可以参考下面链接:

http://cfncluster.readthedocs.io/en/latest/configuration.html

6.点击Next后,输入集群的tag。

7.点击左下方的checkbox运行AWS Cloudformation帮助创建资源,然后点击创建。

8.等待当前HPC集群的创建状态变为COMPLETE,查看下方的Outputs消息输出,找到HPC Master节点的IP。

9.使用前面Output中的Master节点的IP或去Console中的EC2里面找到刚才创建的Master节点的机器,通过ssh连接,然后运行HPC的命令。

  • 总结

在AWS中国区,你可以使用CloudFormation快速的创建HPC集群,AWS提供了丰富的服务器类型供你选择,你可以选择基于CPU或GPU等不同类型的服务器,也可以选择SGE,OpenLava等分布式资源管理软件来调度你的程序,如果我们不配置,默认的资源管理软件是SGE。

作者介绍

蓝勇,AWS解决方案架构师,负责基于AWS的云计算方案架构的咨询和设计,同时致力于AWS云服务在国内的应用和推广,在DR解决方案、数据仓库、RDS服务、企业应用、自动化运维等方面有着广泛的设计和实践经验。在加入AWS之前,在甲骨文中国担任资深售前工程师,负责售前方案咨询和架构设计,在数据库,中间件,大数据及企业应用方面有丰富经验。