AWS에서의 HPC(고성능 컴퓨팅) |
|
HPC(고성능 컴퓨팅) 기능을 통해 과학자와 엔지니어는 높은 대역폭, 지연 시간이 짧은 네트워킹, 고용량 컴퓨팅 파워가 필요한 애플리케이션을 사용할 때의 복잡한 과학, 공학 그리고 비즈니스 관련 문제를 해결할 수 있습니다. 대개 과학자와 엔지니어는 공유 클러스터에 액세스하기 위해 오랜 시간을 기다리거나 직접 값비싼 하드웨어 시스템을 구입해야 합니다. 반면에 Amazon EC2 클러스터 인스턴스를 사용하는 고객은 탄력적인 리소스를 필요한 대로 사용해 HPC 워크로드를 신속히 처리할 수 있고, 사용률에 따라 저렴한 요금 모델을 선택해 비용을 절감할 수 있습니다. 고객은 밀착 결합한 IO 중심의 워크로드 처리를 위해 양방향 고대역 네트워크에서 작동하는 클러스터 컴퓨팅 또는 클러스터 GPU 인스턴스를 선택하거나, 처리량 지향 애플리케이션을 위해 수천 개의 코어로 확장할 수도 있습니다.
현재 바이오 제약, 석유 가스, 금융 서비스, 제조 등 다양한 산업에 걸친 고객들이 AWS 인스턴스에서 CAE(Computer Aided Engineering), 분자 모델링, 게놈 분석, 수치 모델링 같은 분야에 HPC 애플리케이션을 운용하고 있습니다. 학술 연구단체에서도 Amazon EC2 클러스터 인스턴스를 사용해 물리학, 화학, 생물학, 컴퓨터 과학, 재료 과학 등의 연구를 진행 중입니다.
| 새로운 소식 | |
| 새로운 클러스터 컴퓨팅 인스턴스 클러스터 컴퓨팅 에이트 엑스트라 라지 인스턴스는 Amazon EC2의 모든 장점에 슈퍼컴퓨터급 성능을 더해줍니다. |
|
| 주요 사례 연구: AeroDynamic Solutions 미 공군 연구소와 AeroDynamic Solutions(ADS)는 Amazon EC2를 사용하여 효과적인 설계 시뮬레이션 솔루션을 개발했습니다. HPC 사례 연구를 더 살펴 보십시오. |
|
| 주요 자습서: 스팟에서 클러스터를 시작하는 방법 BioTeam의 Chris Dagdigian 씨가 StarCluster와 Amazon EC2 스팟 인스턴스를 사용해 10~15분 안에 새 클러스터를 시작하는 방법을 보여줍니다. |
|
장점
수많은 장점을 지닌 AWS에서 HPC 애플리케이션을 실행함으로써 고객은 주요 연구, 설계 및 비즈니스 니즈를 충족할 수 있습니다.
- 저렴한 비용: 고객은 저렴한 종량 과금제 방식 덕분에 HPC 클러스터를 조달하고, 구성하고, 운영하는 데 따르는 비용과 복잡함을 없앨 수 있습니다. 온 디맨드 인스턴스, 예약 인스턴스, 스팟 인스턴스 중에서 원하는 요금 모델을 선택할 수 있어 비용을 최적화할 수도 있습니다.
- 탄력성: 워크로드에 필요한 크기와 시간에 따라 컴퓨팅 리소스를 원하는 대로 추가하고 제거할 수 있습니다.
- 작업을 언제 어디서나 실행: 간단한 API나 관리 도구로 컴퓨팅 작업을 시작하고 워크플로를 자동화해 효율성과 확장성을 극대화할 수 있습니다. 대기열에서 한참을 기다리지 않고 몇 분만에 컴퓨팅 리소스에 액세스할 수 있어 업무 혁신에 박차를 가할 수 있습니다.
솔루션 개요
Amazon EC2상의 HPC는 클러스터 인스턴스 제품군에서 사용할 수 있습니다. 클러스터 컴퓨팅 및 클러스터 GPU 인스턴스는 다른 Amazon EC2 인스턴스와 동일한 방식으로 사용할 수 있지만 다음과 같이 HPC 애플리케이션에 최적화된 기능을 갖추고 있습니다.
- 클러스터 인스턴스는 Placement Group 내에서 시작할 수 있습니다. Placement Group에서 시작한 모든 인스턴스는 지연 시간이 짧고, 인스턴스 간에 full bisection 10Gbps 대역폭이 확보됩니다. 대부분의 다른 Amazon EC2 리소스처럼 Placement Group도 동적인 유연성을 갖고 있어 필요에 따라 크기를 조절할 수 있습니다. 여러 Placement Group을 연결해 대규모 병렬 처리 작업을 위한 대용량 클러스터를 구축할 수도 있습니다.
- 클러스터 컴퓨팅 및 클러스터 GPU 인스턴스는 그 정의에 기본 프로세서 아키텍처가 포함되어 있기 때문에 개발자는 특정 프로세서 아키텍처를 컴파일함으로써 애플리케이션을 세밀하게 조정해 최적의 성능을 얻을 수 있습니다.
- 고객은 클러스터 GPU 인스턴스를 통해 GPGPU 컴퓨팅용 CUDA와 OpenCL 프로그래밍 모델을 사용하여 NVidia Tesla GPU의 병렬 성능을 활용할 수 있습니다.
Amazon EC2 인스턴스 유형s 페이지에서 클러스터 인스턴스와 기타 인스턴스 유형에 관해 자세한 내용을 살펴 보십시오.
규모에 따른 성능
Amazon EC2 클러스터 인스턴스의 고급 네트워킹 및 고성능 컴퓨팅 파워 덕분에 고객은 자체 HPC 시설을 구축해 운영할 필요 없이 슈퍼컴퓨터급 성능을 발휘하는 클러스터를 구축할 수 있습니다. 한 예로, cc2.8xlarge 인스턴스로 구성된 1064개 인스턴스 클러스터(17024개 코어)는 High Performance Linpack 벤치마크의 240.09 TeraFLOPS를 달성하고, 2011년 11월 Top500 리스트에서 42위를 차지했습니다.
시간과 비용 최적화
Amazon EC2의 주요 장점 중 하나는 크기가 고정된 클러스터에 액세스해야 하는 제한 없이 리소스를 최적화할 수 있다는 점입니다. 작업을 대기열에 올리지 않고 여러 클러스터를 동시에 시작할 수 있습니다. 하나의 대형 클러스터를 실행할지 좀 더 작은 여러 클러스터를 동시에 실행할지 선택할 수 있어서 애플리케이션 확장에 아무 제약이 없습니다.
애플리케이션 용도와 사용률에 적합한 요금 모델을 고를 수 있어 비용도 최적화됩니다. 스팟 인스턴스의 경우 사용하지 않는 Amazon EC2 용량에 입찰을 할 수 있어 상당한 비용이 절감됩니다. 현재 Spot Price를 초과하는 금액으로 입찰한 고객이 인스턴스에 액세스할 수 있는 권한을 받고, 인스턴스 사용료가 입찰액을 초과할 때까지 운용할 수 있습니다. 과학적 컴퓨팅의 스팟 인스턴스에 대해 자세히 알아보십시오.
시작하기
애플리케이션 구축
- Amazon EC2에서 64 코어 HPC 클러스터 시작: 이 동영상에서는 AWS 기술 전도사인 Matt Wood 씨가 NAMD를 사용하여 8노드 클러스터를 구축하고 분자 역학 시뮬레이션을 실행하는 방법을 보여줍니다.
- 애플리케이션 시작: Amazon EC2에서는 Amazon 머신 이미지(AMI)를 생성하고 필요한 소프트웨어에 맞게 쉽게 커스터마이징할 수 있습니다. AWS CloudFormation을 사용해 풀 스택 템플릿을 만들어 공유할 수도 있습니다. 당사의 리소스를 활용해 애플리케이션 구축을 시작해도 됩니다.
역동적인 HPC 에코시스템 활용
다음 솔루션 공급자의 클러스터 구성 및 관리 도구와 애플리케이션 최적화 도구를 이용하면 HPC 애플리케이션 구축에 많은 도움이 됩니다.
다음과 같은 일반적으로 사용되는 리소스 관리자처럼 다양한 오픈 소스 솔루션으로도 Amazon EC2에서 클러스터를 프로비저닝하고 시작하고 관리할 수 있습니다.
- MIT StarCluster: StarCluster는 Amazon EC2에서 범용 컴퓨팅 클러스터를 생성하고 관리하기 위한 유틸리티입니다.
- CloudFlu: 엔지니어들은 CloudFlu 라이브러리를 사용해서 특히 CFD 애플리케이션 OpenFOAM을 위한 고성능 병렬 컴퓨팅의 진입 장벽을 극복할 수 있습니다.
AWS 영업 담당자에게 문의
Amazon Web Services로 사업 성장을 도모하는 방법이나 AWS 솔루션의 라이선스에 관해 궁금한 점이 있으시면 문의 바랍니다.
